Um punhado de colonos europeus cultivava a área nos séculos XVII, XVIII e início do XIX, quando Fairmount ainda estava fora dos limites da cidade de Filadélfia. Famílias proeminentes de cidades estabeleceram ali também assentos de campo, incluindo Bush Hill, White Hall e Lemon Hill, o último dos quais ainda se ergue com vista para o rio Schuylkill. Fairmount estava originalmente em Penn Township, que foi posteriormente dividida, colocando o futuro bairro no recém-criado Spring Garden District até 1854, quando foi incorporado à Cidade de Filadélfia.
Durante a Revolução Americana, soldados britânicos ocupando a Filadélfia construíram obras defensivas começando na colina de Fairmount e continuando vários quilômetros ao longo de uma linha ao sul da atual Fairmount Avenue até o Rio Delaware. Seu propósito era impedir que as tropas americanas sob George Washington os atacassem do norte – o único lado da cidade não protegido pela água.
Sinais de expansão urbana apareceram no início do século 19, quando três grandes instituições inovadoras e internacionalmente reconhecidas estavam localizadas no distrito. A primeira delas foi a Barragem de Fairmount e Obras de Água no sopé da Colina de Fairmount. A partir de 1822, a Water Works utilizou a força da água para bombear água do rio Schuylkill para reservatórios no topo do monte Fairmount, de onde fluía por gravidade para casas e empresas da cidade. Uma maravilha da engenharia, era também uma atração arquitetônica e cênica. Seus edifícios, que incluíam um restaurante, estão entre os primeiros exemplos da arquitetura grega do Renascimento nos Estados Unidos. A proteção da água potável municipal que a Water Works bombeou foi o impulso para a compra de terras ao longo do Schuylkill, que mais tarde se tornou Fairmount Park, um dos maiores sistemas de parques municipais do mundo. Charles Dickens listou a Water Works como uma das duas coisas que ele particularmente queria ver enquanto estava na Filadélfia.
A outra era a Penitenciária Eastern State, a menos de meia milha de distância na Fairmount Avenue. A prisão foi aberta em 1829, a primeira prisão do país construída especificamente com a intenção de reformar em vez de simplesmente punir os criminosos. O projeto da prisão também foi o primeiro, e se tornou o modelo para centenas de prisões em todo o mundo (era freqüentemente chamado de “Modelo da Pensilvânia”). O seu sistema único de confinamento solitário para todos os prisioneiros, porém, não o fez. Destinado a aliviar os prisioneiros da superlotação e da miséria de outras prisões e dar-lhes tempo para reflectir sobre os seus crimes, levou em vez disso ao desespero intenso e por vezes à insanidade entre os reclusos e foi redondamente condenado por Dickens quando ele visitou.
Em 1831, a estas duas instituições inovadoras juntou-se uma terceira: Girard College. Esta escola foi fundada de acordo com a vontade de Stephen Girard, possivelmente o homem mais rico da América na altura da sua morte. Ele próprio um órfão, ele queria criar uma instituição modelo para educar meninos brancos órfãos pobres em uma época em que a educação pública universal ainda não existia.
O executor do patrimônio de Girard era outro filadélfia proeminente e rico, Nicholas Biddle, ex-secretário do Tesouro dos EUA, que encomendou o prédio do Founders Hall em homenagem a Girard. O Salão é o primeiro exemplo de verdadeira arquitetura de reavivamento grego nos Estados Unidos e é, como as Obras de Água e a Penitenciária Estadual Oriental, um marco histórico nacional. Em 1968, a Faculdade Girard entrou novamente na consciência da nação quando a Suprema Corte dos Estados Unidos alterou a vontade de Girard ao atacar as palavras “pobre, homem, branco, órfão” e estabeleceu um precedente importante para a igualdade de acesso à educação para todos os americanos.
Estas três instituições foram construídas quando Fairmount ainda era um distrito rural suburbano da Filadélfia. A partir de 1830, a própria cidade começou a crescer para além dos seus limites originais, e uma mistura de casas e fábricas surgiu nas franjas sul do distrito. A Baldwin Locomotive Works, a maior fabricante de motores de locomotivas do país, estava localizada na extremidade sudeste do futuro bairro de Fairmount e foi um fator importante no desenvolvimento do bairro ao sul da Fairmount Avenue nos anos 1840, 50 e 60.
As casas de Fairmount eram geralmente casas menores em fila ou na cidade e os residentes eram geralmente da classe trabalhadora. As casas em fila eram intercaladas com pátios de madeira, pátios de carvão, pátios de cal, fundições de ferro, padarias, lojas de produtos secos, assim como várias obras de carroças e estábulos. Muitas delas foram construídas na segunda metade do século XIX para apoiar as fábricas e cervejarias da região. Fairmount tem muitas casas grandes construídas para os gerentes da Baldwin Locomotive Works, outros profissionais, e proprietários de cervejarias que datam da década de 1840.
Fairmount fica perto do Museu de Arte da Filadélfia, seu famoso “Rocky Steps” (imortalizado no filme do Oscar de 1976, Rocky e seu novo anexo Perelman). Fairmount está localizado no final do Benjamin Franklin Parkway, uma larga avenida de 1,5 milhas de largura e com bandeira que liga a Câmara Municipal ao Philadelphia Museum of Art. Este trecho é conhecido como o “Museum District”, já que a maioria das atrações culturais e museus da cidade estão localizados aqui. Ao longo da Parkway estão o Museu Rodin, a Biblioteca Central da Filadélfia, o Instituto Franklin de Ciências, a Academia de Ciências Naturais e o Museu Barnes. Baseado no famoso Champs-Élysées em Paris em seu design e devido à sua capacidade de abrigar um grande número de pessoas, o Benjamin Franklin Parkway é também onde a maioria dos grandes eventos ao ar livre da Filadélfia, desfiles, concertos e corridas são realizados.
Eastern State Penitentiary localizado na Fairmount Avenue se tornou outro grande atrativo para o bairro. São oferecidos passeios por esta histórica instalação de 1829, agora abandonada. É também anualmente convertida em casa assombrada durante a época do Halloween e, devido à sua semelhança com a Bastilha, faz parte da celebração do Dia da Bastilha da Filadélfia.
