Una manciata di coloni europei ha coltivato la zona nel 17°, 18° e inizio 19° secolo, quando Fairmount era ancora fuori dai confini della città di Philadelphia. Famiglie eminenti della città vi stabilirono anche delle residenze di campagna, tra cui Bush Hill, White Hall e Lemon Hill, l’ultima delle quali si affaccia ancora sul fiume Schuylkill. Fairmount era originariamente nella Penn Township, che fu successivamente divisa, mettendo il futuro quartiere nel nuovo distretto di Spring Garden fino al 1854, quando fu incorporato nella città di Filadelfia.
Durante la rivoluzione americana, i soldati britannici che occupavano Filadelfia costruirono opere difensive iniziando sulla collina di Fairmount e continuando per diverse miglia lungo una linea appena a sud dell’attuale Fairmount Avenue fino al fiume Delaware. Il loro scopo era quello di impedire alle truppe americane sotto George Washington di attaccarle da nord – l’unico lato della città non protetto dall’acqua.
I segni di espansione urbana apparvero all’inizio del XIX secolo, quando tre grandi istituzioni innovative e riconosciute a livello internazionale furono situate nel quartiere. La prima di queste fu la Fairmount Dam and Water Works ai piedi di Fairmount Hill. A partire dal 1822, il Water Works usava la forza idrica per pompare l’acqua dal fiume Schuylkill nei serbatoi sulla cima di Fairmount Hill, da dove scorreva per gravità nelle case e nelle imprese della città. Una meraviglia dell’ingegneria, era anche un’attrazione architettonica e paesaggistica. I suoi edifici, che includevano un ristorante, sono tra i primi esempi di architettura greco-rinascimentale negli Stati Uniti. La protezione dell’acqua potabile comunale che il Water Works pompava fu l’impulso per l’acquisto di terreni lungo lo Schuylkill che in seguito diventarono Fairmount Park, uno dei più grandi sistemi di parchi comunali del mondo. Charles Dickens elencò il Water Works come una delle due cose che voleva particolarmente vedere mentre era a Filadelfia.
L’altra era l’Eastern State Penitentiary, a meno di mezzo miglio di distanza su Fairmount Avenue. La prigione aprì nel 1829, la prima prigione del paese costruita specificamente con l’intenzione di riformare piuttosto che semplicemente punire i criminali. Anche la disposizione a raggiera della prigione fu una novità assoluta, e divenne il modello per centinaia di prigioni in tutto il mondo (fu spesso chiamata il “Modello Pennsylvania”). Il suo sistema unico di isolamento per tutti i prigionieri, tuttavia, non lo era. Inteso a fornire ai prigionieri sollievo dal sovraffollamento e dallo squallore delle altre prigioni e a dare loro il tempo di riflettere sui loro crimini, portò invece a un’intensa disperazione e talvolta alla pazzia tra i detenuti e fu condannato duramente da Dickens quando lo visitò.
Nel 1831, a queste due istituzioni innovative se ne aggiunse una terza: il Girard College. Questa scuola fu fondata secondo la volontà di Stephen Girard, probabilmente l’uomo più ricco d’America al momento della sua morte. Egli stesso orfano, voleva creare un’istituzione modello per educare i ragazzi bianchi orfani e poveri in un’epoca in cui l’educazione pubblica universale non esisteva ancora.
L’esecutore testamentario di Girard fu un altro importante e ricco filadelfiano, Nicholas Biddle, ex segretario del tesoro degli Stati Uniti, che commissionò la costruzione della Founders Hall in onore di Girard. La sala è il primo esempio di vera architettura di Revival Greco negli Stati Uniti ed è, come i Water Works e l’Eastern State Penitentiary, un National Historic Landmark. Nel 1968 il Girard College entrò di nuovo nella consapevolezza della nazione quando la Corte Suprema degli Stati Uniti modificò la volontà di Girard eliminando le parole “povero, maschio, bianco, orfano” e stabilì un importante precedente per la parità di accesso all’istruzione per tutti gli americani.
Queste tre istituzioni furono costruite quando Fairmount era ancora un distretto rurale suburbano di Philadelphia. A partire dagli anni 1830, la città stessa cominciò a crescere oltre i suoi confini originali, e un misto di case e fabbriche sorsero ai margini meridionali del distretto. La Baldwin Locomotive Works, il più grande produttore di motori di locomotive della nazione, si trovava sul bordo sud-orientale del futuro quartiere di Fairmount e fu un fattore importante nello sviluppo del quartiere a sud di Fairmount Avenue negli anni 1840, 50 e 60.
Le case di Fairmount erano generalmente piccole case a schiera o in città e i residenti erano generalmente della classe operaia. Le case a schiera erano intervallate da depositi di legname, depositi di carbone, depositi di calce, fonderie di ferro, panetterie, negozi di prodotti secchi, così come diverse fabbriche di carri e stalle. Molti di questi furono costruiti nella seconda metà del XIX secolo per sostenere le fabbriche e le birrerie della zona. Fairmount ha molte grandi case costruite per i manager della Baldwin Locomotive Works, altri professionisti e proprietari di birrerie che risalgono al 1840.
Fairmount è vicino al Philadelphia Museum of Art, i suoi famosi “Rocky Steps” (immortalati nel film premio Oscar 1976, Rocky e il suo nuovo Perelman Annex). Fairmount si trova alla fine della Benjamin Franklin Parkway, un ampio viale alberato e fiancheggiato da bandiere lungo 1,5 miglia che collega il municipio al Philadelphia Museum of Art. Questo tratto è conosciuto come il “Museum District” poiché la maggior parte delle attrazioni culturali e dei musei della città si trovano qui. Lungo la Parkway si trovano il Museo Rodin, la Biblioteca Centrale di Filadelfia, il Franklin Institute of Science, l’Accademia di Scienze Naturali e il Museo Barnes. Basata sui famosi Champs-Élysées di Parigi nel suo design e grazie alla sua capacità di contenere un gran numero di persone, la Benjamin Franklin Parkway è anche il luogo dove si tengono la maggior parte dei grandi eventi all’aperto di Filadelfia, parate, concerti e gare.
L’Eastern State Penitentiary situato su Fairmount Avenue è diventato un’altra attrazione principale del quartiere. Vengono offerti tour di questa storica struttura del 1829, ora abbandonata. Viene anche convertito annualmente in una casa stregata durante la stagione di Halloween e, a causa della sua somiglianza con la Bastiglia, fa parte della celebrazione del Bastille Day di Filadelfia.