V 17., 18. a na počátku 19. století, kdy se Fairmount ještě nacházel za hranicemi Filadelfie, zde hospodařila hrstka evropských osadníků. Významné městské rodiny zde také zakládaly venkovská sídla, včetně Bush Hill, White Hall a Lemon Hill, z nichž poslední dodnes stojí s výhledem na řeku Schuylkill. Fairmount původně patřil do Penn Township, který byl následně rozdělen a budoucí čtvrť se až do roku 1854, kdy byla začleněna do města Filadelfie, nacházela v nově vytvořené čtvrti Spring Garden.
Během americké revoluce vybudovali britští vojáci okupující Filadelfii obranná zařízení začínající na kopci Fairmount a pokračující několik mil podél linie jižně od dnešní Fairmount Avenue až k řece Delaware. Jejich účelem bylo zabránit americkým vojskům pod vedením George Washingtona v útoku ze severu – jediné strany města, která nebyla chráněna vodou.
Znaky městské expanze se objevily na počátku 19. století, kdy ve čtvrti sídlily tři velké, inovativní a mezinárodně uznávané instituce. První z nich byla přehrada Fairmount Dam and Water Works na úpatí kopce Fairmount Hill. Od roku 1822 využívala vodní elektrárna vodní sílu k čerpání vody z řeky Schuylkill do nádrží na vrcholu kopce Fairmount Hill, odkud voda gravitačně proudila do městských domů a podniků. Byl to technický zázrak, ale také architektonická a krajinářská atrakce. Jeho budovy, jejichž součástí byla i restaurace, patří k nejstarším příkladům řecko-renesanční architektury ve Spojených státech. Ochrana městské pitné vody, kterou vodárna čerpala, byla podnětem ke koupi pozemků podél řeky Schuylkill, z nichž se později stal Fairmount Park, jeden z největších městských parků na světě. Charles Dickens uvedl Vodní dílo jako jednu ze dvou věcí, které chtěl při svém pobytu ve Filadelfii obzvláště vidět.
Druhou byla Východní státní věznice, vzdálená necelou půl míli po Fairmount Avenue. Věznice byla otevřena v roce 1829 a jednalo se o první věznici v zemi postavenou speciálně se záměrem napravovat, nikoli pouze trestat zločince. Uspořádání věznice ve stylu „hub-and-spoke“ bylo rovněž první a stalo se vzorem pro stovky věznic po celém světě (často se mu říkalo „pensylvánský model“). Její unikátní systém samovazby pro všechny vězně však nikoli. Měl vězňům ulevit od přeplněnosti a bídy jiných věznic a poskytnout jim čas na přemýšlení o jejich zločinech, místo toho však vedl k silnému zoufalství a někdy i k šílenství vězňů a Dickens jej při své návštěvě ostře odsoudil.
V roce 1831 se k těmto dvěma inovativním institucím připojila třetí: Girard College. Tato škola byla založena na základě závěti Stephena Girarda, v době své smrti pravděpodobně nejbohatšího muže v Americe. Sám byl sirotek a chtěl vytvořit vzorovou instituci pro vzdělávání chudých osiřelých bílých chlapců v době, kdy ještě neexistovalo všeobecné veřejné školství.
Vykonavatelem Girardovy pozůstalosti byl další významný a bohatý Filadelfan Nicholas Biddle, bývalý ministr financí USA, který nechal na Girardovu počest postavit Founders Hall. Hala je prvním příkladem skutečné řecko-obrozenecké architektury ve Spojených státech a je stejně jako Water Works a Eastern State Penitentiary národní historickou památkou. V roce 1968 vstoupila Girard College znovu do povědomí národa, když Nejvyšší soud Spojených států změnil Girardovu závěť vyškrtnutím slov „chudý, muž, běloch, sirotek“ a vytvořil tak významný precedens pro rovný přístup ke vzdělání pro všechny Američany.
Tyto tři instituce byly postaveny v době, kdy Fairmount byl ještě venkovskou předměstskou čtvrtí Filadelfie. Od 30. let 19. století se samotné město začalo rozrůstat za své původní hranice a na jižním okraji čtvrti vyrostla směsice domů a továren. Na jihovýchodním okraji budoucí čtvrti Fairmount se nacházela továrna Baldwin Locomotive Works, největší výrobce lokomotivních motorů v zemi, která byla ve 40., 50. a 60. letech 19. století hlavním faktorem rozvoje čtvrti jižně od Fairmount Avenue.
Domy ve čtvrti Fairmount byly většinou menší řadové nebo městské domy a obyvatelé byli většinou z dělnické třídy. Řadové domy se střídaly s dřevařskými, uhelnými a vápennými sklady, slévárnami železa, pekárnami, obchody s drogistickým zbožím a také s několika vozovnami a stájemi. Mnohé z nich byly postaveny ve druhé polovině 19. století pro potřeby továren a pivovarů v oblasti. Ve Fairmountu se nachází mnoho velkých domů postavených pro manažery Baldwin Locomotive Works, další odborníky a majitele pivovarů, které pocházejí ze 40. let 19. století.
Fairmount se nachází v blízkosti Filadelfského muzea umění, jeho slavných „Rockyho schodů“ (zvěčněných v oscarovém filmu Rocky z roku 1976 a jeho nové Perelmanovy přístavby). Fairmount se nachází na konci Benjamin Franklin Parkway, široké 1,5 km dlouhé třídy lemované stromy a vlajkami, která spojuje radnici s Filadelfským muzeem umění. Tento úsek je známý jako „muzejní čtvrť“, protože se zde nachází většina kulturních památek a muzeí ve městě. Podél Parkway se nachází Rodinovo muzeum, Ústřední filadelfská knihovna, Franklinův vědecký institut, Akademie přírodních věd a Barnesovo muzeum. Benjamin Franklin Parkway svým designem vychází ze slavné pařížské třídy Champs-Élysées a díky své schopnosti pojmout obrovské množství lidí je také místem, kde se koná většina velkých filadelfských venkovních akcí, přehlídek, koncertů a závodů.
Dalším hlavním lákadlem čtvrti se stala Východní státní věznice nacházející se na Fairmount Avenue. Nabízejí se zde prohlídky tohoto historického zařízení z roku 1829, které je nyní opuštěné. Každoročně se také v období Halloweenu mění na strašidelný dům a kvůli své podobnosti s Bastilou je součástí filadelfských oslav Dne Bastily.
