A 17., 18. és a 19. század elején, amikor Fairmount még Philadelphia városhatárain kívül volt, egy maroknyi európai telepes gazdálkodott a területen. A város prominens családjai vidéki birtokokat is létesítettek itt, köztük Bush Hillt, White Hallt és Lemon Hillt, amelyek közül az utóbbi még ma is áll a Schuylkill folyóra néző kilátással. Fairmount eredetileg Penn Townshiphez tartozott, amelyet később felosztottak, így a leendő városrész az újonnan létrehozott Spring Garden kerületbe került, egészen 1854-ig, amikor is Philadelphia városához csatolták.
Az amerikai forradalom idején a Philadelphiát megszálló brit katonák védőműveket építettek, amelyek a Fairmount dombon kezdődtek és több mérföldön át a mai Fairmount Avenue-tól délre húzódó vonal mentén a Delaware folyóig tartottak. Céljuk az volt, hogy megakadályozzák, hogy a George Washington vezette amerikai csapatok északról – a város egyetlen, vízzel nem védett oldaláról – megtámadják őket.
A városi terjeszkedés jelei a 19. század elején jelentek meg, amikor a kerületben három nagy, innovatív és nemzetközileg elismert intézmény kapott helyet. Ezek közül az első a Fairmount-gát és vízmű volt a Fairmount-hegy lábánál. A vízművek 1822-től kezdődően a Schuylkill folyóból a vizet vízenergia segítségével pumpálta a Fairmount Hill tetején lévő víztározókba, ahonnan a gravitáció segítségével áramlott a városi otthonokba és üzletekbe. A mérnöki csoda egyben építészeti és tájképi látványosság is volt. Épületei, amelyekhez egy étterem is tartozott, az Egyesült Államokban a görög korabeli építészet legkorábbi példái közé tartoznak. A vízművek által szivattyúzott városi ivóvíz védelme adta a lendületet a Schuylkill mentén fekvő területek megvásárlásához, amelyekből később a Fairmount Park, a világ egyik legnagyobb városi parkrendszere lett. Charles Dickens a Vízműveket annak a két dolognak az egyikeként sorolta fel, amelyet Philadelphiában járva különösen szeretett volna látni.
A másik az Eastern State Penitentiary volt, kevesebb mint fél mérföldre innen, a Fairmount Avenue-n. A börtön 1829-ben nyílt meg, az első olyan börtön az országban, amelyet kifejezetten azzal a szándékkal építettek, hogy a bűnözőket megjavítsa, ne pedig egyszerűen megbüntesse. A börtön hub-and-spoke elrendezése szintén első volt, és világszerte több száz börtön mintájává vált (gyakran nevezték “pennsylvaniai modellnek”). Az összes elítéltre vonatkozó egyedülálló magánelzárási rendszere azonban nem. Azzal a szándékkal, hogy a rabok számára megkönnyítse a más börtönökben tapasztalható zsúfoltság és mocsok elviselését, és időt adjon nekik arra, hogy elgondolkodjanak a bűneiken, ehelyett a rabok körében erős kétségbeeséshez és néha elmebajhoz vezetett, és Dickens, amikor meglátogatta, határozottan elítélte.
1831-ben ehhez a két innovatív intézményhez egy harmadik is csatlakozott: a Girard College. Ezt az iskolát Stephen Girard, aki halála idején valószínűleg Amerika leggazdagabb embere volt, végrendelete szerint alapította. Ő maga is árva volt, és egy mintaintézményt akart létrehozni a szegény, árva fehér fiúk oktatására abban az időben, amikor még nem létezett általános közoktatás.
A Girard hagyatékának végrehajtója egy másik prominens és gazdag philadelphiai, Nicholas Biddle, az Egyesült Államok korábbi pénzügyminisztere volt, aki Girard tiszteletére az Founders Hall építését rendelte meg. A csarnok az Egyesült Államokban a valódi görög korabeli építészet első példája, és a Vízművekhez és az Eastern State Penitentiaryhoz hasonlóan nemzeti történelmi műemlék. 1968-ban a Girard College ismét bekerült a nemzet tudatába, amikor az Egyesült Államok Legfelsőbb Bírósága megváltoztatta a Girard végrendeletét azzal, hogy kihúzta a “szegény, férfi, fehér, árva” szavakat, és fontos precedenst teremtett az oktatáshoz való egyenlő hozzáférés érdekében minden amerikai számára.
Ez a három intézmény akkor épült, amikor Fairmount még Philadelphia vidéki külvárosi kerülete volt. Az 1830-as évektől kezdődően maga a város is kezdett túlnőni eredeti határain, és a kerület déli peremén lakóházak és gyárak keveréke jelent meg. A Baldwin Locomotive Works, az ország legnagyobb mozdonymotorkészítője a későbbi Fairmount negyed délkeleti szélén helyezkedett el, és az 1840-es, 50-es és 60-as években jelentős szerepet játszott a Fairmount Avenue-tól délre fekvő negyed fejlődésében.
Fairmount házai általában kisebb sor- vagy sorházak voltak, és a lakók általában a munkásosztályhoz tartoztak. A sorházak között fűrésztelepek, széntelepek, mésztelepek, vasöntödék, pékségek, szárazáruüzletek, valamint több kocsigyár és istálló is volt. Ezek közül sok a 19. század második felében épült a környékbeli gyárak és sörfőzdék támogatására. Fairmountban számos nagy ház található, amelyek a Baldwin mozdonygyár vezetői, más szakemberek és sörfőzdék tulajdonosai számára épültek az 1840-es évekből.
Fairmount közel van a Philadelphiai Művészeti Múzeumhoz, annak híres “Rocky-lépcsőjéhez” (amelyet az 1976-os Oscar-díjas Rocky című filmben örökítettek meg, valamint az új Perelman Annexhez). Fairmount a Benjamin Franklin Parkway végén található, egy széles, 1,5 mérföld hosszú, fákkal és zászlókkal szegélyezett sugárút, amely összeköti a városházát a Philadelphiai Művészeti Múzeummal. Ez a szakasz a “múzeumi negyed” néven ismert, mivel a város legtöbb kulturális látványossága és múzeuma itt található. A Parkway mentén található a Rodin Múzeum, a Philadelphiai Központi Könyvtár, a Franklin Tudományos Intézet, a Természettudományi Akadémia és a Barnes Múzeum. Kialakításában a híres párizsi Champs-Élysées-n alapul, és mivel hatalmas tömegeket képes befogadni, a Benjamin Franklin Parkwayen tartják a legtöbb nagyszabású philadelphiai szabadtéri rendezvényt, felvonulást, koncertet és versenyt is.
A Fairmount Avenue-n található Keleti Állami Büntetés-végrehajtási Intézet a környék másik fő vonzereje lett. A ma már elhagyatott, 1829-ben épült történelmi létesítményben túrákat kínálnak. Halloween idején évente kísértetházzá alakítják át, és a Bastille-hoz való hasonlósága miatt része a philadelphiai Bastille-napi ünnepségeknek.
