En håndfuld europæiske bosættere drev landbrug i området i det 17., 18. og tidlige 19. århundrede, da Fairmount stadig lå uden for Philadelphias bygrænser. Fremtrædende byfamilier etablerede også landsteder i området, herunder Bush Hill, White Hall og Lemon Hill, hvoraf den sidste stadig står med udsigt over Schuylkill River. Fairmount lå oprindeligt i Penn Township, som senere blev delt, hvilket placerede det fremtidige kvarter i det nyoprettede Spring Garden District indtil 1854, hvor det blev indlemmet i Philadelphia City.
Under den amerikanske revolution byggede britiske soldater, der besatte Philadelphia, forsvarsværker, der startede på bakken ved Fairmount og fortsatte flere kilometer langs en linje lige syd for den nuværende Fairmount Avenue til Delaware River. Deres formål var at forhindre amerikanske tropper under George Washington i at angribe dem fra nord – den eneste side af byen, der ikke var beskyttet af vand.
Tegnene på byens ekspansion viste sig i begyndelsen af det 19. århundrede, da tre store, innovative og internationalt anerkendte institutioner blev placeret i bydelen. Den første af disse var Fairmount Dam and Water Works ved foden af Fairmount Hill. Fra 1822 brugte vandværket vandkraft til at pumpe vand fra Schuylkill-floden op i reservoirer på toppen af Fairmount Hill, hvorfra det ved hjælp af tyngdekraften flød ud til byens boliger og virksomheder. Det var et teknisk vidunder, men også en arkitektonisk og landskabelig attraktion. Bygningerne, som bl.a. omfattede en restaurant, er blandt de tidligste eksempler på græsk nybyggeri i USA. Beskyttelse af det kommunale drikkevand, som vandværket pumpede, var drivkraften bag købet af de arealer langs Schuylkill, som senere blev Fairmount Park, et af verdens største kommunale parksystemer. Charles Dickens nævnte Water Works som en af de to ting, han især ønskede at se, mens han var i Philadelphia.
Den anden var Eastern State Penitentiary, der lå mindre end en halv mil derfra på Fairmount Avenue. Fængslet åbnede i 1829 og var det første fængsel i landet, der blev bygget specifikt med henblik på at reformere kriminelle i stedet for blot at straffe dem. Fængslets nav-og-eger-layout var også en nyskabelse og blev model for hundredvis af fængsler rundt om i verden (det blev ofte kaldt “Pennsylvania-modellen”). Det gjorde dets unikke system med isolationsfængsling for alle fanger dog ikke. Hensigten var at give fangerne lindring fra overbelægning og elendighed i andre fængsler og give dem tid til at reflektere over deres forbrydelser, men det førte i stedet til intens fortvivlelse og undertiden til sindssyge blandt de indsatte og blev rundhåndet fordømt af Dickens, da han besøgte dem.
I 1831 fik disse to innovative institutioner selskab af en tredje: Girard College. Denne skole blev grundlagt i overensstemmelse med testamentet fra Stephen Girard, som muligvis var den rigeste mand i Amerika på tidspunktet for sin død. Han var selv forældreløs og ønskede at skabe en modelinstitution for uddannelse af fattige forældreløse hvide drenge på et tidspunkt, hvor der endnu ikke fandtes universel offentlig uddannelse.
Den eksekutor af Girards bo var en anden fremtrædende og velhavende Philadelphianer, Nicholas Biddle, tidligere amerikansk finansminister, som lod bygge Founders Hall til ære for Girard. Hallen er det første eksempel på ægte Greek Revival-arkitektur i USA og er ligesom både Water Works og Eastern State Penitentiary et nationalt historisk vartegn. I 1968 kom Girard College igen i nationens bevidsthed, da USA’s højesteret ændrede Girards testamente ved at slette ordene “fattig, mandlig, hvid, forældreløs” og skabte en vigtig præcedens for lige adgang til uddannelse for alle amerikanere.
Disse tre institutioner blev bygget, da Fairmount stadig var et landligt forstadsdistrikt i Philadelphia. Fra 1830’erne begyndte selve byen at vokse ud over sine oprindelige grænser, og en blanding af boliger og fabrikker voksede op i distriktets sydlige udkant. Baldwin Locomotive Works, landets største producent af lokomotivmotorer, lå i den sydøstlige udkant af det fremtidige Fairmount-kvarter og var en vigtig faktor i udviklingen af kvarteret syd for Fairmount Avenue i 1840’erne, 50’erne og 60’erne.
Fairmount’s boliger var generelt mindre række- eller byhuse, og beboerne var generelt arbejderklasse. Rækkehusene var gennemsat med tømmer-, kul- og kalkpladser, jernstøberier, bagerier, tørstofforretninger samt flere vognfabrikker og stalde. Mange af disse blev bygget i anden halvdel af det 19. århundrede for at støtte fabrikker og bryggerier i området. Fairmount har mange store huse, der er bygget til lederne af Baldwin Locomotive Works, andre fagfolk og bryggeri-ejere, og som stammer helt tilbage fra 1840’erne.
Fairmount ligger tæt på Philadelphia Museum of Art, dets berømte “Rocky Steps” (udødeliggjort i Oscar-filmen Rocky fra 1976 og dets nye Perelman Annex). Fairmount ligger for enden af Benjamin Franklin Parkway, en bred, 1,5 km lang allé med træer og flag, der forbinder rådhuset med Philadelphia Museum of Art. Denne strækning er kendt som “Museum District”, da de fleste af byens kulturelle attraktioner og museer er placeret her. Langs Parkway ligger Rodin-museet, Philadelphias centralbibliotek, Franklin Institute of Science, Academy of Natural Sciences og Barnes Museum. Benjamin Franklin Parkway er baseret på de berømte Champs-Élysées i Paris i sin udformning og på grund af sin evne til at rumme et stort antal mennesker, er Benjamin Franklin Parkway også stedet, hvor de fleste af Philadelphias store udendørs arrangementer, parader, koncerter og løb afholdes.
Eastern State Penitentiary, der ligger på Fairmount Avenue, er blevet et andet vigtigt trækplaster for kvarteret. Der tilbydes rundvisninger i dette historiske anlæg fra 1829, som nu er nedlagt, og som nu er forladt. Det bliver også årligt omdannet til et spøgelseshus i Halloween-sæsonen, og på grund af dets lighed med Bastillen er det en del af Philadelphias Bastilledagsfest.
