Kourallinen eurooppalaisia uudisasukkaita viljeli aluetta 1600-, 1700- ja 1800-luvun alussa, jolloin Fairmount oli vielä Philadelphian kaupungin rajojen ulkopuolella. Merkittävät kaupunkilaisperheet perustivat sinne myös maalaistaloja, kuten Bush Hillin, White Hallin ja Lemon Hillin, joista jälkimmäinen on edelleen pystyssä Schuylkill-joelle päin. Fairmount kuului alun perin Penn Townshipiin, joka sittemmin jaettiin, jolloin tuleva asuinalue kuului vastaperustettuun Spring Gardenin piirikuntaan vuoteen 1854 asti, jolloin se liitettiin Philadelphian kaupunkiin.
Amerikkalaisen vallankumouksen aikana Philadelphiaa miehittäneet brittisotilaat rakensivat puolustustöitä, jotka alkoivat Fairmountin kukkulalta ja jatkuivat useita kilometrejä pitkin linjaa, joka kulki nykyisen Fairmount Avenuen eteläpuolella Delaware-joelle. Niiden tarkoituksena oli estää George Washingtonin johtamia amerikkalaisia joukkoja hyökkäämästä heitä vastaan pohjoisesta – ainoalta puolelta kaupunkia, jota vesi ei suojannut.
Yleiskaupungin laajenemisen merkit näkyivät 1800-luvun alkupuolella, kun kaupunginosaan sijoitettiin kolme suurta, innovatiivista ja kansainvälisesti tunnustettua laitosta. Ensimmäinen näistä oli Fairmount Dam and Water Works Fairmount Hillin juurella. Vuodesta 1822 lähtien vesilaitos käytti vesivoimaa pumpatakseen vettä Schuylkill-joesta Fairmount Hillin huipulla sijaitseviin säiliöihin, joista vesi virtasi painovoiman avulla kaupungin koteihin ja yrityksiin. Tekninen ihme oli myös arkkitehtoninen ja maisemallinen nähtävyys. Sen rakennukset, joihin kuului myös ravintola, ovat varhaisimpia esimerkkejä kreikkalaisesta herännäisarkkitehtuurista Yhdysvalloissa. Vesilaitoksen pumppaaman juomaveden suojelu antoi sysäyksen Schuylkill-joen varrella sijaitsevien maa-alueiden ostamiselle, joista myöhemmin tuli Fairmount Park, yksi maailman suurimmista kunnallisista puistojärjestelmistä. Charles Dickens listasi Water Worksin yhdeksi niistä kahdesta asiasta, jotka hän halusi erityisesti nähdä ollessaan Philadelphiassa.
Toinen oli Eastern State Penitentiary, joka sijaitsi alle puolen kilometrin päässä Fairmount Avenuella. Vankila avattiin vuonna 1829, ja se oli maan ensimmäinen vankila, joka rakennettiin nimenomaan tarkoituksenaan mieluummin parantaa kuin vain rangaista rikollisia. Vankilan napa- ja keila-asettelu oli myös ensimmäinen, ja siitä tuli malli satojen vankiloiden käyttöön ympäri maailmaa (sitä kutsuttiin usein ”Pennsylvanian malliksi”). Sen ainutlaatuinen järjestelmä, jossa kaikki vangit olivat eristyssellissä, ei kuitenkaan. Sen oli tarkoitus tarjota vangeille helpotusta muiden vankiloiden ahtaudesta ja kurjuudesta ja antaa heille aikaa miettiä rikoksiaan, mutta sen sijaan se johti vankien voimakkaaseen epätoivoon ja toisinaan mielenvikaisuuteen, ja Dickens tuomitsi sen jyrkästi vieraillessaan siellä.
Vuonna 1831 näiden kahden innovatiivisen laitoksen rinnalle tuli kolmas: Girard College. Tämä koulu perustettiin Stephen Girardin, joka oli kuolinhetkellään mahdollisesti Amerikan varakkain mies, testamentin mukaisesti. Hän oli itse orpo ja halusi luoda mallikelpoisen oppilaitoksen köyhien orpojen valkoisten poikien kouluttamiseksi aikana, jolloin yleistä julkista koulutusta ei vielä ollut.
Girardin kuolinpesän toimeenpanija oli toinen merkittävä ja varakas filadelphialainen, Nicholas Biddle, Yhdysvaltain entinen valtiovarainministeri, joka tilasi Founders Hallin rakentamisen Girardin kunniaksi. Hall on ensimmäinen esimerkki todellisesta kreikkalaisesta revival-arkkitehtuurista Yhdysvalloissa, ja se on sekä Water Worksin että Eastern State Penitentiaryn tavoin kansallinen historiallinen maamerkki. Vuonna 1968 Girard College nousi jälleen kansakunnan tietoisuuteen, kun Yhdysvaltain korkein oikeus muutti Girardin testamenttia poistamalla siitä sanat ”köyhä, miespuolinen, valkoinen, orpo” ja loi merkittävän ennakkotapauksen kaikkien amerikkalaisten tasa-arvoisesta pääsystä koulutukseen.
Nämä kolme oppilaitosta rakennettiin, kun Fairmount oli vielä Philadelphian maaseutumainen esikaupunkialue. 1830-luvulta alkaen itse kaupunki alkoi kasvaa alkuperäisten rajojensa ulkopuolelle, ja kaupunginosan eteläreunoille syntyi sekoitus koteja ja tehtaita. Baldwin Locomotive Works, maan suurin veturivetureiden valmistaja, sijaitsi tulevan Fairmountin kaupunginosan kaakkoisreunalla, ja se oli merkittävä tekijä Fairmount Avenuen eteläpuolisen kaupunginosan kehityksessä 1840-, 50- ja 60-luvuilla.
Fairmountin asunnot olivat yleensä pienempiä rivi- tai rivitaloja, ja asukkaat olivat yleensä työväenluokkaa. Rivitalojen välissä oli puutavaratehtaita, hiilivarastoja, kalkkivarastoja, rautavalimoita, leipomoita, kuivakauppoja sekä useita vaunutehtaita ja talleja. Monet näistä rakennettiin 1800-luvun jälkipuoliskolla tukemaan alueen tehtaita ja panimoita. Fairmountissa on monia suuria taloja, jotka on rakennettu Baldwinin veturitehtaan johtajille, muille ammattilaisille ja panimoiden omistajille ja jotka ovat peräisin 1840-luvulta.
Fairmount on lähellä Philadelphian taidemuseota, sen kuuluisaa ”Rocky Steps” -portaikkoa (ikuistettu vuoden 1976 Oscar-elokuvassa Rocky ja sen uutta Perelman Annexia). Fairmount sijaitsee Benjamin Franklin Parkwayn päässä, joka on puiden ja lippujen reunustama leveä 1,5 mailin pituinen katu, joka yhdistää kaupungintalon ja Philadelphian taidemuseon. Tämä osuus tunnetaan ”museoalueena”, koska suurin osa kaupungin kulttuurinähtävyyksistä ja museoista sijaitsee täällä. Parkwayn varrella sijaitsevat Rodin-museo, Philadelphian keskuskirjasto, Franklin Institute of Science, Academy of Natural Sciences ja Barnes Museum. Benjamin Franklin Parkway perustuu suunnittelussaan Pariisin kuuluisaan Champs-Élysées-kaduun ja koska se pystyy pitämään sisällään valtavan määrän ihmisiä, siellä järjestetään myös suurin osa Philadelphian suurista ulkoilmatapahtumista, paraateista, konserteista ja kilpailuista.
Fairmount Avenuella sijaitsevasta Eastern State Penitentiary -vankilasta (Itäinen osavaltion rangaistuslaitos, joka sijaitsee Fairmount Avenuen varrella) on tullut toinen kaupunginosan vetovoimatekijä. Tähän historialliseen, vuonna 1829 rakennettuun ja nykyään hylättyyn laitokseen järjestetään kierroksia. Se myös muutetaan vuosittain kummitustaloksi halloweenin aikaan, ja koska se muistuttaa Bastiliaa, se on osa Philadelphian Bastilian päivän juhlallisuuksia.
