Een handvol Europese kolonisten boerde in de 17e, 18e en begin 19e eeuw in dit gebied, toen Fairmount nog buiten de stadsgrenzen van Philadelphia lag. Vooraanstaande stadsfamilies vestigden er ook buitenverblijven, waaronder Bush Hill, White Hall en Lemon Hill, waarvan de laatste nog steeds over de Schuylkill River uitkijkt. Fairmount lag oorspronkelijk in Penn Township, dat later werd opgedeeld, waardoor de toekomstige wijk in het nieuw gecreëerde Spring Garden District kwam te liggen tot 1854, toen het werd opgenomen in de stad Philadelphia.
Tijdens de Amerikaanse Revolutie bouwden Britse soldaten die Philadelphia bezetten verdedigingswerken die begonnen op de heuvel van Fairmount en zich voortzetten langs een lijn van enkele kilometers net ten zuiden van de huidige Fairmount Avenue tot aan de Delaware Rivier. Hun doel was te voorkomen dat Amerikaanse troepen onder George Washington hen vanuit het noorden zouden aanvallen – de enige kant van de stad die niet door water werd beschermd.
Tekenen van stadsuitbreiding verschenen in het begin van de 19e eeuw, toen drie grote, innovatieve en internationaal erkende instellingen in het district werden gevestigd. De eerste daarvan was de Fairmount Dam en Water Works aan de voet van Fairmount Hill. Vanaf 1822 gebruikte de Water Works waterkracht om water uit de rivier de Schuylkill in reservoirs op de top van Fairmount Hill te pompen, vanwaar het via de zwaartekracht naar de huizen en bedrijven in de stad stroomde. Het was een wonder van techniek, maar ook een architectonische en landschappelijke attractie. De gebouwen, waaronder een restaurant, behoren tot de vroegste voorbeelden van Greek Revival-architectuur in de Verenigde Staten. De bescherming van het gemeentelijke drinkwater dat door de Water Works werd opgepompt, was de aanleiding voor de aankoop van land langs de Schuylkill dat later Fairmount Park werd, een van ’s werelds grootste stadsparken. Charles Dickens noemde de Water Works als een van de twee dingen die hij vooral wilde zien als hij in Philadelphia was.
De andere was de Eastern State Penitentiary, minder dan een halve mijl verderop aan Fairmount Avenue. De gevangenis werd geopend in 1829, de eerste gevangenis in het land die speciaal werd gebouwd met de bedoeling om criminelen te hervormen in plaats van ze alleen maar te straffen. Ook de opzet van de gevangenis was een primeur en werd het model voor honderden gevangenissen over de hele wereld (het werd vaak het “Pennsylvania Model” genoemd). Het unieke systeem van eenzame opsluiting voor alle gevangenen was dat echter niet. Het was bedoeld om de overbevolking en de ellende van andere gevangenissen te verlichten en de gevangenen de tijd te geven om over hun misdaden na te denken, maar in plaats daarvan leidde het tot intense wanhoop en soms krankzinnigheid onder de gevangenen en werd het door Dickens bij zijn bezoek ronduit veroordeeld.
In 1831 kwamen er bij deze twee vernieuwende instellingen nog een derde: het Girard College. Deze school werd gesticht volgens het testament van Stephen Girard, mogelijk de rijkste man in Amerika op het moment van zijn dood. Hij was zelf wees en wilde een modelinstituut oprichten voor het onderwijs van arme blanke weesjongens in een tijd dat algemeen openbaar onderwijs nog niet bestond.
De executeur van Girards nalatenschap was een andere prominente en rijke Philadelphiaan, Nicholas Biddle, voormalig minister van Financiën van de VS, die opdracht gaf tot de bouw van de Founders Hall ter ere van Girard. De Hall is het eerste voorbeeld van echte Greek Revival architectuur in de Verenigde Staten en is, net als de Water Works en de Eastern State Penitentiary, een National Historic Landmark. In 1968 kwam Girard College opnieuw in de belangstelling toen het Hooggerechtshof van de Verenigde Staten het testament van Girard wijzigde door de woorden “arm, man, blank, wees” te schrappen en een belangrijk precedent te scheppen voor gelijke toegang tot onderwijs voor alle Amerikanen.
Deze drie instellingen werden gebouwd toen Fairmount nog een landelijk voorstadsdistrict van Philadelphia was. Vanaf de jaren 1830 begon de stad zelf buiten haar oorspronkelijke grenzen te groeien, en aan de zuidelijke rand van het district verrees een mengeling van huizen en fabrieken. De Baldwin Locomotive Works, ’s lands grootste maker van locomotiefmotoren, bevond zich aan de zuidoostelijke rand van de toekomstige wijk Fairmount en was een belangrijke factor in de ontwikkeling van de wijk ten zuiden van Fairmount Avenue in de jaren 1840, 50, en 60.
De woningen van Fairmount waren over het algemeen kleinere rijtjeshuizen of herenhuizen en de bewoners waren over het algemeen arbeidersklasse. De rijtjeshuizen werden afgewisseld door houthandels, kolen- en kalkovens, ijzergieterijen, bakkerijen, warenhuizen en diverse wagenmakerijen en stallen. Veel van deze bedrijven werden in de tweede helft van de 19e eeuw gebouwd ter ondersteuning van de fabrieken en brouwerijen in de omgeving. Fairmount heeft veel grote huizen die gebouwd zijn voor de managers van de Baldwin Locomotive Works, andere professionals en eigenaars van brouwerijen en die dateren uit de jaren 1840.
Fairmount ligt in de buurt van het Philadelphia Museum of Art, de beroemde “Rocky Steps” (vereeuwigd in de Academy Award film van 1976, Rocky en de nieuwe Perelman Annex). Fairmount ligt aan het einde van de Benjamin Franklin Parkway, een brede, met bomen en vlaggen omzoomde laan van 1,5 mijl die het stadhuis verbindt met het Philadelphia Museum of Art. Dit stuk staat bekend als het “Museum District” omdat de meeste culturele attracties en musea van de stad hier gevestigd zijn. Langs de Parkway liggen het Rodin Museum, de Centrale Bibliotheek van Philadelphia, het Franklin Institute of Science, de Academie voor Natuurwetenschappen en het Barnes Museum. De Benjamin Franklin Parkway is gebaseerd op het ontwerp van de beroemde Champs-Élysées in Parijs en vanwege zijn capaciteit om grote aantallen mensen te herbergen, is het ook de plek waar de meeste grote openluchtevenementen, parades, concerten en races in Philadelphia worden gehouden.
De Eastern State Penitentiary aan Fairmount Avenue is een andere belangrijke trekpleister voor de buurt geworden. Rondleidingen in deze historische inrichting uit 1829, die nu verlaten is, worden aangeboden. Het wordt ook jaarlijks omgebouwd tot een spookhuis tijdens het Halloween seizoen en, vanwege de gelijkenis met de Bastille, maakt het deel uit van Philadelphia’s Bastille Day viering.
