Eine Handvoll europäischer Siedler bewirtschaftete das Gebiet im 17., 18. und frühen 19. Jahrhundert, als Fairmount noch außerhalb der Stadtgrenzen von Philadelphia lag. Prominente Familien aus der Stadt errichteten dort auch Landsitze, darunter Bush Hill, White Hall und Lemon Hill, von denen der letzte noch heute über dem Schuylkill River steht. Fairmount gehörte ursprünglich zu Penn Township, das später geteilt wurde, so dass das künftige Viertel zum neu geschaffenen Spring Garden District gehörte, bis es 1854 in die Stadt Philadelphia eingegliedert wurde.
Während der Amerikanischen Revolution errichteten die britischen Soldaten, die Philadelphia besetzt hielten, Verteidigungsanlagen, die auf dem Hügel von Fairmount begannen und sich mehrere Meilen entlang einer Linie südlich der heutigen Fairmount Avenue bis zum Delaware River erstreckten. Sie sollten die amerikanischen Truppen unter George Washington daran hindern, sie von Norden her anzugreifen – der einzigen Seite der Stadt, die nicht durch Wasser geschützt war.
Anzeichen für eine Stadterweiterung gab es im frühen 19. Jahrhundert, als sich drei große, innovative und international anerkannte Institutionen im Bezirk ansiedelten. Die erste von ihnen war der Fairmount-Damm und die Wasserwerke am Fuße des Fairmount Hill. Ab 1822 nutzte das Wasserwerk die Wasserkraft, um Wasser aus dem Schuylkill River in die Stauseen auf dem Fairmount Hill zu pumpen, von wo aus es durch Schwerkraft in die Häuser und Unternehmen der Stadt floss. Es war nicht nur ein technisches Wunderwerk, sondern auch eine architektonische und landschaftliche Attraktion. Die Gebäude, zu denen auch ein Restaurant gehörte, zählen zu den frühesten Beispielen neugriechischer Architektur in den Vereinigten Staaten. Der Schutz des vom Wasserwerk geförderten städtischen Trinkwassers gab den Anstoß zum Kauf von Grundstücken entlang des Schuylkill, aus denen später der Fairmount Park wurde, eines der größten städtischen Parksysteme der Welt. Charles Dickens zählte die Wasserwerke zu den beiden Dingen, die er während seines Aufenthalts in Philadelphia unbedingt sehen wollte.
Das andere war das Eastern State Penitentiary, das weniger als eine halbe Meile entfernt an der Fairmount Avenue lag. Das Gefängnis wurde 1829 eröffnet und war das erste Gefängnis des Landes, das speziell mit dem Ziel gebaut wurde, Straftäter zu reformieren und nicht nur zu bestrafen. Auch der Aufbau des Gefängnisses nach dem Naben- und Speichenprinzip war ein Novum und wurde zum Vorbild für Hunderte von Gefängnissen auf der ganzen Welt (es wurde oft als „Pennsylvania-Modell“ bezeichnet). Das einzigartige System der Einzelhaft für alle Gefangenen wurde jedoch nicht übernommen. Es sollte den Gefangenen Erleichterung von der Überfüllung und dem Elend anderer Gefängnisse verschaffen und ihnen Zeit geben, über ihre Verbrechen nachzudenken. Stattdessen führte es zu großer Verzweiflung und manchmal zu Wahnsinn unter den Insassen und wurde von Dickens, als er es besuchte, aufs Schärfste verurteilt.
Im Jahr 1831 kam zu diesen beiden innovativen Einrichtungen noch eine dritte hinzu: das Girard College. Diese Schule wurde gemäß dem Testament von Stephen Girard gegründet, der zum Zeitpunkt seines Todes wahrscheinlich der reichste Mann Amerikas war. Er war selbst ein Waisenkind und wollte eine vorbildliche Einrichtung für die Erziehung armer weißer Waisenkinder schaffen, als es noch kein allgemeines öffentliches Bildungswesen gab.
Der Testamentsvollstrecker von Girards Nachlass war ein anderer prominenter und wohlhabender Mann aus Philadelphia, Nicholas Biddle, ehemaliger US-Finanzminister, der zu Ehren Girards den Bau der Founders Hall in Auftrag gab. Die Halle ist das erste Beispiel echter griechisch-revivalistischer Architektur in den Vereinigten Staaten und steht wie das Wasserwerk und das Eastern State Penitentiary unter Denkmalschutz (National Historic Landmark). 1968 rückte das Girard College erneut ins Bewusstsein der Nation, als der Oberste Gerichtshof der Vereinigten Staaten das Testament von Girard änderte, indem er die Worte „arm, männlich, weiß, Waise“ strich und damit einen wichtigen Präzedenzfall für den gleichberechtigten Zugang zur Bildung für alle Amerikaner schuf.
Diese drei Einrichtungen wurden gebaut, als Fairmount noch ein ländlicher Vorort von Philadelphia war. Ab den 1830er Jahren begann die Stadt selbst über ihre ursprünglichen Grenzen hinaus zu wachsen, und am südlichen Rand des Bezirks entstand eine Mischung aus Wohnhäusern und Fabriken. Die Baldwin Locomotive Works, der landesweit größte Hersteller von Lokomotivmotoren, befand sich am südöstlichen Rand des künftigen Fairmount-Viertels und war ein wichtiger Faktor für die Entwicklung des Viertels südlich der Fairmount Avenue in den 1840er, 50er und 60er Jahren.
Die Häuser in Fairmount waren in der Regel kleinere Reihen- oder Stadthäuser und die Bewohner gehörten im Allgemeinen zur Arbeiterklasse. Zwischen den Reihenhäusern befanden sich Holz-, Kohle- und Kalkwerke, Eisengießereien, Bäckereien, Trockenwarengeschäfte sowie mehrere Fuhrwerke und Ställe. Viele von ihnen wurden in der zweiten Hälfte des 19. Jahrhunderts gebaut, um die Fabriken und Brauereien in der Gegend zu unterstützen. In Fairmount gibt es viele große Häuser, die für die Manager der Baldwin Locomotive Works, andere Fachleute und Brauereibesitzer gebaut wurden und bis in die 1840er Jahre zurückreichen.
Fairmount liegt in der Nähe des Philadelphia Museum of Art, seiner berühmten „Rocky Steps“ (verewigt im Oscar-Film Rocky von 1976) und seines neuen Perelman Annex. Fairmount liegt am Ende des Benjamin Franklin Parkway, einer breiten, 1,5 Meilen langen, mit Bäumen und Flaggen gesäumten Allee, die das Rathaus mit dem Philadelphia Museum of Art verbindet. Dieser Abschnitt ist als „Museum District“ bekannt, da sich hier die meisten kulturellen Attraktionen und Museen der Stadt befinden. Entlang des Parkway befinden sich das Rodin Museum, die Zentralbibliothek von Philadelphia, das Franklin Institute of Science, die Academy of Natural Sciences und das Barnes Museum. Der Benjamin Franklin Parkway, der in seiner Gestaltung den berühmten Champs-Élysées in Paris nachempfunden ist, ist auch der Ort, an dem die meisten der großen Freiluftveranstaltungen, Paraden, Konzerte und Rennen in Philadelphia stattfinden.
Das Eastern State Penitentiary an der Fairmount Avenue ist ein weiterer Anziehungspunkt für das Viertel geworden. Es werden Führungen durch diese historische, heute verlassene Einrichtung aus dem Jahr 1829 angeboten. Während der Halloween-Saison wird es jedes Jahr in ein Spukhaus umgewandelt, und wegen seiner Ähnlichkeit mit der Bastille ist es Teil der Feierlichkeiten zum Tag der Bastille in Philadelphia.
