En handfull europeiska bosättare odlade området på 1600-, 1700- och tidigt 1800-tal, när Fairmount fortfarande låg utanför Philadelphias stadsgränser. Framstående stadsfamiljer etablerade också lantgårdar där, bland annat Bush Hill, White Hall och Lemon Hill, varav den sistnämnda fortfarande står kvar med utsikt över floden Schuylkill. Fairmount låg ursprungligen i Penn Township, som senare delades, vilket gjorde att det framtida kvarteret hamnade i det nyskapade Spring Garden District fram till 1854, då det införlivades i staden Philadelphia.
Under den amerikanska revolutionen byggde brittiska soldater som ockuperade Philadelphia försvarsverk som startade på kullen i Fairmount och fortsatte flera kilometer längs en linje strax söder om nuvarande Fairmount Avenue till Delawarefloden. Deras syfte var att hindra amerikanska trupper under George Washington från att attackera dem från norr – den enda sida av staden som inte var skyddad av vatten.
Tecknen på stadsexpansion syntes i början av 1800-talet, då tre stora, innovativa och internationellt erkända institutioner låg i stadsdelen. Den första av dessa var Fairmount Dam and Water Works vid foten av Fairmount Hill. Från och med 1822 använde vattenverket vattenkraft för att pumpa vatten från Schuylkillfloden till reservoarer på toppen av Fairmount Hill, varifrån det flödade genom gravitation till stadens bostäder och företag. Det var ett tekniskt underverk, men också en arkitektonisk och naturskön attraktion. Byggnaderna, som bland annat innehöll en restaurang, är bland de tidigaste exemplen på grekisk revivalarkitektur i USA. Skyddet av det kommunala dricksvatten som vattenverket pumpade var drivkraften bakom köpet av mark längs Schuylkill som senare blev Fairmount Park, ett av världens största kommunala parksystem. Charles Dickens angav Water Works som en av de två saker han särskilt ville se när han var i Philadelphia.
Den andra var Eastern State Penitentiary, mindre än en halv mil bort på Fairmount Avenue. Fängelset öppnade 1829 och var det första fängelset i landet som byggdes specifikt med avsikt att reformera brottslingar snarare än att bara straffa dem. Fängelsets nav och ek-layout var också en nyhet och blev modell för hundratals fängelser runt om i världen (den kallades ofta för ”Pennsylvania-modellen”). Dess unika system med isolering av alla fångar gjorde det dock inte. Avsikten var att ge fångarna lättnad från överbefolkningen och eländet i andra fängelser och ge dem tid att reflektera över sina brott, men det ledde i stället till intensiv förtvivlan och ibland vansinne bland fångarna och fördömdes skarpt av Dickens när han besökte dem.
År 1831 fick dessa två innovativa institutioner sällskap av en tredje: Girard College. Denna skola grundades i enlighet med testamentet från Stephen Girard, den kanske rikaste mannen i Amerika när han dog. Själv var han föräldralös och ville skapa en modellinstitution för att utbilda fattiga föräldralösa vita pojkar i en tid då allmän offentlig utbildning ännu inte existerade.
Exekutorn för Girards dödsbo var en annan framstående och förmögen Philadelphier, Nicholas Biddle, USA:s före detta finansminister, som lät bygga Founders Hall för att hedra Girard. Hallen är det första exemplet på äkta grekisk nybyggnadsarkitektur i USA och är, liksom både Water Works och Eastern State Penitentiary, ett nationellt historiskt landmärke. År 1968 kom Girard College återigen in i nationens medvetande när USA:s högsta domstol ändrade Girards testamente genom att stryka orden ”fattig, manlig, vit, föräldralös” och skapade ett viktigt prejudikat för lika tillgång till utbildning för alla amerikaner.
De här tre institutionerna byggdes när Fairmount fortfarande var ett lantligt förortsdistrikt i Philadelphia. Från och med 1830-talet började själva staden växa utanför sina ursprungliga gränser, och en blandning av bostäder och fabriker växte upp i distriktets södra utkanter. Baldwin Locomotive Works, landets största tillverkare av lokomotivmotorer, låg i den sydöstra kanten av det framtida Fairmount-kvarteret och var en viktig faktor för utvecklingen av kvarteret söder om Fairmount Avenue under 1840-, 50- och 60-talen.
Fairmounts bostäder var i allmänhet mindre rad- eller radhus och invånarna tillhörde i allmänhet arbetarklassen. Radhusen varvades med timmervarv, kolvarv, kalkvarv, järngjuterier, bagerier, torrvaruaffärer samt flera vagnverkstäder och stall. Många av dessa byggdes under andra hälften av 1800-talet för att stödja fabriker och bryggerier i området. Fairmount har många stora hus som byggdes för cheferna för Baldwin Locomotive Works, andra yrkesverksamma och bryggeriägare och som går tillbaka till 1840-talet.
Fairmount ligger nära Philadelphias konstmuseum, dess berömda ”Rocky Steps” (förevigad i Oscarsfilmen Rocky från 1976 och dess nya Perelman Annex). Fairmount ligger i slutet av Benjamin Franklin Parkway, en bred 1,5 mil lång träd- och flaggkantad aveny som förbinder stadshuset med Philadelphia Museum of Art. Denna sträcka är känd som ”Museum District” eftersom de flesta av stadens kulturella attraktioner och museer ligger här. Längs Parkway finns Rodin-museet, Philadelphias centralbibliotek, Franklin Institute of Science, Academy of Natural Sciences och Barnes Museum. Benjamin Franklin Parkway bygger på de berömda Champs-Élysées i Paris i sin utformning och på grund av sin förmåga att rymma ett stort antal människor är Benjamin Franklin Parkway också den plats där de flesta av Philadelphias stora utomhusevenemang, parader, konserter och tävlingar äger rum.
Eastern State Penitentiary som ligger på Fairmount Avenue har blivit ett annat huvuddragplåster för stadsdelen. Visningar av denna historiska anläggning från 1829, som nu är övergiven, erbjuds. Den omvandlas också årligen till ett spökhus under halloweensäsongen och på grund av sin likhet med Bastiljen är den en del av Philadelphias Bastille Day-firande.
