Garstka europejskich osadników uprawiała ten obszar w XVII, XVIII i na początku XIX wieku, kiedy Fairmount wciąż znajdowało się poza granicami miasta Filadelfia. Wybitne rodziny miejskie założyły tam również wiejskie posiadłości, w tym Bush Hill, White Hall i Lemon Hill, z których ostatnia nadal stoi z widokiem na rzekę Schuylkill. Fairmount pierwotnie znajdowało się w Penn Township, które następnie zostało podzielone, przez co przyszła dzielnica znalazła się w nowo utworzonej dzielnicy Spring Garden, aż do 1854 roku, kiedy to została włączona do miasta Filadelfia.
Podczas rewolucji amerykańskiej brytyjscy żołnierze okupujący Filadelfię zbudowali dzieła obronne rozpoczynające się na wzgórzu Fairmount i ciągnące się kilka mil wzdłuż linii biegnącej na południe od dzisiejszej Fairmount Avenue aż do rzeki Delaware. Ich celem było uniemożliwienie wojskom amerykańskim pod dowództwem Jerzego Waszyngtona atakowania ich od północy – jedynej strony miasta nie chronionej przez wodę.
Oznaki ekspansji miejskiej pojawiły się na początku XIX wieku, kiedy to w dzielnicy znalazły się trzy duże, innowacyjne i uznane na arenie międzynarodowej instytucje. Pierwszą z nich była Fairmount Dam and Water Works u podnóża Fairmount Hill. Począwszy od 1822 roku, Zakłady Wodne wykorzystywały siłę wodną do pompowania wody z rzeki Schuylkill do zbiorników na szczycie Wzgórza Fairmount, skąd woda grawitacyjnie spływała do domów i firm w mieście. Był to cud inżynierii, ale także architektoniczna i krajobrazowa atrakcja. Jego budynki, w tym restauracja, są jednymi z najwcześniejszych przykładów architektury greckiego renesansu w Stanach Zjednoczonych. Ochrona miejskiej wody pitnej pompowanej przez Zakłady Wodne była impulsem do zakupu terenów wzdłuż Schuylkill, które później przekształciły się w Fairmount Park, jeden z największych na świecie miejskich systemów parkowych. Charles Dickens wymienił Water Works jako jedną z dwóch rzeczy, które szczególnie chciał zobaczyć podczas pobytu w Filadelfii.
Drugą był Eastern State Penitentiary, oddalony o mniej niż pół mili od Fairmount Avenue. Więzienie zostało otwarte w 1829 roku, jako pierwsze więzienie w kraju zbudowane specjalnie z myślą o reformowaniu, a nie tylko karaniu przestępców. Układ więzienia w formie piasty i szprychy był również pierwszy i stał się wzorem dla setek więzień na całym świecie (często nazywano go „Modelem Pensylwanii”). Nie był nim jednak unikalny system odosobnienia dla wszystkich więźniów. Miał on zapewnić więźniom ulgę od przeludnienia i nędzy innych więzień oraz dać im czas na przemyślenie popełnionych przestępstw. Zamiast tego doprowadzał do rozpaczy, a czasem do obłędu wśród osadzonych i został ostro potępiony przez Dickensa, kiedy odwiedził to miejsce. W 1831 roku do tych dwóch innowacyjnych instytucji dołączyła trzecia: Girard College. Szkoła ta została założona zgodnie z wolą Stephena Girarda, prawdopodobnie najbogatszego człowieka w Ameryce w chwili jego śmierci. Sam będąc sierotą, chciał stworzyć modelową instytucję kształcącą ubogich, osieroconych białych chłopców w czasach, gdy powszechna edukacja publiczna jeszcze nie istniała.
Wykonawcą majątku Girarda był inny wybitny i bogaty filadelfijczyk, Nicholas Biddle, były amerykański sekretarz skarbu, który zlecił budowę Founders Hall na cześć Girarda. Hall jest pierwszym przykładem prawdziwej architektury greckiego renesansu w Stanach Zjednoczonych i jest, podobnie jak Water Works i Eastern State Penitentiary, National Historic Landmark. W 1968 roku Girard College ponownie wszedł do świadomości narodu, gdy Sąd Najwyższy Stanów Zjednoczonych zmienił testament Girarda, usuwając słowa „biedny, mężczyzna, biały, sierota” i ustanowił ważny precedens dla równego dostępu do edukacji dla wszystkich Amerykanów.
Te trzy instytucje zostały zbudowane, gdy Fairmount był jeszcze wiejską dzielnicą podmiejską Filadelfii. Począwszy od lat 30-tych XIX wieku, miasto zaczęło się rozrastać poza swoje pierwotne granice, a na południowych obrzeżach dzielnicy zaczęły powstawać domy i fabryki. Baldwin Locomotive Works, największy w kraju producent lokomotyw, znajdował się na południowo-wschodnim skraju przyszłej dzielnicy Fairmount i był głównym czynnikiem rozwoju dzielnicy na południe od Fairmount Avenue w latach 40-tych, 50-tych i 60-tych XIX wieku.
Domy Fairmount były generalnie mniejszymi domami szeregowymi lub miejskimi, a ich mieszkańcy należeli do klasy robotniczej. Domy szeregowe przeplatały się z tartakami, stoczniami węglowymi, wapiennikami, odlewniami żelaza, piekarniami, sklepami z artykułami suchymi, a także kilkoma wagonowniami i stajniami. Wiele z nich zostało zbudowanych w drugiej połowie XIX wieku, aby wesprzeć fabryki i browary w okolicy. Fairmount ma wiele dużych domów zbudowanych dla menedżerów Baldwin Locomotive Works, innych profesjonalistów i właścicieli browarów, które pochodzą z 1840s.
Fairmount jest w pobliżu Philadelphia Museum of Art, jego słynne „Rocky Steps” (uwiecznione w filmie 1976 Oscara, Rocky i jego nowy załącznik Perelman). Fairmount znajduje się na końcu Benjamin Franklin Parkway, szerokiej 1,5-milowej alei wysadzanej drzewami i flagami, która łączy Ratusz z Muzeum Sztuki w Filadelfii. Ten odcinek znany jest jako „Dzielnica Muzeów”, ponieważ znajduje się tu większość atrakcji kulturalnych i muzeów w mieście. Wzdłuż Parkway znajdują się Muzeum Rodina, Biblioteka Główna w Filadelfii, Instytut Nauki Franklina, Akademia Nauk Przyrodniczych oraz Muzeum Barnesa. Benjamin Franklin Parkway, wzorowany na słynnych Polach Elizejskich w Paryżu, jest również miejscem, gdzie odbywają się największe filadelfijskie imprezy plenerowe, parady, koncerty i wyścigi.
Eastern State Penitentiary zlokalizowany przy Fairmount Avenue stał się kolejną atrakcją dzielnicy. Wycieczki po tym historycznym obiekcie z 1829 roku, obecnie opuszczonym, są oferowane. Jest on również corocznie przekształcany w nawiedzony dom w sezonie Halloween, a ze względu na swoje podobieństwo do Bastylii jest częścią filadelfijskich obchodów Dnia Bastylii.
