Un puñado de colonos europeos cultivaron la zona en los siglos XVII, XVIII y principios del XIX, cuando Fairmount aún estaba fuera de los límites de la ciudad de Filadelfia. Prominentes familias de la ciudad establecieron allí también sus casas de campo, incluyendo Bush Hill, White Hall y Lemon Hill, la última de las cuales sigue en pie con vistas al río Schuylkill. Fairmount se encontraba originalmente en el municipio de Penn, que posteriormente se dividió, situando el futuro barrio en el recién creado distrito de Spring Garden hasta 1854, cuando se incorporó a la ciudad de Filadelfia.
Durante la Revolución Americana, los soldados británicos que ocupaban Filadelfia construyeron obras defensivas que comenzaban en la colina de Fairmount y continuaban varios kilómetros a lo largo de una línea justo al sur de la actual avenida Fairmount hasta el río Delaware. Su objetivo era impedir que las tropas americanas al mando de George Washington les atacaran por el norte, el único lado de la ciudad que no estaba protegido por el agua.
Los signos de expansión urbana aparecieron a principios del siglo XIX, cuando tres grandes instituciones, innovadoras y reconocidas internacionalmente, se ubicaron en el distrito. La primera de ellas fue la Fairmount Dam and Water Works, al pie de Fairmount Hill. A partir de 1822, las Obras Hidráulicas utilizaron la energía hidráulica para bombear el agua del río Schuylkill a los embalses de la cima de Fairmount Hill, desde donde fluía por gravedad hasta los hogares y negocios de la ciudad. Una maravilla de la ingeniería, era también una atracción arquitectónica y paisajística. Sus edificios, entre los que se encontraba un restaurante, son uno de los primeros ejemplos de arquitectura del renacimiento griego en Estados Unidos. La protección del agua potable municipal que bombeaba la Water Works fue el impulso para la compra de terrenos a lo largo del Schuylkill que más tarde se convirtieron en Fairmount Park, uno de los mayores sistemas de parques municipales del mundo. Charles Dickens mencionó la Water Works como una de las dos cosas que quería ver durante su estancia en Filadelfia.
La otra era la Eastern State Penitentiary, a menos de media milla de distancia en la avenida Fairmount. La prisión se inauguró en 1829 y fue la primera cárcel del país construida específicamente con la intención de reformar a los delincuentes en lugar de simplemente castigarlos. La disposición de la prisión en forma de cubo y radio también fue una novedad, y se convirtió en el modelo para cientos de prisiones de todo el mundo (a menudo se le llamó el «Modelo Pennsylvania»). Sin embargo, su sistema único de confinamiento solitario para todos los presos no lo fue. Destinado a aliviar a los presos del hacinamiento y la miseria de otras prisiones y a darles tiempo para reflexionar sobre sus crímenes, condujo en cambio a una intensa desesperación y a veces a la locura entre los reclusos y fue condenado rotundamente por Dickens cuando lo visitó.
En 1831, a estas dos instituciones innovadoras se unió una tercera: el Girard College. Este colegio fue fundado de acuerdo con el testamento de Stephen Girard, posiblemente el hombre más rico de América en el momento de su muerte. Siendo él mismo huérfano, quiso crear una institución modelo para educar a niños blancos huérfanos y pobres en una época en la que aún no existía la educación pública universal.
El albacea de la herencia de Girard fue otro prominente y acaudalado filadelfiano, Nicholas Biddle, antiguo secretario del Tesoro de los Estados Unidos, que encargó la construcción del Founders Hall en honor a Girard. El Hall es el primer ejemplo de la verdadera arquitectura del renacimiento griego en los Estados Unidos y es, al igual que la Water Works y la Eastern State Penitentiary, un monumento histórico nacional. En 1968, el Girard College volvió a estar en el punto de mira de la nación cuando el Tribunal Supremo de los Estados Unidos modificó el testamento de Girard eliminando las palabras «pobre, varón, blanco, huérfano» y sentó un importante precedente para la igualdad de acceso a la educación de todos los estadounidenses.
Estas tres instituciones se construyeron cuando Fairmount era todavía un distrito rural suburbano de Filadelfia. A partir de la década de 1830, la propia ciudad comenzó a crecer más allá de sus límites originales, y una mezcla de casas y fábricas surgió en los límites del sur del distrito. La Baldwin Locomotive Works, el mayor fabricante de motores de locomotoras del país, estaba situada en el extremo sureste del futuro barrio de Fairmount y fue un factor importante en el desarrollo del barrio al sur de la avenida Fairmount en los años 1840, 50 y 60.
Las casas de Fairmount eran generalmente casas adosadas más pequeñas y los residentes eran generalmente de clase trabajadora. Las casas en hilera estaban intercaladas con aserraderos, carboneras, caleras, fundiciones de hierro, panaderías, tiendas de productos secos, así como varias fábricas de carros y establos. Muchos de ellos se construyeron en la segunda mitad del siglo XIX para apoyar a las fábricas y cervecerías de la zona. Fairmount tiene muchas casas grandes construidas para los gerentes de la Baldwin Locomotive Works, otros profesionales y propietarios de cervecerías que datan de la década de 1840.
Fairmount está cerca del Museo de Arte de Filadelfia, de sus famosos «Rocky Steps» (inmortalizados en la película del Oscar de 1976, Rocky y de su nuevo anexo Perelman). Fairmount se encuentra al final de la Benjamin Franklin Parkway, una amplia avenida de 1,5 millas bordeada de árboles y banderas que conecta el Ayuntamiento con el Museo de Arte de Filadelfia. Este tramo se conoce como el «Distrito de los Museos», ya que la mayoría de las atracciones culturales y museos de la ciudad se encuentran aquí. A lo largo del Parkway se encuentran el Museo Rodin, la Biblioteca Central de Filadelfia, el Instituto Franklin de Ciencias, la Academia de Ciencias Naturales y el Museo Barnes. Basado en los famosos Campos Elíseos de París en su diseño y debido a su capacidad para acoger a un gran número de personas, el Benjamin Franklin Parkway es también el lugar donde se celebran la mayoría de los grandes eventos al aire libre de Filadelfia, desfiles, conciertos y carreras.
La Penitenciaría del Estado del Este, situada en Fairmount Avenue, se ha convertido en otro de los principales atractivos del barrio. Se ofrecen visitas a esta histórica instalación de 1829, ahora abandonada. También se convierte anualmente en una casa encantada durante la temporada de Halloween y, debido a su parecido con la Bastilla, forma parte de la celebración del Día de la Bastilla en Filadelfia.
