Fersken har sin oprindelse i Kina, hvor den blev dyrket siden den kinesiske kulturs tidlige dage. Ferskner blev betragtet som kejsernes yndlingsfrugt og blev første gang nævnt i kinesiske skrifter fra det 10. århundrede. Fra Kina blev “det persiske æble”, som er det oversatte latinske navn, introduceret til romerne af perserne (nu iranerne) og senere introduceret til Europa af Alexander den Store.
Spanske opdagelsesrejsende er krediteret for at have bragt fersknerne til Sydamerika og derefter til sidst til England og Frankrig, hvor de blev en ret populær, men sjælden, lækkerbisken. Under dronning Victorias regeringstid er det skrevet, at intet måltid var komplet uden en frisk fersken præsenteret i en fin bomuldsserviet.
I begyndelsen af det 17. århundrede bragte George Minifie, en gartner fra England, de første ferskner med til kolonierne i den nye verden og plantede dem på sin ejendom i Virginia. Det var vores tidlige amerikanske indianerstammer, der faktisk spredte ferskentræet over hele landet, idet de tog frø med sig og plantede dem, mens de rejste rundt i USA.
Men det var først i det 19. århundrede, at den kommercielle produktion af ferskner begyndte i Maryland, Delaware, Georgia og Virginia. I dag dyrkes ferskner kommercielt i Californien, staten Washington, South Carolina, Georgia og Missouri.