Paul Ehrlich se narodil 14. března 1854 ve Strehlenu v Horním Slezsku* v Německu. Byl synem Ismara Ehrlicha a jeho manželky Rosy Weigertové, jejímž synovcem byl významný bakteriolog Karl Weigert.
Ehrlich získal vzdělání na gymnáziu v Breslau a následně na univerzitách v Breslau, Strassburgu, Freiburgu-im-Breisgau a Lipsku. V roce 1878 získal doktorát medicíny na základě disertační práce o teorii a praxi barvení živočišných tkání. Tato práce byla jedním z výsledků jeho velkého zájmu o anilinová barviva, která objevil W. H. Perkin v roce 1853.
V roce 1878 byl jmenován asistentem profesora Frerichse na berlínské lékařské klinice, který mu poskytl veškeré zázemí, aby mohl pokračovat v práci s těmito barvivy a barvení tkání pomocí nich. Ehrlich ukázal, že všechna použitá barviva lze klasifikovat jako zásaditá, kyselá nebo neutrální, a jeho práce o barvení granulí v krevních buňkách položila základy budoucí práce v hematologii a barvení tkání.
V roce 1882 Ehrlich publikoval svou metodu barvení tuberkulózního bacilu, kterou objevil Koch, a tato metoda byla základem pozdějších modifikací zavedených Ziehlem a Neelsonem, které se používají dodnes. Od ní byla také odvozena Gramova metoda barvení bakterií, tolik používaná moderními bakteriology.
V roce 1882 se Ehrlich stal titulárním profesorem a v roce 1887 se na základě své práce Das Sauerstoffbedürfnis des Organismus (Potřeba organismu po kyslíku) kvalifikoval jako Privatdozent (neplacený lektor nebo instruktor) na lékařské fakultě berlínské univerzity. Později se zde stal mimořádným profesorem a vedoucím domácím lékařem nemocnice Charité v Berlíně.
V roce 1890 jmenoval Robert Koch, ředitel nově založeného Ústavu pro infekční choroby, Ehrlicha jedním ze svých asistentů a Ehrlich poté zahájil imunologické studie, s nimiž bude jeho jméno navždy spojováno.
Koncem roku 1896 byl ve Steglitzu v Berlíně založen Ústav pro kontrolu terapeutických sér a Ehrlich byl jmenován jeho ředitelem. Zde vykonal další významnou práci v oblasti imunologie, zejména v oblasti hemolyzinů. Ukázal také, že reakce toxin-antitoxin je stejně jako chemické reakce urychlována teplem a zpomalována chladem a že obsah antitoxinů v antitoxických sérech se z různých důvodů natolik liší, že bylo nutné zavést standard, podle kterého by bylo možné obsah antitoxinů přesně změřit. To se mu podařilo s von Behringovým antidifterickým sérem a umožnil tak standardizaci tohoto séra v jednotkách vztažených k pevnému a neměnnému standardu. Metody, které Ehrlich zavedl, se staly základem veškeré budoucí standardizace sér. Tato práce a jeho další imunologické studie vedly Ehrlicha k formulaci jeho slavné teorie postranních řetězců imunity.
V roce 1897 byl Ehrlich jmenován úředníkem veřejného zdravotnictví ve Frankfurtu nad Mohanem, a když byl v roce 1899 ve Frankfurtu založen Královský institut experimentální terapie, stal se Ehrlich jeho ředitelem. Stal se také ředitelem Georg Speyerhausu, který založila Frau Franziska Speyer a který byl postaven v sousedství Ehrlichova ústavu. Tato jmenování znamenala začátek třetí etapy Ehrlichových četných a rozmanitých výzkumů. Nyní se věnoval chemoterapii, přičemž vycházel z myšlenky, která byla obsažena v jeho doktorské práci napsané v mládí, že chemické složení používaných léků musí být studováno v souvislosti se způsobem jejich účinku a jejich afinitou k buňkám organismů, proti nimž jsou namířeny. Jeho cílem bylo, jak se vyjádřil, najít chemické látky, které mají zvláštní afinitu k patogenním organismům, k nimž by směřovaly, tak jako antitoxiny směřují k toxinům, k nimž jsou specificky příbuzné, a byly by, jak se Ehrlich vyjádřil, „kouzelnými kulkami“, které by směřovaly přímo k organismům, na něž jsou zaměřeny.
Aby toho dosáhl, testoval Ehrlich s pomocí svých asistentů stovky chemických látek vybraných z ještě většího počtu, které shromáždil. Studoval mimo jiné léčbu trypanosomózy a dalších protozoárních onemocnění a vyrobil trypanovou červeň, která byla, jak ukázal jeho japonský asistent Šiga, účinná proti trypanosomám. Spolu s A. Bertheimem také stanovil správný strukturní vzorec atoxylu, jehož účinnost proti některým experimentálním trypanosomózám byla známa. Tato práce otevřela cestu k získání mnoha nových organických sloučenin s trojmocným arsenem, které Ehrlich testoval.
V této době byla v Berlíně Schaudinnem a Hoffmannem objevena spirochéta, která způsobuje syfilis, a Ehrlich se rozhodl hledat lék, který by byl účinný zejména proti této spirochétě. Mezi arsenovými léky, které již byly testovány pro jiné účely, byl jeden, 606. z testované řady, který byl v roce 1907 odložen jako neúčinný. Když však Ehrlichův bývalý kolega Kitasato poslal svého žáka jménem Hata pracovat do Ehrlichova ústavu, Ehrlich, který se dozvěděl, že se Hatovi podařilo nakazit králíky syfilidou, ho požádal, aby tento vyřazený lék na těchto králících otestoval. Hata tak učinil a zjistil, že je velmi účinný.
Když stovky pokusů opakovaně prokázaly jeho účinnost proti syfilis, Ehrlich jej oznámil pod názvem „Salvarsan“. Následně se na tomto tématu dále pracovalo a nakonec se ukázalo, že 914. arsenová látka, které byl dán název „Neosalvarsan“, byla sice svým léčebným účinkem menší, ale snadněji se vyráběla a protože byla rozpustnější, snáze se podávala. Ehrlich musel, stejně jako mnoho jiných objevitelů před ním, bojovat s velkým odporem, než byly Salvarsan nebo Neosalvarsan přijaty pro léčbu lidské syfilidy; nakonec však praktické zkušenosti zvítězily a Ehrlich se proslavil jako jeden z hlavních zakladatelů chemoterapie.
V pozdějších letech svého života se Ehrlich zabýval experimentální prací s nádory a svým názorem, že sarkom se může vyvinout z karcinomu, také svou teorií atretické imunity proti rakovině.
Neúnavná píle, kterou Ehrlich po celý život projevoval, jeho laskavost a skromnost, jeho celoživotní zvyk málo jíst a nepřetržitě kouřit 25 silných doutníků denně, jejichž krabičku často nosil pod jednou paží, jeho neměnný důraz na opakované dokazování výsledků, které publikoval, mnoha experimenty a úcta a oddanost, kterou mu prokazovali všichni jeho asistenti, byly barvitě popsány jeho bývalou sekretářkou Martou Marquardtovou, jejíž životopis nám poskytl podrobný obraz jeho života ve Frankfurtu. Ve Frankfurtu byla ulice, v níž se nacházel jeho ústav, pojmenována po něm Paul Ehrlichstrasse, ale později, když začalo pronásledování Židů, byl tento název odstraněn, protože Ehrlich byl Žid. Po druhé světové válce, kdy se jeho rodiště Strehlen dostalo pod jurisdikci polských úřadů, jej však na počest jeho velkého syna přejmenovali na Ehrlichstadt.
Ehrlich byl řádným, zahraničním, dopisujícím nebo čestným členem nejméně 81 akademií a dalších učených institucí v Rakousku, Belgii, Brazílii, Dánsku, Egyptě, Finsku, Francii, Německu, Velké Británii, Řecku, Maďarsku, Itálii, Nizozemsku, Norsku, Rumunsku, Rusku, Srbsku, Švédsku, Turecku, USA a Venezuele. Byl držitelem čestných doktorátů univerzit v Chicagu, Göttingenu, Oxfordu, Aténách a Breslau, dále byl vyznamenán řády v Německu, Rusku, Japonsku, Španělsku, Rumunsku, Srbsku, Venezuele, Dánsku (komandérský kříž řádu Danebrog) a Norsku (komandérský kříž královského řádu svatého Olafa).
V roce 1887 obdržel Tiedemannovu cenu Senckenberg Naturforschende Gesellschaft ve Frankfurtu nad Mohanem, v roce 1906 čestnou cenu na XV. mezinárodním lékařském kongresu v Lisabonu, v roce 1911 Liebigovu medaili Německé chemické společnosti a v roce 1914 Cameronovu cenu v Edinburghu. V roce 1908 se s Metchnikovem dělil o nejvyšší vědecké vyznamenání, Nobelovu cenu.
Pruská vláda ho v roce 1897 zvolila tajným lékařským radou, v roce 1907 ho povýšila do vyšší hodnosti tohoto rady a v roce 1911 ho povýšila do nejvyšší hodnosti, skutečného tajného rady s titulem excelence.
Ehrlich se v roce 1883 oženil s Hedwigou Pinkusovou, které tehdy bylo 19 let. Měli spolu dvě dcery, Stephanii (paní Ernst Schwerin) a Marianne (paní Edmund Landau).
Když v roce 1914 vypukla první světová válka, velmi ho to trápilo a o Vánocích téhož roku ho postihla lehká mrtvice. Z té se sice rychle zotavil, ale jeho zdraví, které mu kromě tuberkulózní infekce na počátku života, kvůli níž musel strávit dva roky v Egyptě, nikdy neselhalo, se nyní začalo zhoršovat, a když v roce 1915 odjel na dovolenou do Bad Homburgu, postihla ho 20. srpna téhož roku druhá mrtvice, která ukončila jeho život.