Ačkoli o tom nebylo mnoho záznamů, poprvé se olympijský baseball objevil na hrách v Saint Louis v roce 1904. O osm let později v roce 1912 ve Stockholmu hrál tým Spojených států proti hostitelskému Švédsku a vyhrál 13:3. Baseball se hrál také na letních olympijských hrách 1924 v Paříži, americký tým porazil francouzský tým 5:0 v exhibičním zápase na čtyři směny. V roce 1936 v Berlíně hrála dvě družstva Spojených států proti sobě před přibližně 90 000-100 000 diváky na Reichsportsfeldu. V roce 1952 se v Helsinkách hrála upravená forma tohoto sportu, finský baseball, který hrály dva finské týmy. Austrálie sehrála v roce 1956 v Melbourne exhibici s jedním zápasem proti Spojeným státům a Japonsko totéž v roce 1964 v Tokiu. Tento zápas na melbournském hřišti Cricket Ground, který navštívilo téměř 114 000 diváků, držel až do amerického zápasu v Los Angeles v roce 2008 rekord v nejvyšší návštěvnosti exhibičního baseballového utkání vůbec.
Po dvacetileté přestávce se olympijský baseball (označený MOV jako exhibiční sport/událost) vrátil, ale s turnajovým formátem (1984 Los Angeles). Na hrách v Soulu v roce 1988 byl označen jako demonstrační sport. Ve finále zahajovacího turnaje v roce 1984 porazilo Japonsko Spojené státy. V roce 1988 zvítězily Spojené státy nad Japonskem.
Baseball byl v letech 1992 a 1996 otevřen pouze mužským amatérům. V důsledku toho se Američané a další národy, kde se rozvíjí profesionální baseball, spoléhali na vysokoškolské hráče, zatímco Kubánci využívali své nejzkušenější veterány, kteří byli technicky vzato považováni za amatéry, protože nominálně zastávali jiná zaměstnání, ale ve skutečnosti trénovali na plný úvazek. V roce 2000 byli připuštěni profesionálové, ale MLB odmítla uvolnit své hráče v letech 2000, 2004 a 2008 a situace se změnila jen málo: Kubánci stále využívali své nejlepší hráče, zatímco Američané začali používat hráče z nižších lig. MOV jako hlavní důvod vyřazení baseballu z olympijského programu uvedl absenci nejlepších hráčů.
Na zasedání MOV 7. července 2005 byly baseball a softball vyloučeny z letních olympijských her 2012 v Londýně ve Velké Británii a staly se tak prvními sporty vyloučenými z olympijských her od vyřazení póla z olympiády v roce 1936. Vyřazením bylo z olympijských her 2012 vyřazeno 16 týmů a více než 300 sportovců. Dvě místa, která po vyřazení MOV zůstala volná, následně v roce 2016 zaplnily golf a sedmičkové ragby. Toto rozhodnutí bylo znovu potvrzeno 9. února 2006. na tribuně během zápasu o bronzovou medaili v roce 2008 mezi USA a Japonskem poskytl šéf MOV Jacques Rogge rozhovor Marku Newmanovi ze serveru MLB.com a uvedl různá kritéria, podle kterých by si baseball mohl vydobýt návrat na olympijské hry: „Pro zařazení do olympijského programu je potřeba co největší univerzálnost. Musíte mít sport, který má své příznivce, musíte mít nejlepší hráče a musíte přísně dodržovat pravidla WADA (Světové antidopingové agentury). A to jsou kvalifikace, které je třeba splnit. Když tohle všechno máte, musíte si získat srdce. Můžete získat rozum, ale stejně musíte získat srdce.“ V srpnu 2009 bylo na zasedání rady MOV v Berlíně oficiálně rozhodnuto, že baseball nebude zařazen ani na letní olympijské hry 2016.
1. dubna 2011 IBAF a Mezinárodní softballová federace oznámily, že připravují společný návrh na obnovení hry obou sportů na letních olympijských hrách 2020.
V srpnu 2011 informoval olympijský zpravodajský zdroj Around the Rings, že ISF a IBAF nebudou s olympijským návrhem spěchat a že IBAF pracuje na vytvoření dočasné komise, která by analyzovala možnosti společného návrhu. „V minulosti baseball a softball kandidovaly samy a výsledkem bylo, že baseball a softball zůstaly mimo,“ řekl prezident IBAF Riccardo Fraccari v narážce na jejich desetileté úsilí o zařazení na olympijské hry.
Mezinárodní olympijský výbor 8. září 2013 odhlasoval znovuzařazení zápasu a zamítl tak kombinovanou nabídku baseballu a softballu na letní olympijské hry 2020.
V souladu s novými zásadami MOV, které posouvají program her směrem k „událostem“ namísto sportů, může nyní hostitelský organizační výbor navrhnout doplnění programu vedle stálých „hlavních“ událostí také o další sporty. Druhou nabídku na zařazení baseballu-softballu jako události v roce 2020 podal tokijský organizační výbor 22. června 2015. Dne 3. srpna 2016 během 129. zasedání MOV v brazilském Riu de Janeiru schválil MOV konečný užší seznam pěti sportů, které má tokijský organizační výbor zařadit do programu letních olympijských her v roce 2020, včetně baseballu.
.
