Az olimpiai baseball az 1904-es St. Louis-i játékokon jelent meg először, bár keveset jegyezték fel. Nyolc évvel később, 1912-ben Stockholmban az Egyesült Államok csapata játszott a házigazda Svédország ellen, és 13-3-ra nyert. Az 1924-es párizsi nyári olimpián is játszottak baseballt, az amerikai csapat 5-0-ra verte a francia csapatot egy négy inninges bemutató mérkőzésen. 1936-ban Berlinben az Egyesült Államok két csapata játszott egymással körülbelül 90.000-100.000 néző előtt a Reichsportsfeldben. Az 1952-es helsinki esemény a sportág egy módosított formája, a finn baseball volt, amelyet két finn csapat játszott. Ausztrália 1956-ban Melbourne-ben egy egymeccses bemutatót játszott az Egyesült Államok ellen, Japán pedig 1964-ben Tokióban tette ugyanezt. Ez a Melbourne Cricket Groundon rendezett mérkőzés közel 114 000 nézővel a 2008-as Los Angeles-i amerikai mérkőzésig tartotta a valaha volt legnézettebb bemutató baseballmérkőzés rekordját.
Húsz év szünet után az olimpiai baseball (amelyet a NOB bemutató sportágként/eseményként jelölt meg) visszatért, de versenyformátummal (1984 Los Angeles). Az 1988-as szöuli játékokon bemutató sportágnak nevezték. Az 1984-es nyitótorna döntőjében Japán legyőzte az Egyesült Államokat. 1988-ban az Egyesült Államok győzött Japán ellen.
A baseball 1992-ben és 1996-ban csak férfi amatőrök számára volt nyitott. Ennek eredményeként az amerikaiak és más nemzetek, ahol a profi baseballt fejlesztették, főiskolás játékosokra támaszkodtak, míg a kubaiak a legtapasztaltabb veteránjaikat használták, akik technikailag amatőröknek számítottak, mivel névlegesen más munkájuk volt, de valójában teljes munkaidőben edzettek. 2000-ben a profikat is beengedték, de az MLB 2000-ben, 2004-ben és 2008-ban is megtagadta a játékosok kiadását, és a helyzet csak kis mértékben változott: a kubaiak továbbra is a legjobb játékosaikat használták, míg az amerikaiak kisebb ligás játékosokat kezdtek el alkalmazni. A NOB a legjobb játékosok hiányát nevezte meg a baseball olimpiai programból való kiesésének fő okaként.
A NOB 2005. július 7-i ülésén a baseballt és a softballt leszavazták a 2012-es londoni (Egyesült Királyság) nyári olimpiáról, és ezzel a póló 1936-os olimpiáról való kiesése óta ők lettek az első sportágak, amelyeket leszavaztak az olimpiáról. A kieséssel 16 csapatot és több mint 300 sportolót zártak ki a 2012-es olimpiáról. A NOB kiesése miatt megüresedett két helyet később a golf és a rögbi hetesek töltötték be 2016-ban. Ezt a döntést 2006. február 9-én megerősítették. 2008-ban az Egyesült Államok és Japán közötti bronzmérkőzésen Jacques Rogge, a NOB vezetője a lelátón az MLB.com munkatársának, Mark Newmannek adott interjút, és különböző kritériumokat említett a baseball számára, amelyek alapján vissza lehetett volna kerülni az olimpiára: “Az olimpiai programba való bekerülés olyan kérdés, ahol a lehető legnagyobb mértékben egyetemességre van szükség. Szükséged van egy sportágra, amelynek vannak követői, szükséged van a legjobb játékosokra, és szigorúan meg kell felelned a WADA (Nemzetközi Doppingellenes Ügynökség) előírásainak. És ezek azok a képesítések, amelyeknek meg kell felelni. Ha mindezzel rendelkezel, akkor meg kell nyerned a szíveket. Megnyerheted az elmét, de akkor is meg kell nyerned a szíveket.” 2009 augusztusában a NOB berlini elnökségi ülésén hivatalosan is eldőlt, hogy a baseball sem szerepel a 2016-os nyári olimpián.
2011. április 1-jén az IBAF és a Nemzetközi Softball Szövetség bejelentette, hogy közös javaslatot készítenek elő, hogy a 2020-as nyári olimpián újraindítsák mindkét sportág játékát.
2011 augusztusában az Around the Rings olimpiai hírforrás arról számolt be, hogy az ISF és az IBAF nem fogja elsietni az olimpiai javaslatot, és hogy az IBAF egy ideiglenes bizottság létrehozásán dolgozik, amely elemzi a közös javaslat lehetőségét. “A múltban a baseball és a softball egyedül futott, és az eredmény az lett, hogy a baseball és a softball kimaradt” – mondta Riccardo Fraccari, az IBAF elnöke, utalva arra, hogy évtizedek óta törekedtek az olimpiai részvételre.
2013. szeptember 8-án a Nemzetközi Olimpiai Bizottság megszavazta a birkózás visszaállítását, és ezzel elutasította a baseball-softball közös pályázatát a 2020-as nyári olimpiára.
A NOB új irányelvei szerint, amelyek a sportágak helyett “eseményalapú” programra helyezik át a játékokat, a házigazda szervezőbizottság mostantól az állandó “alapesemények” mellett sportágak felvételét is javasolhatja a programba. A tokiói szervezőbizottság 2015. június 22-én egy második, a baseball-softball 2020-as versenyszámként való felvételére vonatkozó pályázatot terjesztett elő. 2016. augusztus 3-án a NOB 129. ülésszakán, Rio de Janeiróban (Brazília) a NOB jóváhagyta a tokiói szervezőbizottság végleges, öt sportágat – köztük a baseballt – tartalmazó szűkített listáját, amelyet a 2020-as nyári olimpiai játékok programjába kívánnak felvenni.
