Och även om det inte registrerades mycket, så dök olympisk baseboll upp för första gången vid spelen i St Louis 1904. Åtta år senare, 1912 i Stockholm, spelade ett amerikanskt lag mot värdlandet Sverige och vann med 13-3. Baseball spelades också vid de olympiska sommarspelen 1924 i Paris, det amerikanska laget slog det franska laget med 5-0 i en uppvisningsmatch med fyra innings. År 1936 i Berlin spelade två amerikanska lag mot varandra inför cirka 90 000-100 000 åskådare på Reichsportsfeld. Evenemanget i Helsingfors 1952 var en modifierad form av sporten, finsk baseboll, som spelades av två finska lag. Australien spelade en uppvisningsmatch mot USA 1956 i Melbourne och Japan gjorde samma sak 1964 i Tokyo. Med en publik på nästan 114 000 åskådare höll denna match på Melbourne Cricket Ground rekordet för den mest välbesökta uppvisningsbasebollmatchen någonsin fram till en amerikansk match i Los Angeles 2008.
Efter ett tjugoårigt uppehåll återkom den olympiska basebollen (som av IOK betecknades som en uppvisningssport/evenemang), men med turneringsformat (1984 i Los Angeles). Vid spelen i Seoul 1988 betecknades den som en demonstrationssport. Japan besegrade USA i den första turneringsfinalen 1984. År 1988 vann USA över Japan.
Baseball var endast öppet för manliga amatörer 1992 och 1996. Som ett resultat av detta förlitade sig amerikanerna och andra nationer där professionell baseboll utvecklas på collegespelare, medan kubanerna använde sig av sina mest erfarna veteraner, som tekniskt sett betraktades som amatörer eftersom de nominellt hade andra arbeten, men i själva verket tränade på heltid. År 2000 fick proffs tillträde, men MLB vägrade att släppa sina spelare 2000, 2004 och 2008, och situationen förändrades bara lite: kubanerna använde fortfarande sina bästa spelare, medan amerikanerna började använda sig av minor leaguers. IOK angav avsaknaden av de bästa spelarna som huvudskälet till att baseboll togs bort från det olympiska programmet.
Vid IOK:s möte den 7 juli 2005 röstades baseboll och softboll bort från de olympiska sommarspelen 2012 i London, Storbritannien, och blev därmed de första idrotterna som röstades bort från de olympiska spelen sedan polon uteslöts från de olympiska spelen 1936. Genom elimineringen uteslöts 16 lag och mer än 300 idrottare från de olympiska spelen 2012. De två platser som blev lediga efter IOK:s uteslutning fylldes därefter av golf och rugby sevens 2016. Beslutet bekräftades på nytt den 9 februari 2006. 2008 års bronsmatch mellan USA och Japan intervjuades IOK-chefen Jacques Rogge på läktaren av Mark Newman från MLB.com och nämnde olika kriterier för att baseboll ska kunna återinträda i OS: ”Att vara med på det olympiska programmet är en fråga där man behöver universalitet så mycket som möjligt. Man måste ha en sport med en publik, man måste ha de bästa spelarna och man måste följa WADA (World Anti-Doping Agency). Detta är de kvalifikationer som måste uppfyllas. När man har allt detta måste man vinna hjärtan. Du kan vinna hjärnan, men du måste fortfarande vinna hjärtan.” Det beslutades officiellt i augusti 2009 vid IOK:s styrelsemöte i Berlin att baseboll inte heller skulle ingå i de olympiska sommarspelen 2016.
Den 1 april 2011 meddelade IBAF och International Softball Federation att de höll på att utarbeta ett gemensamt förslag för att återuppliva spelandet av båda sporterna vid de olympiska sommarspelen 2020.
I augusti 2011 rapporterade den olympiska nyhetskällan Around the Rings att ISF och IBAF inte skulle skynda sig att lägga fram ett olympiskt förslag och att IBAF arbetade med att bilda en tillfällig kommission för att analysera utsikterna för ett gemensamt förslag. ”Tidigare körde baseboll och softball ensamma, och resultatet blev att baseboll och softball stannade ute”, sade IBAF:s ordförande Riccardo Fraccari med hänvisning till deras decennier långa strävan efter att inkluderas i OS.
Den 8 september 2013 röstade Internationella olympiska kommittén för att återinföra brottning och besegrade därmed det kombinerade budet från baseboll och softball för de olympiska sommarspelen 2020.
I enlighet med IOK:s nya riktlinjer, som förskjuter spelen till ett ”evenemangsbaserat” program snarare än idrottsbaserat, kan värdorganisationskommittén nu också föreslå att nya idrotter läggs till programmet vid sidan av de permanenta ”centrala” evenemangen. Den 22 juni 2015 lämnade Tokyos organisationskommitté in en andra ansökan om att inkludera baseboll-softboll som ett evenemang år 2020. Den 3 augusti 2016 under IOK:s 129:e session i Rio de Janeiro, Brasilien, godkände IOK Tokyos organisationskommittés slutliga shortlist med fem idrotter, som inkluderade baseboll, för att inkluderas i programmet under de olympiska sommarspelen 2020.
