Og selv om der kun blev registreret lidt, blev der for første gang spillet olympisk baseball ved de olympiske lege i 1904 i St. Otte år senere, i 1912 i Stockholm, spillede et amerikansk hold mod værtslandet Sverige og vandt 13-3. Baseball blev også spillet ved de olympiske sommerlege i Paris i 1924, hvor det amerikanske hold slog det franske hold med 5-0 i en opvisningskamp med fire innings. I 1936 i Berlin spillede to amerikanske hold mod hinanden foran ca. 90.000-100.000 tilskuere på Reichsportsfeld i Berlin. I 1952 i Helsinki var der tale om en modificeret form af sporten, finsk baseball, som blev spillet af to finske hold. Australien spillede en enkelt opvisningskamp mod USA i 1956 i Melbourne, og Japan gjorde det samme i 1964 i Tokyo. Med næsten 114 000 tilskuere holdt denne kamp på Melbourne Cricket Ground rekorden for den mest velbesøgte opvisningsbaseballkamp nogensinde indtil en amerikansk kamp i Los Angeles i 2008.
Efter en tyveårig pause vendte olympisk baseball (af IOC betegnet som en opvisningssport/begivenhed) tilbage, men med turneringsformatering (1984 Los Angeles). Ved legene i Seoul i 1988 blev det betegnet som en demonstrationssport. Japan besejrede USA i den indledende turneringsfinale i 1984. I 1988 vandt USA over Japan.
Baseball var kun åbent for mandlige amatører i 1992 og 1996. Som følge heraf var amerikanerne og andre nationer, hvor der udvikles professionel baseball, afhængige af collegespillere, mens cubanerne brugte deres mest erfarne veteraner, som teknisk set blev betragtet som amatører, da de nominelt set havde andre jobs, men i virkeligheden trænede på fuld tid. I 2000 blev professionelle spillere optaget, men MLB nægtede at frigive sine spillere i 2000, 2004 og 2008, og situationen ændrede sig kun lidt: cubanerne brugte stadig deres bedste spillere, mens amerikanerne begyndte at bruge minor leaguers. IOC angav fraværet af de bedste spillere som hovedårsagen til, at baseball blev udelukket fra det olympiske program.
På IOC’s møde den 7. juli 2005 blev baseball og softball stemt ud af de olympiske sommerlege i 2012 i London, Storbritannien, og blev dermed de første sportsgrene, der blev stemt ud af de olympiske lege, siden polo blev udelukket fra de olympiske lege i 1936. Ved udelukkelsen blev 16 hold og mere end 300 atleter udelukket fra OL i 2012. De to pladser, der blev ledige efter IOC’s udelukkelse, blev efterfølgende udfyldt af golf og rugby sevens i 2016. Denne beslutning blev bekræftet på ny den 9. februar 2006.På tribunen under kampen om bronzemedaljerne mellem USA og Japan i 2008 blev IOC-chef Jacques Rogge interviewet af Mark Newman fra MLB.com og nævnte forskellige kriterier for, at baseball kunne gøre sig fortjent til at komme med igen: “At være med på det olympiske program er et spørgsmål, hvor man har brug for universalitet så meget som muligt. Man skal have en sport med mange tilhængere, man skal have de bedste spillere, og man skal være i nøje overensstemmelse med WADA (World Anti-Doping Agency). Og det er de kvalifikationer, der skal være opfyldt. Når man har alt dette, er man nødt til at vinde hjerter. Du kan vinde sindet, men du skal stadig vinde hjerterne. “Det blev officielt besluttet i august 2009 på IOC’s bestyrelsesmøde i Berlin, at baseball heller ikke ville være med til de olympiske sommerlege i 2016.
Den 1. april 2011 meddelte IBAF og det internationale softballforbund, at de var ved at udarbejde et fælles forslag om at genoplive spillet af begge sportsgrene ved de olympiske sommerlege i 2020.
I august 2011 rapporterede den olympiske nyhedskilde Around the Rings, at ISF og IBAF ikke ville kaste sig ud i et olympisk forslag, og at IBAF arbejdede på at danne en midlertidig kommission til at analysere udsigten til et fælles forslag. “Tidligere kørte baseball og softball alene, og resultatet var, at baseball og softball blev holdt ude,” sagde IBAF-præsident Riccardo Fraccari med henvisning til deres årtier lange fremstød for olympisk optagelse.
Den 8. september 2013 stemte Den Internationale Olympiske Komité for at genindsætte brydning og nedlagde dermed det kombinerede baseball-softball-bud til sommer-OL i 2020.
I henhold til nye IOC-politikker, der flytter legene til et “begivenhedsbaseret” program i stedet for sportsbaseret, kan værtsorganisationskomitéen nu også foreslå, at der tilføjes sportsgrene til programmet ved siden af de permanente “kernebegivenheder”. Et andet bud på baseball-softball til at blive inkluderet som en begivenhed i 2020 blev shortlistet af Tokyos organisationskomité den 22. juni 2015. Den 3. august 2016 under det 129. IOC-møde i Rio de Janeiro, Brasilien, godkendte IOC Tokyos organisationskomités endelige shortliste med fem sportsgrene, herunder baseball, til at blive optaget på programmet under de olympiske sommerlege i 2020.
