Ale niewiele zostało nagrane, olimpijski baseball po raz pierwszy pojawił się na igrzyskach w St. Louis w 1904 roku. Osiem lat później, w 1912 roku w Sztokholmie, drużyna Stanów Zjednoczonych zagrała przeciwko gospodarzowi – Szwecji, wygrywając 13-3. W baseball grano także na Letnich Igrzyskach Olimpijskich w Paryżu w 1924 roku. Amerykanie pokonali Francuzów 5-0 w czterorundowym meczu pokazowym. W 1936 roku w Berlinie dwie drużyny Stanów Zjednoczonych zagrały ze sobą przed około 90 000-100 000 widzów na Reichsportsfeld. W 1952 r. w Helsinkach dwie fińskie drużyny zagrały zmodyfikowaną formę tej dyscypliny sportu – fiński baseball. Australia rozegrała jeden mecz pokazowy ze Stanami Zjednoczonymi w 1956 roku w Melbourne, a Japonia zrobiła to samo w 1964 roku w Tokio. Mecz ten, który zgromadził prawie 114 000 widzów na Melbourne Cricket Ground, był rekordowy pod względem największej frekwencji aż do amerykańskiego meczu w Los Angeles w 2008 r. Po dwudziestoletniej przerwie baseball olimpijski (nazwany przez MKOl sportem/wydarzeniem wystawowym) powrócił, ale w formie turnieju (1984 Los Angeles). Na igrzyskach w Seulu w 1988 roku został określony jako sport pokazowy. W inauguracyjnym finale turnieju w 1984 roku Japonia pokonała Stany Zjednoczone. W 1988 roku Stany Zjednoczone zwyciężyły nad Japonią.
Baseball był otwarty tylko dla amatorów płci męskiej w 1992 i 1996 roku. W rezultacie Amerykanie i inne narody, w których rozwija się profesjonalny baseball, polegali na graczach z college’u, podczas gdy Kubańczycy używali swoich najbardziej doświadczonych weteranów, którzy technicznie byli uważani za amatorów, ponieważ nominalnie posiadali inne zawody, ale w rzeczywistości trenowali w pełnym wymiarze godzin. W 2000 roku dopuszczono zawodowców, ale MLB odmówiła wydania swoich graczy w 2000, 2004 i 2008 roku, a sytuacja zmieniła się tylko nieznacznie: Kubańczycy nadal korzystali ze swoich najlepszych graczy, podczas gdy Amerykanie zaczęli używać zawodników z niższych lig. IOC cytowane brak najlepszych graczy jako główny powód baseball jest spadek z Olympic program.
Na posiedzeniu MKOl w dniu 7 lipca 2005, baseball i softball zostały przegłosowane z 2012 Letnich Igrzysk Olimpijskich w Londynie, Wielka Brytania, stając się pierwszym sportem przegłosowane z olimpiady od polo został wyeliminowany z 1936 Igrzysk Olimpijskich. W wyniku eliminacji z Olimpiady 2012 odpadło 16 drużyn i ponad 300 sportowców. Dwa wolne miejsca, które pozostały po eliminacjach przez MKOl, zostały następnie wypełnione przez golf i rugby siódme w 2016 roku. Decyzja ta została potwierdzona 9 lutego 2006 r. Na trybunach podczas meczu o brązowy medal w 2008 r. między USA a Japonią, szef MKOl Jacques Rogge został zapytany przez Marka Newmana z MLB.com i wymienił różne kryteria dla baseballu, aby zasłużyć na powrót: „Aby znaleźć się w programie olimpijskim potrzebna jest uniwersalność tak bardzo, jak to tylko możliwe. Musisz mieć sport, który ma swoich zwolenników, musisz mieć najlepszych graczy i musisz być w ścisłej zgodności z WADA (Światowa Agencja Antydopingowa). To są kwalifikacje, które muszą być spełnione. Kiedy ma się to wszystko, trzeba zdobyć serca. Możesz wygrać umysł, ale nadal musisz wygrać serca. „W sierpniu 2009 roku na posiedzeniu zarządu MKOl w Berlinie oficjalnie zdecydowano, że baseball również nie zostanie uwzględniony w Letnich Igrzyskach Olimpijskich w 2016 roku.
1 kwietnia 2011 roku IBAF i Międzynarodowa Federacja Softballu ogłosiły, że przygotowują wspólną propozycję wznowienia obu sportów na Letnich Igrzyskach Olimpijskich w 2020 roku.
W sierpniu 2011 roku, Olympic news source Around the Rings poinformował, że ISF i IBAF nie będzie spieszyć się do propozycji olimpijskiej, i że IBAF pracował nad utworzeniem tymczasowej komisji do analizy perspektywy wspólnej propozycji. „W przeszłości baseball i softball działały w pojedynkę, a wynik był taki, że baseball i softball pozostały na zewnątrz”, powiedział prezydent IBAF Riccardo Fraccari w odniesieniu do ich dziesięcioletniego parcia na włączenie olimpijskie.
W dniu 8 września 2013 roku Międzynarodowy Komitet Olimpijski głosował za przywróceniem zapasów, pokonując połączoną ofertę baseballu i softballu na Letnie Igrzyska Olimpijskie w 2020 roku.
W ramach nowej polityki MKOl, która przesuwa igrzyska do programu „opartego na wydarzeniach”, a nie na sporcie, komitet organizacyjny gospodarza może teraz również zaproponować dodanie sportów do programu obok stałych „podstawowych” wydarzeń. Drugi wniosek o włączenie baseballu-softballu jako wydarzenia w 2020 roku został umieszczony na krótkiej liście przez Komitet Organizacyjny w Tokio 22 czerwca 2015 roku. W dniu 3 sierpnia 2016 r. podczas 129. sesji MKOl w Rio de Janeiro w Brazylii MKOl zatwierdził ostateczną krótką listę Komitetu Organizacyjnego w Tokio, na której znalazło się pięć dyscyplin sportowych, w tym baseball, do włączenia do programu podczas Letnich Igrzysk Olimpijskich w 2020 r.
.
