Obwohl wenig aufgezeichnet wurde, trat olympischer Baseball erstmals bei den Spielen 1904 in St. Louis auf. Acht Jahre später, 1912 in Stockholm, spielte ein Team der Vereinigten Staaten gegen Gastgeber Schweden und gewann 13:3. Auch bei den Olympischen Sommerspielen 1924 in Paris wurde Baseball gespielt, wobei die amerikanische Mannschaft die französische Mannschaft in einem vier Inning umfassenden Ausstellungsspiel mit 5:0 besiegte. 1936 traten in Berlin zwei amerikanische Mannschaften vor etwa 90 000 bis 100 000 Zuschauern auf dem Reichssportfeld gegeneinander an. Bei der Veranstaltung 1952 in Helsinki spielten zwei finnische Mannschaften eine abgewandelte Form des Sports, den finnischen Baseball. Australien bestritt 1956 in Melbourne ein Testspiel gegen die Vereinigten Staaten, und Japan tat dasselbe 1964 in Tokio. Mit fast 114.000 Zuschauern hielt dieses Spiel im Melbourne Cricket Ground bis zu einem amerikanischen Spiel in Los Angeles 2008 den Rekord für das bestbesuchte Baseball-Ausstellungsspiel aller Zeiten.
Nach einer zwanzigjährigen Pause kehrte olympisches Baseball (vom IOC als Ausstellungssportart/-veranstaltung bezeichnet) zurück, allerdings in Turnierform (1984 in Los Angeles). Bei den Spielen 1988 in Seoul wurde es als Demonstrationssportart bezeichnet. Im Finale des ersten Turniers 1984 besiegte Japan die Vereinigten Staaten. Im Jahr 1988 gewannen die Vereinigten Staaten gegen Japan.
Baseball war 1992 und 1996 nur für männliche Amateure zugänglich. Infolgedessen setzten die Amerikaner und andere Nationen, in denen professioneller Baseball entwickelt wird, auf College-Spieler, während die Kubaner ihre erfahrensten Veteranen einsetzten, die technisch gesehen als Amateure galten, da sie nominell einen anderen Job hatten, aber in Wirklichkeit Vollzeit trainierten. Im Jahr 2000 wurden Profis zugelassen, aber die MLB weigerte sich 2000, 2004 und 2008, ihre Spieler freizugeben, und die Situation änderte sich nur geringfügig: Die Kubaner setzten weiterhin ihre besten Spieler ein, während die Amerikaner begannen, Minor-League-Spieler einzusetzen. Das IOC nannte das Fehlen der besten Spieler als Hauptgrund dafür, dass Baseball aus dem olympischen Programm gestrichen wurde.
Auf der IOC-Sitzung am 7. Juli 2005 wurden Baseball und Softball von den Olympischen Sommerspielen 2012 in London, Vereinigtes Königreich, ausgeschlossen und waren damit die ersten Sportarten, die von den Olympischen Spielen ausgeschlossen wurden, seit Polo von den Olympischen Spielen 1936 ausgeschlossen wurde. Damit wurden 16 Mannschaften und mehr als 300 Sportler von den Olympischen Spielen 2012 ausgeschlossen. Die beiden Plätze, die durch den Ausschluss des IOC frei wurden, wurden 2016 durch Golf und Rugby Sevens besetzt. Diese Entscheidung wurde am 9. Februar 2006 bestätigt. 2008 wurde IOC-Chef Jacques Rogge auf der Tribüne während des Bronzemedaillen-Spiels zwischen den USA und Japan von Mark Newman von MLB.com interviewt und nannte verschiedene Kriterien, nach denen Baseball wieder in das Programm aufgenommen werden könnte: „Um in das olympische Programm aufgenommen zu werden, braucht man eine möglichst große Universalität. Man braucht eine Sportart mit einer großen Fangemeinde, man braucht die besten Spieler und man muss sich streng an die WADA (Welt-Anti-Doping-Agentur) halten. Das sind die Voraussetzungen, die man erfüllen muss. Wenn man das alles hat, muss man die Herzen gewinnen. Im August 2009 wurde auf der IOC-Vorstandssitzung in Berlin offiziell beschlossen, dass Baseball auch bei den Olympischen Sommerspielen 2016 nicht dabei sein wird.
Am 1. April 2011 gaben die IBAF und der Internationale Softballverband bekannt, dass sie einen gemeinsamen Vorschlag zur Wiederaufnahme beider Sportarten bei den Olympischen Sommerspielen 2020 vorbereiten.
Im August 2011 berichtete die olympische Nachrichtenquelle Around the Rings, dass die ISF und die IBAF einen olympischen Vorschlag nicht überstürzen würden und dass die IBAF an der Bildung einer nichtständigen Kommission arbeite, um die Aussicht auf einen gemeinsamen Vorschlag zu analysieren. „In der Vergangenheit sind Baseball und Softball allein angetreten, und das Ergebnis war, dass Baseball und Softball draußen geblieben sind“, sagte IBAF-Präsident Riccardo Fraccari in Bezug auf ihren jahrzehntelangen Vorstoß für die Aufnahme in die Olympischen Spiele.
Am 8. September 2013 stimmte das Internationale Olympische Komitee für die Wiederzulassung von Ringen und schlug damit die kombinierte Baseball-Softball-Bewerbung für die Olympischen Sommerspiele 2020.
Nach den neuen IOC-Richtlinien, die die Spiele auf ein „ereignisbasiertes“ Programm statt auf ein sportbasiertes Programm umstellen, kann das Organisationskomitee des Gastgebers nun auch die Aufnahme von Sportarten in das Programm neben den ständigen „Kernveranstaltungen“ vorschlagen. Das Organisationskomitee von Tokio hat am 22. Juni 2015 eine zweite Bewerbung für die Aufnahme von Baseball-Softball als Sportart in das Programm für 2020 eingereicht. Am 3. August 2016, während der 129. IOC-Session in Rio de Janeiro, Brasilien, genehmigte das IOC die endgültige Auswahlliste des Organisationskomitees von Tokio mit fünf Sportarten, darunter Baseball, die in das Programm der Olympischen Sommerspiele 2020 aufgenommen werden sollen.
