Olkoonkin, että olympiapesäpalloa esiteltiin ensimmäisen kerran vuoden 1904 St. Louisin kisoissa. Kahdeksan vuotta myöhemmin vuonna 1912 Tukholmassa Yhdysvaltain joukkue pelasi isäntämaa Ruotsia vastaan ja voitti 13-3. Baseballia pelattiin myös Pariisin kesäolympialaisissa 1924, jolloin Yhdysvaltain joukkue voitti Ranskan joukkueen 5-0 neljän vuoroparin näytösottelussa. Vuonna 1936 Berliinissä kaksi Yhdysvaltojen joukkuetta pelasi toisiaan vastaan noin 90 000-100 000 katsojan edessä Reichsportsfeldillä. Vuonna 1952 Helsingissä pelattiin lajin muunneltua muotoa, suomalaista pesäpalloa, jota pelasi kaksi suomalaista joukkuetta. Australia pelasi yhden ottelun mittaisen näytösottelun Yhdysvaltoja vastaan Melbournessa vuonna 1956, ja Japani teki saman vuonna 1964 Tokiossa. Melkein 114 000 katsojan yleisömäärällä tämä Melbournen krikettikentällä pelattu ottelu piti hallussaan kaikkien aikojen katsojamäärältään suurimman näytöspesäpallo-ottelun ennätystä aina Los Angelesissa vuonna 2008 pelattuun amerikkalaisotteluun asti.
Kahdeksankymmenen vuoden tauon jälkeen olympiapesäpallo (KOK:n näyttelyurheiluksi/tapahtumaksi leimaama) palasi takaisin, tosin turnausmuotoisena (1984 Los Angelesissa). Vuoden 1988 Soulin kisoissa sitä kutsuttiin näytöslajiksi. Japani voitti Yhdysvallat avausturnauksen finaalissa vuonna 1984. Vuonna 1988 Yhdysvallat voitti Japanin.
Pesäpallo oli avoin vain miesharrastajille vuosina 1992 ja 1996. Tämän seurauksena amerikkalaiset ja muut maat, joissa ammattimaista pesäpalloa kehitetään, luottivat yliopistopelaajiin, kun taas kuubalaiset käyttivät kokeneimpia veteraanejaan, jotka teknisesti katsottiin amatööreiksi, koska heillä oli nimellisesti muita töitä, mutta tosiasiassa he harjoittelivat kokopäiväisesti. Vuonna 2000 ammattilaiset hyväksyttiin, mutta MLB kieltäytyi luovuttamasta pelaajiaan vuosina 2000, 2004 ja 2008, ja tilanne muuttui vain vähän: kuubalaiset käyttivät edelleen parhaita pelaajiaan, kun taas amerikkalaiset alkoivat käyttää alaikäisiä liigapelaajia. KOK mainitsi parhaiden pelaajien puuttumisen pääasiallisena syynä baseballin jättämiseen pois olympiaohjelmasta.
KOK:n kokouksessa 7. heinäkuuta 2005 baseball ja softball äänestettiin pois vuoden 2012 kesäolympialaisista Lontoossa, Isossa-Britanniassa, ja niistä tulivat ensimmäiset lajit, jotka äänestettiin ulos olympialaisista sen jälkeen, kun poolo poistettiin vuoden 1936 olympialaisista. Vuoden 2012 olympialaisista poistettiin 16 joukkuetta ja yli 300 urheilijaa. KOK:n karsinnan seurauksena vapautuneet kaksi paikkaa täytettiin myöhemmin golfilla ja rugby Sevensillä vuonna 2016. Päätös vahvistettiin uudelleen 9. helmikuuta 2006. 2008 Yhdysvaltain ja Japanin välisen pronssiottelun aikana katsomossa MLB.comin Mark Newman haastatteli KOK:n johtajaa Jacques Roggea ja mainitsi erilaisia kriteerejä, joiden perusteella baseball voisi ansaita tiensä takaisin olympialaisiin: ”Olympiaohjelmaan pääseminen on asia, jossa tarvitaan mahdollisimman paljon yleismaailmallisuutta. Tarvitaan urheilulaji, jolla on kannattajia, parhaita pelaajia ja tiukka WADA:n (Maailman antidopingtoimisto) noudattaminen. Nämä vaatimukset on täytettävä. Kun sinulla on kaikki tämä, sinun on voitettava sydämet. Voit voittaa mielen, mutta sinun on silti voitettava sydämet.” Elokuussa 2009 KOK:n hallituksen kokouksessa Berliinissä päätettiin virallisesti, että baseballia ei myöskään oteta mukaan vuoden 2016 kesäolympialaisiin.
1.4.2011 IBAF ja Kansainvälinen softapalloliitto ilmoittivat valmistelevansa yhteistä ehdotusta molempien lajien pelaamisen elvyttämiseksi vuoden 2020 kesäolympialaisissa.
Elokuussa 2011 olympiauutislähde Around the Rings kertoi, että ISF ja IBAF eivät kiirehtisi olympiaehdotuksen tekemistä ja että IBAF työskenteli väliaikaisen toimikunnan muodostamiseksi analysoimaan yhteisen ehdotuksen mahdollisuutta. ”Aiemmin pesäpallo ja softball juoksivat yksin, ja tuloksena oli, että pesäpallo ja softball jäivät ulkopuolelle”, IBAF:n puheenjohtaja Riccardo Fraccari sanoi viitaten heidän vuosikymmeniä kestäneeseen pyrkimykseensä olympialaisiin.
8. syyskuuta 2013 Kansainvälinen olympiakomitea äänesti painin palauttamisesta, mikä hylkäsi pesäpallon ja softballin yhdistetyn hakemuksen vuoden 2020 kesäolympialaisiin.
KOK:n uusien linjausten mukaan, joilla kisat siirretään ”tapahtumapohjaiseen” ohjelmaan urheilulajipohjaisen sijaan, isäntämaan järjestelykomitea voi nyt myös ehdottaa urheilulajien lisäämistä ohjelmaan pysyvien ”ydinkilpailujen” rinnalle. Tokion järjestelykomitea esitti 22. kesäkuuta 2015 toisen ehdotuksen pesäpallon ja softballin lisäämisestä vuoden 2020 tapahtumaksi. KOK hyväksyi 3. elokuuta 2016 Rio de Janeirossa, Brasiliassa pidetyssä KOK:n 129. istunnossa Tokion järjestelykomitean lopullisen ehdokaslistan viidestä urheilulajista, joihin kuului myös pesäpallo, vuoden 2020 kesäolympialaisten ohjelmaan sisällytettäväksi.
