Zneužití statistiky

Falešná kauzalita: Když statistický test ukazuje korelaci mezi A a B, existuje obvykle šest možností:

1. A způsobuje B.
2. B způsobuje A.
3. A i B se navzájem částečně způsobují.
4. A i B jsou způsobeny třetím faktorem, C.
5. B je způsoben C, který je korelován s A.
6. Pozorovaná korelace byla způsobena čistě náhodou.

Šestou možnost lze kvantifikovat pomocí statistických testů, které dokáží vypočítat pravděpodobnost, že by pozorovaná korelace byla tak velká, jaká je pouze náhodou, pokud by ve skutečnosti mezi proměnnými neexistoval žádný vztah. Nicméně i když má tato možnost malou pravděpodobnost, stále je tu těch pět ostatních.

Pokud by počet lidí, kteří si kupují zmrzlinu na pláži, statisticky souvisel s počtem lidí, kteří se na pláži utopí, pak by nikdo netvrdil, že zmrzlina způsobuje utopení, protože je zřejmé, že tomu tak není. (V tomto případě je zřejmé, že jak utonutí, tak kupování zmrzliny souvisí s třetím faktorem: počtem lidí na pláži).

Tento omyl lze použít například při dokazování, že vystavení chemické látce způsobuje rakovinu. Nahraďte „počet lidí kupujících zmrzlinu“ za „počet lidí vystavených chemické látce X“ a „počet lidí, kteří se utopí“ za „počet lidí, kteří dostanou rakovinu“ a mnoho lidí vám uvěří. V takové situaci může existovat statistická korelace, i když neexistuje žádný skutečný vliv. Pokud například vznikne dojem, že chemická lokalita je „nebezpečná“ (i když ve skutečnosti není), sníží se hodnota nemovitostí v dané oblasti, což bude lákat více rodin s nízkými příjmy, aby se do této oblasti přestěhovaly. Pokud rodiny s nízkými příjmy častěji onemocní rakovinou než rodiny s vysokými příjmy (například v důsledku horšího stravování nebo horšího přístupu k lékařské péči), pak se počet případů rakoviny zvýší, i když chemická látka sama o sobě není nebezpečná. Předpokládá se, že přesně to se stalo v případě některých prvních studií, které prokázaly souvislost mezi EMP (elektromagnetickými poli) z elektrického vedení a rakovinou.

V dobře navržených studiích lze efekt falešné kauzality eliminovat tím, že část lidí náhodně zařadíme do „léčebné skupiny“ a část lidí do „kontrolní skupiny“ a léčebné skupině dáme léčbu a kontrolní skupině léčbu nedáme. Ve výše uvedeném příkladu může výzkumník vystavit jednu skupinu lidí působení chemické látky X a druhou skupinu ponechat bez působení. Pokud by první skupina měla vyšší výskyt rakoviny, výzkumník ví, že neexistuje žádný třetí faktor, který by ovlivnil, zda byla osoba exponována, protože kontroloval, kdo byl či nebyl exponován, a náhodně zařadil lidi do exponované a neexponované skupiny. V mnoha případech je však skutečné provedení experimentu tímto způsobem buď neúměrně nákladné, neproveditelné, neetické, nezákonné, nebo přímo nemožné. Je například velmi nepravděpodobné, že by IRB schválila experiment, který by zahrnoval záměrné vystavení lidí nebezpečné látce za účelem testování její toxicity. Zřejmé etické důsledky takových typů experimentů omezují schopnost výzkumníků empiricky testovat příčinné souvislosti.

Důkaz nulové hypotézyEdit

Ve statistickém testu se nulová hypotéza ( H 0 {\displaystyle H_{0}}

) považuje za platnou, dokud dostatek dat neprokáže, že je nesprávná. Pak H 0 {\displaystyle H_{0}}.

se zamítá a alternativní hypotéza ( H A {\displaystyle H_{A}}

) se považuje za prokázanou jako správná. Náhodou se to může stát, i když H 0 {\displaystyle H_{0}}

je pravdivá s pravděpodobností označenou α {\displaystyle \alpha }

(hladina významnosti). To lze přirovnat k soudnímu procesu, kde je obviněný považován za nevinného ( H 0 {\displaystyle H_{0}}

), dokud mu není prokázána vina ( H A {\displaystyle H_{A}}

) bez důvodných pochybností ( α {\displaystyle \alpha }

).

Pokud nám však data neposkytují dostatečný důkaz pro odmítnutí toho, že H 0 {\displaystyle H_{0}}.

, nedokazuje to automaticky, že H 0 {\displaystyle H_{0}}.

je správná. Pokud chce například výrobce tabákových výrobků prokázat, že jeho výrobky jsou bezpečné, může snadno provést test na malém vzorku kuřáků oproti malému vzorku nekuřáků. Je nepravděpodobné, že by některý z nich onemocněl rakovinou plic (a i kdyby ano, rozdíl mezi skupinami musí být velmi velký, aby bylo možné zamítnout H 0 {\displaystyle H_{0}}.

). Proto je pravděpodobné – i když je kouření nebezpečné – že náš test nezamítne H 0 {\displaystyle H_{0}}.

. Pokud H 0 {\displaystyle H_{0}}

přijata, nevyplývá z toho automaticky, že kouření je prokazatelně neškodné. Test nemá dostatečnou sílu k zamítnutí H 0 {\displaystyle H_{0}}.

, takže test je zbytečný a hodnota „důkazu“ H 0 {\displaystyle H_{0}} je nulová.

je rovněž nulová.

To lze – s použitím výše uvedené soudní analogie – srovnat se skutečně vinným obžalovaným, který je propuštěn jen proto, že důkaz nestačí k vynesení rozsudku o vině. Tím se nedokazuje nevina obžalovaného, ale pouze to, že není dostatek důkazů pro vynesení rozsudku o vině.

„…nulová hypotéza není nikdy prokázána ani stanovena, ale je případně vyvrácena, a to v průběhu experimentu. Lze říci, že každý experiment existuje pouze proto, aby fakta poskytla šanci vyvrátit nulovou hypotézu.“ . (Fisher v knize The Design of Experiments) Existuje mnoho důvodů pro záměnu, včetně používání dvojí záporné logiky a terminologie vyplývající ze sloučení Fisherova „testování významnosti“ (kdy nulová hypotéza není nikdy přijata) s „testováním hypotéz“ (kdy je vždy přijata nějaká hypotéza).

Záměna statistické významnosti s praktickou významnostíEdit

Statistická významnost je mírou pravděpodobnosti; praktická významnost je mírou účinku. Léčba plešatosti je statisticky významná, pokud řídké broskvové chmýří obvykle pokrývá dříve holou pokožku hlavy. Vyléčení je prakticky významné, když v chladném počasí již není nutný klobouk a holič se ptá, kolik má sundat vršku. Plešatí chtějí lék, který je statisticky i prakticky významný; Pravděpodobně bude fungovat, a pokud ano, bude mít velký vlasový efekt. Vědecká publikace často vyžaduje pouze statistickou významnost. To vedlo ke stížnostem (za posledních 50 let), že testování statistické významnosti je zneužitím statistiky.

Bagrování datUpravit

Data dredging je zneužití dolování dat. Při data dredgingu se zkoumají rozsáhlé kompilace dat za účelem nalezení korelace, aniž by byla předem zvolena hypotéza, která má být testována. Vzhledem k tomu, že požadovaný interval spolehlivosti pro zjištění vztahu mezi dvěma parametry je obvykle zvolen na 95 % (což znamená, že existuje 95% šance, že pozorovaný vztah není způsoben náhodou), existuje tedy 5% šance na nalezení korelace mezi libovolnými dvěma soubory zcela náhodných proměnných. Vzhledem k tomu, že snahy o prohloubení dat obvykle zkoumají rozsáhlé soubory dat s mnoha proměnnými, a tedy i větším počtem párů proměnných, je téměř jisté, že v každé takové studii budou nalezeny falešné, ale zdánlivě statisticky významné výsledky.

Poznamenejme, že prohloubení dat je platný způsob, jak najít možnou hypotézu, ale tato hypotéza musí být následně testována s daty, která nebyla použita v původním prohloubení. Zneužití nastává, když je tato hypotéza prohlášena za fakt bez dalšího ověření.

„Nelze legitimně testovat hypotézu na stejných datech, která tuto hypotézu poprvé navrhla. Náprava je jasná. Jakmile máte hypotézu, navrhněte studii, která bude konkrétně hledat účinek, o němž se nyní domníváte, že existuje. Pokud je výsledek tohoto testu statisticky významný, máte konečně skutečný důkaz.“

Manipulace s datyEdit

Neformálně se tato praxe nazývá „falšování dat“ a zahrnuje selektivní vykazování (viz také publikační zkreslení) a dokonce i prosté vymýšlení nepravdivých údajů.

Příkladů selektivního vykazování je mnoho. Nejjednodušší a nejběžnější příklady zahrnují výběr skupiny výsledků, které sledují vzorec odpovídající preferované hypotéze, zatímco ignorují jiné výsledky nebo „běhy dat“, které jsou s hypotézou v rozporu.

Výzkumníci v oblasti psychiky již dlouho zpochybňují studie, které ukazují na lidi se schopností ESP. Kritici obviňují zastánce ESP, že publikují pouze experimenty s pozitivními výsledky a odkládají ty, které vykazují negativní výsledky. „Pozitivní výsledek“ je takový test (nebo datový běh), při němž zkoumaná osoba uhodne skrytou kartu apod. s mnohem vyšší četností než náhoda.

Vědci obecně zpochybňují platnost výsledků studií, které nemohou být reprodukovány jinými badateli. Někteří vědci však odmítají zveřejnit svá data a metody.

Manipulace s daty je vážným problémem/úvahou i při těch nejpoctivějších statistických analýzách. Odlehlé hodnoty, chybějící údaje a nenormálnost mohou negativně ovlivnit platnost statistické analýzy. Před zahájením analýzy je vhodné data prostudovat a opravit skutečné problémy. „n a každém diagramu rozptylu budou některé body více či méně oddělené od hlavní části mračna: tyto body by měly být odmítnuty pouze z příčiny.“

Další chybyEdit

Pseudoreplikace je technická chyba spojená s analýzou rozptylu. Složitost skrývá skutečnost, že se o statistickou analýzu pokoušíme na jediném vzorku (N=1). Pro tento degenerovaný případ nelze rozptyl vypočítat (dělení nulou). (N=1) poskytne výzkumníkovi vždy nejvyšší statistickou korelaci mezi záměrnou odchylkou a skutečnými zjištěními.

Omyl hazardního hráče předpokládá, že událost, u níž lze měřit budoucí pravděpodobnost, měla stejnou pravděpodobnost, že nastane, jakmile již nastala. Pokud tedy někdo hodil již 9 mincí a každá z nich padla hlavou, lidé mají tendenci předpokládat, že pravděpodobnost, že desátá mince padne také hlavou, je 1023 ku 1 proti (což bylo před hodem první mince), zatímco ve skutečnosti je pravděpodobnost desáté hlavy 50 % (za předpokladu, že mince je nestranná).

Omyl žalobce vedl ve Velké Británii k tomu, že Sally Clarková byla neprávem odsouzena za vraždu svých dvou synů. U soudu byla nízká statistická pravděpodobnost (1 ku 73 milionům) úmrtí dvou ženiných dětí na syndrom náhlého úmrtí kojenců, kterou uvedl profesor Sir Roy Meadow, nesprávně interpretována tak, že naznačuje nízkou pravděpodobnost její neviny. I kdyby byla uvedená pravděpodobnost dvojího SIDS, kterou později zpochybnila Královská statistická společnost, správná, je třeba zvážit všechna možná vysvětlení proti sobě, aby bylo možné učinit závěr, které z nich s největší pravděpodobností způsobilo nevysvětlitelnou smrt obou dětí. Z dostupných údajů vyplývá, že pravděpodobnost dvojnásobného SIDS by byla devítinásobná ve srovnání s dvojnásobnou vraždou“. Odsouzení Sally Clarkové bylo nakonec zrušeno.

Ludský omyl. Pravděpodobnosti jsou založeny na jednoduchých modelech, které ignorují reálné (i když vzdálené) možnosti. Hráči pokeru neuvažují o tom, že soupeř může vytáhnout zbraň místo karty. Pojištěnci (a vlády) předpokládají, že pojišťovny zůstanou solventní, ale viz AIG a systémové riziko.

Jiné typy zneužitíEdit

Mezi další zneužití patří srovnávání jablek a pomerančů, používání nesprávného průměru, regrese k průměru a zastřešující fráze garbage in, garbage out. Některé statistiky jsou pro danou problematiku jednoduše irelevantní.

Anscombovo kvarteto je vymyšlený soubor dat, který je příkladem nedostatků prosté popisné statistiky (a hodnoty vykreslování dat před numerickou analýzou).