Missbruk av statistik

När ett statistiskt test visar en korrelation mellan A och B finns det vanligtvis sex möjligheter:

1. A orsakar B.
2. B orsakar A.
3. A och B orsakar både delvis varandra.
4. A och B orsakas båda av en tredje faktor, C.
5. B orsakas båda av C, som är korrelerad med A.
6. Den observerade korrelationen berodde enbart på slumpen.

Den sjätte möjligheten kan kvantifieras med hjälp av statistiska tester som kan beräkna sannolikheten för att den observerade korrelationen skulle vara lika stor som den är enbart av slumpen om det i själva verket inte finns något samband mellan variablerna. Men även om den möjligheten har en liten sannolikhet finns det fortfarande de fem andra.

Om antalet människor som köper glass på stranden har ett statistiskt samband med antalet människor som drunknar på stranden, så skulle ingen hävda att glass orsakar drunkning eftersom det är uppenbart att det inte är så. (I det här fallet är både drunkning och köp av glass tydligt relaterade till en tredje faktor: antalet människor på stranden).

Denna felaktighet kan till exempel användas för att bevisa att exponering för en kemikalie orsakar cancer. Ersätt ”antal människor som köper glass” med ”antal människor som utsätts för kemikalie X” och ”antal människor som drunknar” med ”antal människor som får cancer”, och många människor kommer att tro dig. I en sådan situation kan det finnas ett statistiskt samband även om det inte finns någon verklig effekt. Om det till exempel finns en uppfattning om att en kemikalieanläggning är ”farlig” (även om den egentligen inte är det) kommer fastighetsvärdena i området att sjunka, vilket kommer att locka fler låginkomstfamiljer att flytta till det området. Om låginkomstfamiljer löper större risk att drabbas av cancer än höginkomstfamiljer (t.ex. på grund av sämre kost eller sämre tillgång till sjukvård) kommer cancerfrekvensen att öka, även om kemikalien i sig inte är farlig. Man tror att detta är exakt vad som hände med några av de tidiga studierna som visade en koppling mellan EMF (elektromagnetiska fält) från kraftledningar och cancer.

I väl utformade studier kan effekten av falsk kausalitet elimineras genom att man slumpmässigt placerar vissa personer i en ”behandlingsgrupp” och vissa personer i en ”kontrollgrupp”, och ger behandlingsgruppen behandlingen och inte ger kontrollgruppen behandlingen. I exemplet ovan kan en forskare utsätta en grupp människor för kemikalie X och låta en annan grupp vara oexponerad. Om den första gruppen hade högre cancerfrekvens vet forskaren att det inte finns någon tredje faktor som påverkade om en person utsattes eller inte, eftersom han kontrollerade vilka som utsattes eller inte utsattes, och han tilldelade människor slumpmässigt till de exponerade och icke-exponerade grupperna. I många tillämpningar är det dock antingen oöverkomligt dyrt, ogenomförbart, oetiskt, olagligt eller rent av omöjligt att genomföra ett experiment på detta sätt. Det är till exempel högst osannolikt att en IRB skulle godkänna ett experiment som innebär att människor avsiktligt utsätts för ett farligt ämne för att testa dess toxicitet. De uppenbara etiska konsekvenserna av sådana typer av experiment begränsar forskarnas möjligheter att empiriskt testa orsakssamband.

Bevis för nollhypotesenRedigera

I ett statistiskt test anses nollhypotesen ( H 0 {\displaystyle H_{0}}

) vara giltig tills tillräckligt med data bevisar att den är fel. Då är H 0 {\displaystyle H_{0}}

förkastas och den alternativa hypotesen ( H A {\displaystyle H_{A}}

) anses vara bevisad korrekt. Detta kan ske av en slump, även om H 0 {\displaystyle H_{0}}

är sann, med en sannolikhet som betecknas α {\displaystyle \alpha }

(signifikansnivån). Detta kan jämföras med rättsprocessen, där den anklagade betraktas som oskyldig ( H 0 {\displaystyle H_{0}}

) tills det bevisas att han eller hon är skyldig ( H A {\displaystyle H_{A}}}

) bortom allt rimligt tvivel ( α {\displaystyle \alpha }

).

Men om data inte ger oss tillräckliga bevis för att förkasta att H 0 {\displaystyle H_{0}}

, bevisar detta inte automatiskt att H 0 {\displaystyle H_{0}}

är korrekt. Om t.ex. en tobaksproducent vill visa att dess produkter är säkra kan den lätt genomföra ett test med ett litet urval av rökare jämfört med ett litet urval av icke-rökare. Det är osannolikt att någon av dem kommer att utveckla lungcancer (och även om de gör det måste skillnaden mellan grupperna vara mycket stor för att förkasta H 0 {\displaystyle H_{0}}

). Därför är det troligt – även om rökning är farligt – att vårt test inte kommer att förkasta H 0 {\displaystyle H_{0}}

. Om H 0 {\displaystyle H_{0}}

accepteras, följer det inte automatiskt att rökning bevisligen är ofarlig. Testet har otillräcklig effekt för att förkasta H 0 {\displaystyle H_{0}}

, så testet är värdelöst och värdet av ”beviset” för H 0 {\displaystyle H_{0}}

är också noll.

Detta kan – med hjälp av den rättsliga analogin ovan – jämföras med den verkligt skyldige anklagade som släpps fri bara för att bevisen inte är tillräckliga för en fällande dom. Detta bevisar inte den anklagades oskuld, utan bara att det inte finns tillräckligt med bevis för en fällande dom.

”…nollhypotesen är aldrig bevisad eller fastställd, men den är möjligen motbevisad, under experimentets gång. Varje experiment kan sägas existera endast för att ge fakta en chans att motbevisa nollhypotesen.” (Fisher i The Design of Experiments) Det finns många orsaker till förvirring, bland annat användningen av dubbel negativ logik och terminologi som är resultatet av sammanslagningen av Fishers ”signifikanstestning” (där nollhypotesen aldrig accepteras) med ”hypotestestning” (där en viss hypotes alltid accepteras).

Förväxling mellan statistisk signifikans och praktisk signifikansRedigera

Statistisk signifikans är ett mått på sannolikhet; praktisk signifikans är ett mått på effekt. Ett botemedel mot skallighet är statistiskt signifikant om en sparsam persikofuzz vanligtvis täcker den tidigare nakna hårbotten. Botemedlet är praktiskt betydelsefullt när en hatt inte längre behövs i kallt väder och frisören frågar hur mycket man ska ta av toppen. De skalliga vill ha ett botemedel som är både statistiskt och praktiskt betydelsefullt; det kommer förmodligen att fungera och om det gör det kommer det att ha en stor hårig effekt. Vetenskapliga publikationer kräver ofta endast statistisk signifikans. Detta har lett till klagomål (under de senaste 50 åren) om att statistisk signifikanstestning är ett missbruk av statistiken.

DatamuddringRedigera

Data dredging är ett missbruk av datautvinning. Vid datamuddring undersöks stora sammanställningar av data i syfte att hitta en korrelation, utan något på förhand fastställt val av en hypotes som ska testas. Eftersom det konfidensintervall som krävs för att fastställa ett samband mellan två parametrar vanligen väljs till 95 % (vilket innebär att det finns en 95-procentig chans att det observerade sambandet inte beror på en slumpmässig slump), finns det alltså en 5-procentig chans att finna en korrelation mellan två uppsättningar av helt slumpmässiga variabler. Med tanke på att datautredningar vanligtvis undersöker stora datamängder med många variabler, och därmed ett ännu större antal par av variabler, är det nästan säkert att falska men till synes statistiskt signifikanta resultat kommer att hittas i en sådan studie.

Notera att datautredningar är ett giltigt sätt att hitta en möjlig hypotes, men att hypotesen sedan måste testas med data som inte användes i den ursprungliga utredningen. Missbruket uppstår när hypotesen anges som ett faktum utan ytterligare validering.

”Man kan inte på ett legitimt sätt testa en hypotes med hjälp av samma data som först föreslog hypotesen. Lösningen är tydlig. När du väl har en hypotes, utformar du en studie för att specifikt söka efter den effekt som du nu tror finns där. Om resultatet av detta test är statistiskt signifikant har du äntligen riktiga bevis.”

DatamanipulationRedigera

Informellt kallad ”fudging the data”, innefattar denna praxis selektiv rapportering (se även publikationsbias) och till och med att helt enkelt hitta på falska uppgifter.

Exempel på selektiv rapportering finns i överflöd. De enklaste och vanligaste exemplen innebär att man väljer ut en grupp resultat som följer ett mönster som överensstämmer med den föredragna hypotesen, medan man ignorerar andra resultat eller ”datakörningar” som motsäger hypotesen.

Psykoforskare har länge bestridit studier som visar på personer med ESP-förmåga. Kritiker anklagar ESP-förespråkare för att endast publicera experiment med positiva resultat och lägga dem som visar negativa resultat på hyllan. Ett ”positivt resultat” är en testkörning (eller datakörning) där försökspersonen gissar ett gömt kort etc. med mycket högre frekvens än slumpen.

Vetenskapsmän ifrågasätter i allmänhet giltigheten av studieresultat som inte kan reproduceras av andra undersökare. Vissa forskare vägrar dock att publicera sina data och metoder.

Datamanipulation är en allvarlig fråga/övervägande i de mest ärliga statistiska analyser. Uttalare, saknade uppgifter och icke-normalitet kan alla påverka den statistiska analysens giltighet negativt. Det är lämpligt att studera data och åtgärda verkliga problem innan analysen påbörjas. ”n varje spridningsdiagram kommer det att finnas några punkter som är mer eller mindre avskilda från huvuddelen av molnet: dessa punkter bör förkastas endast på grund av orsak.”

Andra felstegRedigera

Pseudoreplikation är ett tekniskt fel som är förknippat med variansanalys. Komplexiteten döljer det faktum att den statistiska analysen försöks på ett enda prov (N=1). För detta degenererade fall kan variansen inte beräknas (division med noll). Ett (N=1) kommer alltid att ge forskaren den högsta statistiska korrelationen mellan avsiktlig bias och faktiska resultat.

Gambler’s fallacy förutsätter att en händelse för vilken en framtida sannolikhet kan mätas hade samma sannolikhet att inträffa när den redan har inträffat. Om någon redan har kastat nio mynt och vart och ett av dem har gett krona, tenderar människor att anta att sannolikheten för att det tionde myntet också blir krona är 1023 mot 1 (vilket den var innan det första myntet kastades), när sannolikheten för att det tionde myntet blir krona i själva verket är 50 % (om man antar att myntet är opartiskt).

Ackvisarens felbedömning har i Storbritannien lett till att Sally Clark felaktigt dömts för att ha dödat sina två söner. I rätten misstolkades den låga statistiska sannolikheten (1 på 73 miljoner) för att en kvinnas två barn skulle dö av plötslig spädbarnsdöd, som professor Sir Roy Meadow angav, som ett tecken på att sannolikheten för att hon skulle vara oskyldig var låg. Även om den angivna sannolikheten för dubbelt SIDS, som senare ifrågasattes av Royal Statistical Society, var korrekt måste man väga alla möjliga förklaringar mot varandra för att kunna dra en slutsats om vilken som mest sannolikt orsakade de två barnens oförklarliga död. Tillgängliga uppgifter tyder på att oddsen skulle vara nio gånger bättre för dubbla barnlösa dödsfall än dubbla mordfall”. Sally Clarks fällande dom upphävdes så småningom.

Den ludiska villfarelsen. Sannolikheter baseras på enkla modeller som ignorerar verkliga (om än avlägsna) möjligheter. Pokerspelare tar inte hänsyn till att en motståndare kan dra en pistol i stället för ett kort. De försäkrade (och regeringar) antar att försäkringsbolagen kommer att förbli solventa, men se AIG och systemrisk.

Andra typer av missbrukRedigera

Andra missbruk inkluderar att jämföra äpplen och apelsiner, att använda fel genomsnitt, regression mot medelvärdet och paraplyfrasen garbage in, garbage out. Viss statistik är helt enkelt irrelevant för en fråga.

Anscombe’s quartet är ett påhittat dataset som exemplifierar bristerna i enkel deskriptiv statistik (och värdet av dataplottning före numerisk analys).