How to Read Numbers

1. Siffror kan vilseleda: Kontext är avgörande för tolkning

Siffror har inga känslor. De blöder inte, gråter inte eller hoppas inte. De känner inte mod eller uppoffring. Kärlek och lojalitet. I den yttersta kallheten finner du endast ettor och nollor.

Siffror saknar kontext. Utan rätt kontext kan siffror vara vilseledande eller meningslösa. Till exempel, att rapportera att 361 cyklister omkom på Londons vägar mellan 1993 och 2017 låter alarmerande. Men detta tal blir mindre betydelsefullt när man överväger att det under denna period gjordes cirka 437 000 cykelturer dagligen i London. Denna kontext avslöjar att risken för dödsfall per resa faktiskt är mycket låg.

Nämnare spelar roll. För att korrekt tolka siffror är det avgörande att förstå nämnaren - den totala befolkningen eller basantalet från vilket en statistik härleds. Om någon påstår att 300 personer mördas av papperslösa invandrare i USA varje år, är det viktigt att veta:

• Det totala antalet mord i USA
• Den totala befolkningen av papperslösa invandrare
• Mordfrekvensen för den allmänna befolkningen

Utan denna kontext är det omöjligt att avgöra om detta tal är högt eller lågt i förhållande till förväntningarna.

2. Urvalsstorlek spelar roll: Större urval ger mer tillförlitliga resultat

Om vi antar att nollhypotesen är sann och studien upprepas ett oändligt antal gånger genom att dra slumpmässiga urval från samma populationer, kommer mindre än 5 % av dessa resultat att vara mer extrema än det aktuella resultatet.

Större är bättre. Större urvalsstorlekar ger generellt mer tillförlitliga och representativa resultat. Små urval är mer mottagliga för slumpmässiga variationer och avvikelser, vilket kan leda till vilseledande slutsatser. Till exempel bör en studie som hävdar att svordomar gör människor starkare baserat på endast 29 deltagare ses med skepticism.

Statistisk styrka. Förmågan att upptäcka en verklig effekt ökar med urvalsstorleken. Detta är särskilt viktigt när man studerar subtila effekter. Som en tumregel, var försiktig med studier med färre än 100 deltagare, särskilt om de gör överraskande påståenden. Tänk dock på att:

• Vissa mindre studier kan vara robusta om de är väl utformade
• Även stora studier kan vara bristfälliga om de genomförs dåligt eller är partiska
• Den lämpliga urvalsstorleken beror på storleken av den effekt som studeras och variabiliteten i populationen

3. Korrelation är inte orsakssamband: Var försiktig med förväxlingsvariabler

Låt oss föreställa oss att du genomför en studie som undersöker hur snabbt människor kan springa. Du märker något: i genomsnitt, ju fler grå hår en person har, desto långsammare är deras tid på milen.

Dolda faktorer. Korrelation mellan två variabler betyder inte nödvändigtvis att den ena orsakar den andra. Det kan finnas dolda faktorer (förväxlingsvariabler) som påverkar båda. Till exempel är korrelationen mellan grått hår och långsammare löphastighet sannolikt på grund av ålder som påverkar båda variablerna, snarare än att grått hår direkt orsakar långsammare löpning.

Typer av relationer:

• Orsaksrelation: A orsakar direkt B
• Omvänd orsakssamband: B orsakar faktiskt A
• Gemensam orsak: C orsakar både A och B
• Tillfällighet: Ingen verklig relation, bara slump

För att fastställa orsakssamband, överväg:

• Tidssekvens: Orsaken måste föregå effekten
• Styrka av samband: Starkare korrelationer är mer suggestiva för orsakssamband
• Dos-responsrelation: Förändringar i orsaken leder till proportionella förändringar i effekten
• Konsistens: Relationer observeras över olika studier och populationer
• Plausibilitet: Det finns en logisk mekanism för det orsakssambandet

Randomiserade kontrollerade studier (RCT) är guldstandarden för att fastställa orsakssamband, men de är inte alltid möjliga eller etiska.

4. Statistisk signifikans betyder inte praktisk betydelse

Statistisk signifikans är förvirrande, även för forskare. En studie från 2002 visade att 100 procent av psykologistudenter missförstår signifikans – vilket, ännu mer chockerande, även 90 procent av deras föreläsare gjorde.

P-värdes begränsningar. Statistisk signifikans (vanligtvis p < 0,05) berättar oss endast att ett resultat är osannolikt att ha inträffat av en slump. Det indikerar inte storleken eller den praktiska betydelsen av en effekt. En liten, oväsentlig skillnad kan vara statistiskt signifikant med en tillräckligt stor urvalsstorlek.

Effektstorlek spelar roll. För att förstå den praktiska betydelsen av en upptäckte, behöver vi överväga effektstorleken:

• Hur stor är skillnaden mellan grupperna?
• Vad är storleken på korrelationen?
• Är effekten meningsfull i verkliga termer?

Till exempel kan en studie hitta en statistiskt signifikant koppling mellan att läsa på skärmar före sänggåendet och minskad sömn. Men om den faktiska effekten endast är 10 minuters förlorad sömn efter 4 timmars läsning, kan den praktiska betydelsen vara minimal för de flesta människor.

5. Absolut vs. relativ risk: Förstå den verkliga påverkan

Om du säger till mig att äta bränt bröd kommer att öka min risk för en bråck med 50 procent, låter det oroande. Men om du inte berättar hur vanligt bråck är, är det meningslöst.

Relativ risk kan vilseleda. Att endast rapportera förändringar i relativ risk kan överdriva betydelsen av fynd. En 50 % ökning av en mycket sällsynt händelse är fortfarande en mycket sällsynt händelse. Titta alltid efter den absoluta risken för att förstå den verkliga påverkan.

Tolkning av risk:

• Baslinjerisk: Hur vanligt är utfallet initialt?
• Förändring i relativ risk: Procentuell ökning eller minskning av risk
• Förändring i absolut risk: Den faktiska skillnaden i risk

Exempel:

• Rubrik: "Att äta bacon dagligen ökar risken för tarmcancer med 20 %"
• Baslinjerisk: 6 % livstidsrisk för kvinnor
• Relativ riskökning: 20 %
• Absolut riskförändring: 6 % till 7,2 % (1,2 procentenheters ökning)
• Tolkning: Risken går från ungefär 1 av 17 till 1 av 14 - en verklig ökning, men kanske mindre dramatisk än rubriken antyder.

6. Överlevnadsbias: Överse inte dolda misslyckanden

Marinen tittade på en viss delmängd av flygplan – de flygplan som hade återvänt till hangarfartyget. De flygplan som hade träffats mycket på skrovet och vingarna tenderade att ha kommit tillbaka till basen framgångsrikt. De som hade träffats på motorerna hade å sin sida främst fallit i havet och inte räknats i statistiken.

Dolda misslyckanden. Överlevnadsbias uppstår när vi fokuserar endast på framgångsrika exempel och förbiser de som misslyckades. Detta kan leda till falska slutsatser om vad som bidrar till framgång. Till exempel, att studera endast framgångsrika företag för att fastställa faktorer för framgång ignorerar alla de misslyckade företag som kan ha haft liknande egenskaper.

Exempel på överlevnadsbias:

• Självhjälpsböcker av framgångsrika entreprenörer
• Investeringsstrategier baserade på tidigare prestationer
• Medicinska studier som inte tar hänsyn till patienter som hoppade av
• Historiska artefakter som överlevde på grund av hållbarhet, inte representativitet

För att undvika överlevnadsbias:

• Leta efter den "tysta bevisningen" - vad saknas i datan?
• Överväg hela populationen, inte bara framgångsrika exempel
• Var skeptisk till framgångshistorier och "hemligheter till framgång"
• Leta efter studier som tar hänsyn till bortfall och icke-svarare

7. Prognosbegränsningar: Framtiden är inneboende osäker

Som läsare behöver du vara medveten om hur prognoser görs, och du behöver veta att de inte är mystiska insikter om ödet – men inte heller slumpmässiga gissningar. De är resultaten av statistiska modeller, som kan vara mer eller mindre exakta; och de mycket precisa siffrorna (1,2 procent, 50 000 dödsfall, vad som helst) är centrala uppskattningar inom ett mycket större osäkerhetsintervall.

Modeller har begränsningar. Prognoser baseras på modeller, som är förenklade representationer av verkligheten. Även om de kan vara användbara, är de inneboende osäkra och baserade på antaganden som kanske inte håller. Ekonomiska prognoser, valprediktioner och klimatmodeller kommer alla med betydande osäkerhet.

Nyckelpunkter om prognoser:

• De baseras på tidigare data och aktuella antaganden
• Oväntade händelser kan dramatiskt förändra utfallen
• Långsiktiga prognoser är generellt mindre tillförlitliga
• Punktuppskattningar (enkla siffror) kan ge en falsk känsla av precision
• Titta alltid efter konfidensintervall eller intervall av möjliga utfall
• Överväg flera modeller och scenarier för en mer komplett bild

När man rapporterar eller tolkar prognoser är det avgörande att kommunicera den underliggande osäkerheten och intervallet av möjliga utfall, inte bara en enda punktuppskattning.

8. Goodharts lag: När ett mått blir ett mål, slutar det vara ett bra mått

Det finns ett gammalt ordspråk inom ekonomi, Goodharts lag, uppkallad efter Charles Goodhart, en tidigare ekonomisk rådgivare till Bank of England: "När ett mått blir ett mål, slutar det vara ett bra mått."

Perversa incitament. När en mätning används som mål kommer människor att hitta sätt att optimera för den mätningen, ofta på bekostnad av det underliggande målet. Detta kan leda till oavsiktliga konsekvenser och förvrängd beteende.

Exempel på Goodharts lag i praktiken:

• Utbildningsmål som leder till undervisning för prov istället för att främja genuin lärande
• Vårdmått som får sjukhus att vägra hög-risk patienter för att upprätthålla bra statistik
• Affärs-KPI:er som resulterar i kortsiktig tänkande på bekostnad av långsiktigt värde
• Incitament för vetenskaplig publicering som leder till p-hacking och publiceringsbias

För att mildra Goodharts lag:

• Använd flera, olika mått för att bedöma prestation
• Granska och uppdatera mått regelbundet för att förhindra manipulation
• Fokusera på de underliggande målen, inte bara siffrorna
• Var medveten om potentiella oavsiktliga konsekvenser
• Använd kvalitativa bedömningar tillsammans med kvantitativa mått

9. Publiceringsbias: Negativa resultat rapporteras ofta inte

Det finns ett smart sätt att kontrollera om det finns publiceringsbias inom ett område, känt som en trattplot. En trattplot visar resultaten av alla studier om ett ämne, med mindre, svagare studier mot botten av diagrammet och större, bättre studier mot toppen.

Saknad bevis. Publiceringsbias uppstår när studier med positiva eller nya resultat är mer benägna att publiceras än de med negativa eller nollresultat. Detta kan leda till en snedvriden förståelse av bevisen, vilket potentiellt överdriver effektiviteten av behandlingar eller styrkan av relationer.

Konsekvenser av publiceringsbias:

• Överdrift av effektstorlekar i metaanalyser
• Slöseri med resurser på forskning som redan har gjorts men inte publicerats
• Potentiell skada för patienter om ineffektiva behandlingar verkar effektiva
• Svårighet att bedöma det verkliga kunskapsläget inom ett område

Metoder för att upptäcka och mildra publiceringsbias:

• Trattplots: Visuellt verktyg för att upptäcka asymmetri i publicerade resultat
• Förregistrering av studier: Att åta sig att publicera resultat oavsett utfall
• Registrerade rapporter: Tidskrifter som går med på att publicera baserat på metodologi, inte resultat
• Databaser för opublicerade studier
• Uppmuntran att publicera nollresultat

Som läsare eller forskare, överväg alltid möjligheten av opublicerade negativa resultat när du utvärderar bevisen om ett ämne.

10. Kritisk tänkande: Utveckla statistisk läskunnighet för att navigera i en datadriven värld

Denna bok kan läsas som en stilguide: en slags AP Style Book för statistisk god praxis. Vi hoppas att medierna börjar följa den, eller (lika giltigt) ser behovet av en och sedan skriver sin egen. Detta är inte bara en bok, utan faktiskt början på en kampanj för statistisk läskunnighet och ansvar i medierna.

Statistisk läskunnighet. I en värld som alltmer drivs av data och statistik är det avgörande att utveckla kritiska tänkande färdigheter och statistisk läskunnighet. Detta gör att vi bättre kan förstå och utvärdera den information vi möter i medierna, forskning och vardagen.

Nyckelfärdigheter för statistisk läskunnighet:

• Förstå grundläggande statistiska begrepp (t.ex. medelvärden, variabilitet, sannolikhet)
• Känna igen vanliga statistiska fallgropar och bias
• Utvärdera kvaliteten på datakällor och metoder
• Tolkning av diagram och visualiseringar korrekt
• Ställa kritiska frågor om påståenden baserade på statistik

Åtgärder för att främja statistisk läskunnighet:

• Uppmuntra medierna att anta bättre metoder för rapportering av statistik
• Stödja utbildningsinitiativ som lär ut statistiskt tänkande
• Vara skeptisk till sensationella rubriker baserade på siffror
• Leta efter ursprungliga källor och kontext när man stöter på statistik
• Delta i diskussioner om korrekt användning och tolkning av data

Genom att utveckla dessa färdigheter kan vi bli mer informerade medborgare, fatta bättre beslut och bidra till ett mer statistiskt kunnigt samhälle.

Senast uppdaterad: August 7, 2024