Den statistiska lögnmarginalen

Jag hade en svensklärare på gymnasiet med ovanlig distans till sitt ämne. Han försökte inte inbilla oss att allting läroplanen innehöll var viktigt eller intressant. Det, och en del annat, gjorde honom populär och respekterad och extra trovärdig när han uttryckte att någonting verkligen var viktigt. En sak han höll högre än det mesta han undervisade oss om var argumentationsanalys, och med ett par decenniers perspektiv kan jag ge honom rätt i den värderingen. Att kunna bryta ner resonemang och skilja mellan olika sorters argument har hjälpt mig både till bättre klarsynthet i att granska andras argumentation och mer substans i min egen.

Men argumentationsanalysen skulle behöva kompletteras med ett par kategorier för statistik- och sannolikhetsargument. För samtidigt som idén att det ljugs med statistik är utbredd är slarvigt tolkad statistik obehagligt vanlig.

Förlora på Oddset

Hur dålig förståelsen för sannolikheter är även bland människor med god utbildning tror jag att jag insåg vid en diskussion i den gemensamma tv-soffan på en studentkorridor där jag bodde. Det pågick något stort sportevenemang och diskuterades vem och vad man skulle satsa på i Oddset. Jag påpekade att om inte Tipstjänst tog alltför stor andel (vilket i och för sig skulle vara önsketänkande) skulle det kunna vara en vinnande strategi att alltid satsa mot Sverige. Många svenskar intalar sig att Sverige har större chans än vad som är befogat, och därmed blir Sverige övervärderat i det svenska Oddset.

Det kunde inte de andra i soffan svälja. Det måste vara bäst att satsa på den som har störst chans att vinna, var deras inställning, och ibland är det ju faktiskt störst chans att Sverige vinner. »Men,« började jag förklara, »om man har satsat på den som enligt oddsen har minst chans får man ju mer om den vinner.« Det avfärdades enkelt med att »om man inte satsar på den som vinner får man ju inget alls!«

Jag försökte ta ett enkelt sifferexempel för att visa att det faktiskt kan vara bättre att satsa på den som har minst chans att vinna, att det är förhållandet mellan oddset man får och den verkliga sannolikheten som är intressant för vad man tjänar mest på, men de hade bestämt sig och var ointresserade av av att lyssna. De verkade tycka att jag drev med dem och stämningen blev lätt irriterad. Så jag gav upp, med en illusion mindre om människors insikter om sannolikhet och mottaglighet för logiska argument.

Efter det har jag aldrig blivit särskilt förvånad när jag sett hur statistiska resultat misstolkas. Men jag blir fortfarande förfärad.

Tragiska följder

I sitt TED-föredrag förklarar statistikern Peter Donelly några följder av bristande insikt om sannolikhet. Exempelvis hur feltolkad statistik fått en kvinna i England oskyldigt dömd för att ha mördat sina barn. Jag ska inte upprepa hans exempel, han förklarar det bäst själv.

Men Donnellys exempel är ganska avancerade, det finns mycket enklare saker som väldigt många verkar uppfatta instinktivt fel. En så enkel sak som medelfall till exempel.

Att »kvinnor« har bättre simultankapacitet än »män« är ett undersökningsresultat som är väldigt känt, förmodligen för att Anna-Lena Brundin och andra använt det flitigt i sin ståuppkomik. (Ifall det faktiskt stämmer eller inte kan vi bortse från för tillfället.) Givetvis gäller det inte alla män och alla kvinnor utan i medelfall. Det inser nog de allra flesta om de tänker efter. Ändå har jag ganska ofta sett att man tar det som om det vore en regel som män med god simultankapacitet är undantag från: »han har ju simultankapacitet fast han är man«. Ofta skämtsamt förstås, men att man tänker så över huvud taget indikerar den bristande insikt som ligger bakom.

Säg att man gjorde en undersökning av Stockholmare och Göteborgares intelligens och kom fram till att medelgöteborgaren var fem procent intelligentare än medelstockholmaren. Jag är övertygad om att massor av människor skulle ta till sig det som om det betydde att Göteborgare i allmänhet var fem procent intelligentare än Stockholmare. Om de stötte på en Stockholmare som var intelligentare än en Göteborgare skulle de, även om de kanske inte skulle bli så förvånade, kategorisera det som ett undantag.

En belagd skillnad på fem procent vore visserligen intressant nog att försöka förklara, och kanske värdefull för någon sorts samhällsplanerings skull. Men i praktiken naturligtvis totalt försumbar när man ställs inför en Stockholmare och en Göteborgare. Även om skillnaden skulle vara femtio procent i stället vore det absolut inget konstigt om Stockholmaren visade sig vara intelligentast. Man skulle kunna förvänta sig att det hände en gång av tre – knappast vad man skulle kalla undantag!

Jag är rädd för att relevanta forskningsresultat om skillnader mellan folkgrupper eller kön undanhålls från den offentliga debatten, eller aldrig ens produceras, för att forskare som presenterar dem riskerar att bli angripna för att sprida fördomar. På ett sätt skulle det stämma att de spred fördomar, eftersom väldigt många, särskilt tidningarnas rubriksättare, skulle misstolka siffrorna så att de verkligen gav upphov till fördomar. Så fort något anses bevisat gälla med mer än 50% sannolikhet förvandlas det lätt till en regel i folks medvetande.

Men försiktigheten motverkar i längden sitt syfte. Den gör nämligen att det sipprar ut en bild av att etablissemanget och forskarvärlden håller inne med farliga sanningar. Det i sin tur gör det lättare för den som har en obehaglig politisk agenda att framställa sig som martyr i sanningens tjänst.

Och hela den felaktiga grunden för fördomar borde kunna botas om man bara fick medelsvensson att ta till sig några enkla resonemang om vad medelfall betyder och inte betyder.

Vetenskapligt bevisat

Det verkar som om de flesta utgår från att en statistisk uppgift är detsamma som fakta. Bara att en sifferuppgift presenteras ger nästan okränkbar trovärdighet. Det granskas sällan om metoden för att införskaffa data är tillförlitlig, om efteranalysen av siffrorna bygger på rimliga antaganden, eller om den statistiska analysen faktiskt visar det den påstås visa.

Den som gör en undersökning kan till exempel ställa frågor som ifall man instämmer i att kameraövervakning är bra för att fånga in fartsyndare, och använda svaren för att dra en slutsats som att 97% av svenskarna vill införa kameraövervakning på allmänna platser. Inte många som hör det uppläst på nyheterna tar reda på vad som ligger bakom.

Alldeles uppenbart är undersökningarna ofta beställda för att säga en viss sak, och frågorna utformade så att man kan misstolka de tämligen självklara resultaten till att säga just det. Genom att hänvisa till en undersökning lyckas man alltså enkelt kringå den argumentationsanalytiska kompetensen hos journalister och allmänhet, och gå direkt på ryggmärgsreflexerna för generalisering och tilltro till siffror som uppfattas som hårda fakta.

Väljarundersökningar

Opinionsundersökningarna som visar fördelningen av politiska partisympatier är ett kapitel för sig. Medierna redovisar siffror ner till tiondels procent, vilket inte behöver vara mer än en eller två personer i underlaget. För inte så länge sedan började man att påpeka när förändringarna inte är statistiskt säkerställda, men det gör nästan bara det hela ännu mer absurt. Efter att noga gått igenom alla siffrorna kan nyhetsuppläsaren säga »samtliga förändringar är inom den statisktiska felmarginalen«. Men vänta nu, du spenderade just en femtedel av programtiden på att redovisa siffror för att sedan förklara att de inte betyder någonting!

Det är långt kvar till att medierna rapporterar vad siffrorna faktiskt säger.

intressant? om argumentation, statistik

Jag hade en svensklärare på gymnasiet med ovanlig distans till sitt ämne. Han försökte inte inbilla oss att allting läroplanen innehöll var viktigt eller intressant. Det, och en del annat, gjorde honom populär och respekterad och extra trovärdig när han uttryckte att någonting verkligen var viktigt. En sak han höll högre än det mesta han undervisade oss om var argumentationsanalys, och med ett par decenniers perspektiv kan jag ge honom rätt i den värderingen. Att kunna bryta ner resonemang och skilja mellan olika sorters argument har hjälpt mig både till bättre klarsynthet i att granska andras argumentation och mer substans i min egen.

Men argumentationsanalysen skulle behöva kompletteras med ett par kategorier för statistik- och sannolikhetsargument. För samtidigt som idén att det ljugs med statistik är utbredd är slarvigt tolkad statistik obehagligt vanlig.

Förlora på Oddset

Hur dålig förståelsen för sannolikheter är även bland människor med god utbildning tror jag att jag insåg vid en diskussion i den gemensamma tv-soffan på en studentkorridor där jag bodde. Det pågick något stort sportevenemang och diskuterades vem och vad man skulle satsa på i Oddset. Jag påpekade att om inte Tipstjänst tog alltför stor andel (vilket i och för sig skulle vara önsketänkande) skulle det kunna vara en vinnande strategi att alltid satsa mot Sverige. Många svenskar intalar sig att Sverige har större chans än vad som är befogat, och därmed blir Sverige övervärderat i det svenska Oddset.

Det kunde inte de andra i soffan svälja. Det måste vara bäst att satsa på den som har störst chans att vinna, var deras inställning, och ibland är det ju faktiskt störst chans att Sverige vinner. »Men,« började jag förklara, »om man har satsat på den som enligt oddsen har minst chans får man ju mer om den vinner.« Det avfärdades enkelt med att »om man inte satsar på den som vinner får man ju inget alls!«

Jag försökte ta ett enkelt sifferexempel för att visa att det faktiskt kan vara bättre att satsa på den som har minst chans att vinna, att det är förhållandet mellan oddset man får och den verkliga sannolikheten som är intressant för vad man tjänar mest på, men de hade bestämt sig och var ointresserade av av att lyssna. De verkade tycka att jag drev med dem och stämningen blev lätt irriterad. Så jag gav upp, med en illusion mindre om människors insikter om sannolikhet och mottaglighet för logiska argument.

Efter det har jag aldrig blivit särskilt förvånad när jag sett hur statistiska resultat misstolkas. Men jag blir fortfarande förfärad.

Tragiska följder

I sitt TED-föredrag förklarar statistikern Peter Donelly några följder av bristande insikt om sannolikhet. Exempelvis hur feltolkad statistik fått en kvinna i England oskyldigt dömd för att ha mördat sina barn. Jag ska inte upprepa hans exempel, han förklarar det bäst själv.

Men Donnellys exempel är ganska avancerade, det finns mycket enklare saker som väldigt många verkar uppfatta instinktivt fel. En så enkel sak som medelfall till exempel.

Att »kvinnor« har bättre simultankapacitet än »män« är ett undersökningsresultat som är väldigt känt, förmodligen för att Anna-Lena Brundin och andra använt det flitigt i sin ståuppkomik. (Ifall det faktiskt stämmer eller inte kan vi bortse från för tillfället.) Givetvis gäller det inte alla män och alla kvinnor utan i medelfall. Det inser nog de allra flesta om de tänker efter. Ändå har jag ganska ofta sett att man tar det som om det vore en regel som män med god simultankapacitet är undantag från: »han har ju simultankapacitet fast han är man«. Ofta skämtsamt förstås, men att man tänker så över huvud taget indikerar den bristande insikt som ligger bakom.

Säg att man gjorde en undersökning av Stockholmare och Göteborgares intelligens och kom fram till att medelgöteborgaren var fem procent intelligentare än medelstockholmaren. Jag är övertygad om att massor av människor skulle ta till sig det som om det betydde att Göteborgare i allmänhet var fem procent intelligentare än Stockholmare. Om de stötte på en Stockholmare som var intelligentare än en Göteborgare skulle de, även om de kanske inte skulle bli så förvånade, kategorisera det som ett undantag.

En belagd skillnad på fem procent vore visserligen intressant nog att försöka förklara, och kanske värdefull för någon sorts samhällsplanerings skull. Men i praktiken naturligtvis totalt försumbar när man ställs inför en Stockholmare och en Göteborgare. Även om skillnaden skulle vara femtio procent i stället vore det absolut inget konstigt om Stockholmaren visade sig vara intelligentast. Man skulle kunna förvänta sig att det hände en gång av tre – knappast vad man skulle kalla undantag!

Jag är rädd för att relevanta forskningsresultat om skillnader mellan folkgrupper eller kön undanhålls från den offentliga debatten, eller aldrig ens produceras, för att forskare som presenterar dem riskerar att bli angripna för att sprida fördomar. På ett sätt skulle det stämma att de spred fördomar, eftersom väldigt många, särskilt tidningarnas rubriksättare, skulle misstolka siffrorna så att de verkligen gav upphov till fördomar. Så fort något anses bevisat gälla med mer än 50% sannolikhet förvandlas det lätt till en regel i folks medvetande.

Men försiktigheten motverkar i längden sitt syfte. Den gör nämligen att det sipprar ut en bild av att etablissemanget och forskarvärlden håller inne med farliga sanningar. Det i sin tur gör det lättare för den som har en obehaglig politisk agenda att framställa sig som martyr i sanningens tjänst.

Och hela den felaktiga grunden för fördomar borde kunna botas om man bara fick medelsvensson att ta till sig några enkla resonemang om vad medelfall betyder och inte betyder.

Vetenskapligt bevisat

Det verkar som om de flesta utgår från att en statistisk uppgift är detsamma som fakta. Bara att en sifferuppgift presenteras ger nästan okränkbar trovärdighet. Det granskas sällan om metoden för att införskaffa data är tillförlitlig, om efteranalysen av siffrorna bygger på rimliga antaganden, eller om den statistiska analysen faktiskt visar det den påstås visa.

Den som gör en undersökning kan till exempel ställa frågor som ifall man instämmer i att kameraövervakning är bra för att fånga in fartsyndare, och använda svaren för att dra en slutsats som att 97% av svenskarna vill införa kameraövervakning på allmänna platser. Inte många som hör det uppläst på nyheterna tar reda på vad som ligger bakom.

Alldeles uppenbart är undersökningarna ofta beställda för att säga en viss sak, och frågorna utformade så att man kan misstolka de tämligen självklara resultaten till att säga just det. Genom att hänvisa till en undersökning lyckas man alltså enkelt kringå den argumentationsanalytiska kompetensen hos journalister och allmänhet, och gå direkt på ryggmärgsreflexerna för generalisering och tilltro till siffror som uppfattas som hårda fakta.

Väljarundersökningar

Opinionsundersökningarna som visar fördelningen av politiska partisympatier är ett kapitel för sig. Medierna redovisar siffror ner till tiondels procent, vilket inte behöver vara mer än en eller två personer i underlaget. För inte så länge sedan började man att påpeka när förändringarna inte är statistiskt säkerställda, men det gör nästan bara det hela ännu mer absurt. Efter att noga gått igenom alla siffrorna kan nyhetsuppläsaren säga »samtliga förändringar är inom den statisktiska felmarginalen«. Men vänta nu, du spenderade just en femtedel av programtiden på att redovisa siffror för att sedan förklara att de inte betyder någonting!

Det är långt kvar till att medierna rapporterar vad siffrorna faktiskt säger.

intressant? om argumentation, statistik

Den statistiska lögnmarginalen