Hvad er statistisk usikkerhed?
”Hvor stor er usikkerheden på undersøgelsen?” kan man ofte høre nogen spørge. Men usikkerheden er ikke knyttet til undersøgelsen, men til de konklusioner, vi ønsker at uddrage af undersøgelsen … og hvad værre er, kan den være vidt forskellig fra spørgsmål til spørgsmål og fra konklusion til konklusion.
De der har svaret på spørgeskemaet i vores organisation har i gennemsnit givet værdien 3,73 på udsagnet: ”Min nærmeste leder er alt i alt en god leder”.
Hvis gennemsnittet er regnet rigtigt ud, er der ikke nogen usikkerhed på dette udsagn. Det er simpelt hen en konstatering af, hvordan krydserne er sat på spørgeskemaet. Men det er jo sjældent den konklusion, vi er ude efter.
Alle ansatte i vores organisation giver i gennemsnit værdien 3,73 på udsagnet: ”Min nærmeste leder er alt i alt en god leder”.
Hvis samtlige ansatte i organisationen har svaret på spørgeskemaet er det jo det samme, som det tidligere udsagn, men hvis alle ansatte i organisationen ikke har svaret på spørgeskemaet – ja, så er der en usikkerhed forbundet med at generalisere besvarelserne fra de, som har besvaret skemaet, til at gælde for hele organisationen.
Totalundersøgelser – men sjældent en svarprocent på 100
Selvom de fleste medarbejderundersøgelser gennemføres som totalundersøgelser, hvor alle medarbejdere inviteres til at deltage, er det alligevel uhyre sjældent, at svarprocenten ender med at blive 100. Spørgsmålet er således hvordan man forholder sig til den usikkerhed, der er forbundet med, at man ikke har svar fra alle, men ønsker at udtale sig om alle?
Lad os sige, at vi har en organisation med 1.000 medarbejdere, hvoraf 800 har besvaret spørgsmålet – og i gennemsnit givet det 3,73 på en 5-punktskala. Med hvilken sikkerhed kan vi på baggrund af de 800 besvarelser udtale os om samtlige 1.000 medarbejdere?
For overhovedet at kunne sige noget fornuftigt om den statistiske usikkerhed må vi lave den forudsætning, at de 200, der ikke har svaret, ikke er fundamentalt anderledes, end de 800 der har. Hvis vi på forhånd har en mistanke om, at de 200 der ikke svarede er væsentlig mere kritiske, væsentlig mere positive eller væsentlig mere ligeglade end de 800, der svarede, har vi et skævt estimat og dermed større problemer end statistisk usikkerhed.
Hvis de 200 med rimelighed kan antages at ville have svaret som de 800, kan vi beregne et udtryk for den statistiske usikkerhed (95% konfidensinterval) til cirka +/- 0,03. Dvs. at det er meget usandsynligt (under 5%), at det samlede gennemsnit for alle 1.000 medarbejdere i organisationen ligger uden for intervallet 3,70-3,76.
Hvis det kun var 700 af de 1.000 medarbejdere, som havde svaret, ville den statistiske usikkerhed have været cirka +/- 0,04, hvis kun halvdelen havde svaret ville den være +/- 0,06.
Hvis man havde en organisation med 100 ansatte, hvor 80 svarede, ville den statistiske usikkerhed være +/- 0,08 – mens 50 ansatte og 40 besvarelser ville give en statistisk usikkerhed på +/- 0,10.
Selv i mindre organisationer vil den statistiske usikkerhed således være til at overskue, så længe man blot har en høj svarprocent. En pragmatisk måde at forholde sig til den statistiske usikkerhed kan derfor også være, at angive/tolke gennemsnit med 1 decimal og i hvert fald huske på, at den anden decimal kun giver mening i data, der bygger på mere end 1.000 medarbejdere og/eller har en meget høj svarprocent.
Brug sund fornuft når resultaterne tolkes på afdelingsniveau
Men … udfordringer med den statistiske usikkerhed opstår typisk, når man opgør resultater på afdelingsniveau. Resultaterne af en medarbejderundersøgelse præsenteres typisk i enhedsrapporter, som ofte bygger på helt ned til 4-5 medarbejderbesvarelser.
Antag at vi har en afdeling med 5 medarbejdere, hvor 4 medarbejdere har svaret henholdsvis 3, 5, 4, 3 på spørgsmålet om ”Min nærmeste leder er alt i alt en god leder”. Afdelingen har et gennemsnit på 3,75. Men hvad er usikkerheden på dette gennemsnit?
Her er vi så langt nede i antal, at de statistiske formler ikke længere giver mening, men dem behøver vi heller ikke for at vurdere, hvor følsomt resultatet er. Hvor meget kan den femte medarbejder påvirke resultatet?
Ja, vi kan med sikkerhed sige, at estimatet på 3,75 for afdelingens gennemsnit ikke kan være rigtigt. Da den femte medarbejder ikke kunne have svaret 3,75 men kun 1, 2, 3, 4 eller 5 – kunne gennemsnittet ikke have været 3,75, hvis den sidste medarbejder også havde svaret. Hvis medarbejderen havde svaret og svaret 1, ville afdelingens gennemsnit have været 3,2. Hvis medarbejderen derimod var meget tilfreds med lederen og havde svaret 5, ville afdelingens gennemsnit have været 4. I nogle organisatoriske enheder vil en enkelt medarbejderbesvarelse således kunne afgøre om en den kommer til at ligge i toppen eller i bunden i organisationen.
Eksemplet ovenfor er naturligvis ekstremt. Det illustrerer dog meget godt, hvorfor det er vigtigt at tolke og tale om resultaterne på en nuanceret måde – ikke mindst når man ser på resultater der er baseret på meget få besvarelser. Dette gælder særligt (men ikke kun), når svarprocenten ikke er 100.
Validitet og reliabilitet som en forudsætning for at det overhovedet giver mening at tale om statistisk usikkerhed
Som nævnt i indledningen er statistisk usikkerhed langt fra den eneste usikkerhed, man skal være opmærksom på, når man tolker resultaterne af en medarbejderundersøgelse. Begreber som validitet og reliabilitet er forudsætninger for, at det overhovedet giver mening at tale om en statistisk usikkerhed.
Hvis medarbejderne ikke svarer på det, vi tror, de svarer på – eller svarer på noget forskelligt hver i sær – eller hvis besvarelserne er mere eller mindre tilfældige (vi ville få nogle helt andre svar, hvis vi stillede de samme spørgsmål til de samme medarbejdere i morgen), ja så er den statistiske præcision selvsagt ligegyldig.
Hvis vi ikke ved, hvad vi måler og/eller værdierne vi måler er mere eller mindre tilfældige, ja så er det selvsagt uinteressant hvor ”generaliserbare” resultaterne er.