CV og ICC
Koeffisienten av variasjon (CV) og Intraklassekorrelasjonskoeffisient (ICC) er begge viktige statistiske mål som brukes i til å vurdere variasjonen og påliteligheten av data
På denne siden finner du enkle forklaringer av hva CV og ICC er og hvordan de brukes. Lenger nede finner du forklaringer på hvordan du selv kan regne ut CV og ICC. Under Kalkulatorer finner du også en online CV-kalkulator hvor du kan lime inn dine egne data.
CV, eller koeffisienten av variasjon, er et mål på relativ variabilitet og uttrykker standardavviket som en prosentandel av gjennomsnittet. Dette målet er spesielt nyttig for å sammenligne variabiliteten mellom datasett med ulike måleenheter eller gjennomsnittsverdier. CV brukes også ofte for å vurdere hvor nøyaktig en test er dersom man har gjennomført testen flere ganger og forventer lignende resultat. CV beregnes ved å dele standardavviket (σ) på gjennomsnittet (μ) og deretter gange resultatet med 100 for å uttrykke det som en prosent. Man kan gjengi utfallet av en CV-utregning som % variasjon i målinger.
CV = (σ / μ) × 100
CV tillater forskere å sammenligne variabiliteten av to eller flere datasett direkte, selv når dataene måles i ulike skalaer. Ved å uttrykke resultatet som en prosent, gir CV en standardisert måte å vurdere spredningen av dataene på, noe som er spesielt nyttig i kvalitetskontroll og risikovurdering. På denne siden kan du få hjelpt til å beregne CV for dine data.
ICC, eller Intraklassekorrelasjonskoeffisient, er et mål på hvor pålitelig vurderinger eller målinger er når de utføres av forskjellige observatører (inter-rater reliability) eller av samme observatør over tid (intra-rater reliability). ICC er et viktig verktøy i studier hvor konsistens av målingene over tid eller på tvers av ulike vurderere er sentralt for å oppnå pålitelige resultater. ICC kan beregnes på flere måter, avhengig av designet av studien og antagelsene som er gjort (f.eks. om ratere er tilfeldig valgt, om det er enighet om absolutte målinger eller kun rangeringer). En vanlig form for ICC for en toveis mixed-effekt modell, hvor målingene anses som faste effekter. Man benytter gjennomsnittskvadratsummen mellom (MSmellom) og innad subjekter (MSinnad) og antall målinger (ratings) per subjekt (k).
ICC hjelper oss å vurdere pålitelighet av målinger, noe som er avgjørende i klinisk forskning og andre felt hvor beslutninger ofte er basert på målte verdier. Dette målet kan også hjelpe oss å identifisere behov for forbedringer i målingsinstrumenter eller prosedyrer for å sikre at datainnsamlingen er så nøyaktig og konsistent som mulig. ICC vil alltid være mellom 0 og 1, og høyre resultater betyr bedre reliabilitet.
Både CV og ICC spiller viktige roller i statistisk analyse ved å tilby metoder for å vurdere og sammenligne variabilitet og pålitelighet i data. CV gir en måte å standardisere og sammenligne variabiliteten av datasett, noe som er nyttig i mange forskjellige kontekster. ICC tilbyr et rammeverk for å vurdere konsistensen av vurderinger eller målinger, noe som er viktig for å sikre påliteligheten av forskningsfunn. Sammen hjelper disse målene forskere med å vurdere data og resultater mest mulig nøyaktig og kritisk.
ICC = (MSmellom - MSinnad)
(MSmellom + (k-1)×MSinnad)
Utregning av ICC
For å regne ut ICC er det enklest å bruke SPSS da det ellers vil kreve mye manuelt arbeid i for eksempel ExCel. I dette eksempelet vil vi bruke ark 5 i øvingsdatasettet som kan lastes ned under Maler.
Dette datasettet inneholder pre- og post-målinger av akademisk prestasjon (Score) og trivsel blant elever. Vi ønsker å undersøke om våre målinger av akademisk prestasjon er pålitelige (reliable) og skal bruke ICC for å gjøre dette. Intervensjonens mål var å øke både trivsel og akademisk prestasjon. For å oppnå reliable funn, trenger vi å vite at målingene vi bruker varierer lite. Dette undersøker vi ved å kjøre en ICC-test på variablene markert pre1 og pre2. Disse målingene er gjort uten noen intervensjon mellom, så vi ønsker at disse to målingene skal være så like som mulig. I dette tilfellet regner vi ut en "test-retest reliabilitet" som du kan lese mer om på denne siden.
Det finnes flere måter å beregne ICC på. Vi ser i hovedsak på enten "consistency" eller "absolute agreement"
Absolute agreement vurderer hvor like målingene er i absolutt verdi. Det betyr at alle målinger må være så nærme hverandre som mulig for å få høy ICC. For eksempel: Hvis én måling systematisk gir høyere eller lavere verdier enn en annen (bias), vil det redusere ICC for absolute agreement. Denne utregningen av ICC brukes når målemetodene eller instrumentene helst skal gi nøyaktig samme resultat.
Consistency vurderer om målingene rangerer deltakerne på en konsistent måte, men tar ikke hensyn til systematiske forskjeller i målemetodene. Hvis én måling systematisk gir høyere verdier enn en annen, men rangeringen av deltakerne forblir den samme, vil ICC for consistency fortsatt være høy. Hvis målingene varierer i hvilken som scorer høyest, vil consistency gi lav ICC score.
For dette eksempelet ønsker vi at målingene skal være så like som mulig, så vi vil undersøke absolute agreement for målingene markert PRE1 og PRE2. Her starter vi med et datasett som allerede er ryddet og åpnet i SPSS. Dersom du trenger hjelp til disse stegene, kan du starte på denne siden.
Vi starter med å klikke på "Analyze" og finner "Scale". Når denne menyen åpnes, trykker vi på "reliability analysis".
I vinduet som åpnes, kan vi velge hvilke kolonner som skal inkluderes i ICC-analysen. Vi kan starte med å flytte "Score_PRE1" og "Score_PRE2" bort i ruten under "Items".
Deretter må vi trykke på "Statistics..." oppe til høyre i vinduet for å bestille de analysene vi ønsker. Nederst i vinduet finner vi "Intraclass correlation coefficient" og huker av denne. I de aller fleste tilfeller vi vi benytte "Two-Way Mixed" som modell, så vi kan la denne stå. Til høyre for denne kan vi velge type ICC. I vårt tilfelle ønsker vi å undersøke om de to målingene gir like (ikke lignende) resultater, så vi kan endre denne til "Absolute Agreement". Nå dette er gjort, trykker vi på "Continue" og så på "OK" for å kjøre analysene.
Nå får vi opp en output hvor vi kan lese resultatene. Vi ser at SPSS også har beregnet Cronbach's alpha. Denne målet consistency og brukes hovedsakelig for spørreundersøkelser. Du kan også beregne denne via kalkulatoren på denne siden. Vi vil forholde oss til resultatene under "Intraclass Correlation Coefficient". Her ser vi at SPSS har beregnet ICC på to forskjellige måter: Single measures og average measures. Mens single measures stort sett brukes for å se på hvor godt alle målingene i en kolonne samsvarer. I vårt tilfelle sammenligner vi flere kolonner og vil derfor bruke average measures. I vårt tilfelle får vi en ICC på 0.991 som vi kan rapportere som et mål på reliabiliteten til målingene våre.
Tolkning av ICC
Etter å ha beregnet ICC, må vi rapportere funnene våre. Mens å rapportere bare "ICC = 0.991" vil være tydelig og presist, ønsker man gjerne også å beskrive hva dette tallet betyr i praksis. Da må vi først undersøke hva retningslinjene sier om tolkning av ICC-resultater. En mye brukt artikkel av Koo & Li fra 2016 gir oss følgende forslag:
-
ICC < 0.5 = svak (poor)
-
ICC = 0.5 - 0.75 = moderat
-
ICC = 0.75 - 0.9 = god
-
ICC > 0.9 = veldig god (excellent)
Referanser:
Koo, T. K., & Li, M. Y. (2016). A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of chiropractic medicine, 15(2), 155–163. https://doi.org/10.1016/j.jcm.2016.02.012
Utregning av CV
For å regne ut CV i datasettet ditt, trenger du gjennomsnittet og standardavviket. Både CV, gjennomsnitt og standardavvik kan enkelt regnes ut i ExCel, eller du kan benytte våre verktøy under Kalkulatorer. Som beskrevet over beregnes CV ved å dele standardavviket (σ) på gjennomsnittet (μ) og deretter gange resultatet med 100 for å uttrykke det som en prosent. Resultatet vil gi oss en indikator på variasjonen mellom gjentatte målinger og vi ønsker at denne er så lav som mulig for å kunne påstå at testene våre er reliable.