Feil i resultater fra nasjonale prøver 2014–2021

I 2023 oppdaget forskere fra Frisch-senteret at endringene i elevenes ferdigheter i perioden 2014–2021 var større enn Utdanningsdirektoratet har rapportert.

Resultatene gir ikke et presist bilde av hvordan elevenes ferdigheter har utviklet seg. Forskjellen er størst for engelsk, hvor elevene ser ut til å ha fått markert bedre ferdigheter i denne perioden. I lesing og regning ser det også ut til å være større endringer mellom år enn det som har blitt rapportert, men mindre enn for engelsk.

–Statistikk fra Utdanningsdirektoratet skal være korrekt og vi beklager at dette har skjedd. Det er først og fremst bildet av utviklingen over tid som har vært feil. Resultatene fra nasjonale prøver har imidlertid vært relevant både til oppfølgingen av elever og til arbeidet med kvalitetsutvikling i skolen. Vi byttet analyseverktøy i 2022, slik at resultater fra de siste årene ikke er berørt, sier direktør Morten Rosenkvist.

Ikke bekymret for at elever har fått feil oppfølging

Resultatene fra nasjonale prøver sees i sammenheng med annen informasjon lærerne har om elevene. Elevenes resultater sorteres i ulike mestringsnivåer, for å gi mer meningsfull informasjon, og støtte lærernes oppfølging av elevene. Elever som har ligget nær grensen mellom to mestringsnivåer, kan ha blitt plassert på feil nivå.

I tillegg til informasjon om mestringsnivå, får lærerne en resultatvisning for hver enkelt elev. De ser på hvilke oppgaver eleven klarte å løse, og hvilke hen ikke mestret. Denne informasjonen er ikke berørt av feilen.

Lærerne baserer ikke oppfølgingen kun på antall poeng eller mestringsnivå, men på en helhetlig vurdering av elevens ferdigheter. Vi er ikke bekymret for at elever har fått feil opplæring på grunn av feilen i resultatene på nasjonale prøver.

Resultatene har gitt relevant informasjon for kvalitetsutvikling

Resultatene på nasjonale prøver brukes av mange kommuner og skoler som grunnlag for arbeidet med kvalitetsutvikling. Resultatene på skole- og kommunenivå varierer mer fra år til år enn de gjør på nasjonalt nivå. For kommunene og skolene ser det ut til at endringen i resultatene kan være større enn det som er rapportert, men at de i hovedsak har beveget seg i samme retning. Informasjonen de har fått, har derfor vært et relevant grunnlag for arbeidet med kvalitetsutvikling.

Alle resultater er berørt, i ulik grad

Tidligere var vår forståelse at de individuelle resultatene ikke var påvirket i betydelig grad. Nærmere undersøkelser viste at hovedårsaken til feilen ikke ligger i hvilken metode vi benyttet for å analysere resultatene, men i selve analyseverktøyet Xcalibre. Det innebærer at alle beregninger er berørt i større eller mindre grad.

Resultater før 2014 og etter 2021 er ikke berørt

Vi tok i bruk analyseverktøyet i 2014, basert på faglige råd. All analyse av data fra nasjonale prøver i perioden ble gjort i dette verktøyet. I 2022 byttet Udir analyseverktøy, og feilen berører derfor bare resultatene fra 2014 til 2021.

Hva var årsaken til feilen?

Analyseverktøyet Xcalibre går ut fra at elevkullene i ulike år er fordelt utover ferdighetsskalaen på samme måte. I virkeligheten vil dette variere. Denne feilaktige antakelsen i verktøyet fører til at endringer over tid blir svakere og vanskeligere å avdekke.

Selv om årsaken til at vi fikk feil resultat ikke var beskrevet i dokumentasjonen som fulgte verktøyet, burde vi ha oppdaget at vi fikk feil resultat. Udir ble gjort oppmerksom på feilen av forskere ved Frisch-senteret, som siden har publisert artikkelen ­Skoleferdigheter i endring: Utviklingen over tid målt ved nasjonale prøver

Ønsker mer forskning og faglig utvikling

Beregning av nye nasjonale gjennomsnittsresultater for nasjonale prøver i perioden 2014-2021 inngår nå i et forskningsprosjekt ved Senter for pedagogiske målinger (CEMO). Utdanningsdirektoratet bistår forskerne med blant annet utlevering av data og foreløpige beregninger. For å sikre høy kvalitet på de nasjonale målingene, er det viktig med en kritisk og åpen fagdebatt i relevante fagmiljøer.

Hva vil de nye resultatene fortelle oss?

Vi har ikke sikker informasjon om hvor store avvikene er på individnivå, og dermed heller ikke skole- og kommunenivå. Dataene som er nødvendig for å beregne dette, er slettet i tråd med våre personvernprosedyrer.

De nye resultatene vil imidlertid gi en klarere oppfatning av hvor mange elever som har blitt plassert på feil mestringsnivå, selv om vi ikke kan identifisere hvilke elever dette gjelder. Størrelsen på avvikene vil variere mellom de ulike prøvene og gjennomføringsårene.

Hva skjer med prøvene framover?

Hva slags prøver det er behov for i framtiden, er en del av arbeidet til Utvalget for kvalitetsutvikling i skolen, som leverte sin rapport i november 2023. Rapporten hadde høringsfrist 20. februar, og behandles nå i Kunnskapsdepartementet.