Prøver i fagfornyelsen - hvilke behov skal prøvene dekke?

I denne delen har vi utarbeidet et forslag til hvordan prøvefeltet kan utformes i fremtiden for at brukerne på de ulike nivåene skal få den informasjonen de har behov for. Hensikten med forslaget er å gi et grunnlag for videreutviklingen av fremtidens prøvefelt, og vi velger derfor å legge fram en modell som kan åpne opp for drøfting framfor å presentere ulike alternativer å velge mellom.

I brukerinnsiktsprosjektet i 2017 ble som nevnt tre aspekter ved fremtidens prøver trukket fram som sentrale; å gi elevene utfordringer tilpasset deres nivå, å ha god sammenheng mellom prøver og læreplaner og å gi informasjon om elevenes progresjon. Disse beskjedene har vi lagt vekt på i utarbeidelsen av forslaget. De følgende kapitlene beskriver forslaget på et overordnet nivå, uten å redegjøre i detalj for hvordan prøvene kan utformes. Noe av årsaken til dette er at vi har behov for å hente inn mer kunnskap og erfaring for å gi utfyllende anbefalinger.

I kunnskapsoversikten så vi at forskjellige prøvetyper som dekker ulike behov, kan skape forvirring og misforståelser ved tolking og bruk av prøvene. På den annen side er det fra et prøvefaglig ståsted utfordringer knyttet til å fylle alle brukernes behov i én og samme prøvetype, og det innebærer noen kompromisser på kvalitet. Vi mener at kvalitetsargumentet veier tyngst, men at løsningen må tilrettelegge for at misoppfatningene reduseres. Derfor foreslår vi å utvikle to helt ulike prøvekonsepter som ivaretar hver sine brukerbehov; nye nasjonale prøver og progresjonsprøver. Disse to prøvene skal støtte henholdsvis styring og kvalitetsutvikling, og underveisvurdering og progresjon. 

Med to forskjellige prøvetyper, blir det viktig at rapporteringen av resultatene understøtter tydelig hvordan resultatene skal brukes og forstås, for å unngå misoppfatninger tilsvarende de vi har sett med dagens prøvesystem. Det blir også viktig å synliggjøre forskjellen mellom de to prøvene i kommunikasjon og innpakning. Progresjonsprøvene kobles tydelig til læreplanen gjennom gode digitale løsninger for lettere å koble lærernes oppfølging av prøvene til læreplanen, og resultatene brukes bare lokalt. De nye nasjonale prøvene rapporteres til styringsnivåene og skal gi skolen, skoleeieren og nasjonalt nivå informasjon til bruk i egen styringsdialog og kvalitetsutvikling. 

Vi har diskutert muligheten for å ikke rapportere informasjon fra nye nasjonale prøver på skolenivå for å redusere opplevelsen av high stake og press for elever og lærere. Årsaken til at vi har landet på rapportering på skolenivå er at dagens Offentlighetslov tilsier at vi må levere ut resultater på skolenivå dersom noen ber om innsyn. Vurderingen vår er derfor at det er bedre med offentliggjøring i våre kvalitetssikrede statistikkverktøy enn at for eksempel mediene lager egne sammenstillinger fra dataene. Dette har vi erfaring fra i de første årene med dagens nasjonale prøver. Vi publiserte ikke skolenivået i Skoleporten, men leverte ut skoleresultater til de som ba om innsyn. Resultatet ble rangeringslister og sammenstillinger som i liten grad bidro til en god dialog om kvalitet i skolen. Etter vi startet med publisering av skolenivå i Skoleporten og statistikkportalen har etterspørselen etter disse sammenstillingene endret seg, og vi ser at interessentene i høy grad benytter seg av nasjonale verktøy for å finne data til sine behov. 

I de følgende kapitlene skisserer vi opp en mulig måte å utforme de to foreslåtte prøvetypene på.

Disse prøvene gir informasjon til styringsnivåene nasjonalt og lokalt. Resultatene herfra danner grunnlag for styring og kvalitetsutvikling hos skoler, skoleeiere og utdanningsmyndigheter.

Når vi ser på resultater fra dagens nasjonale prøver over tid, viser årlige målepunkter veldig liten endring mellom hver gjennomføring. De internasjonale undersøkelsene har frekvenser på 3–5 år mellom hvert målepunkt, som oppfattes som tilstrekkelig ofte for behovet for informasjon på nasjonalt nivå. Vi vurderer derfor at prøver til bruk for kvalitetsutvikling og styring på nasjonalt nivå sannsynligvis bør gjennomføres hvert andre år. For skole- og skoleeiernivået er usikkerheten omkring frekvens større, da vi ikke har erfaring tilsvarende den fra internasjonale undersøkelser å støtte oss på. Vi vurderer likevel at det er tilstrekkelig med informasjon fra nye nasjonale prøver hvert andre år også for skole- og kommunenivået. Å redusere frekvensen av nasjonale prøver til hvert andre år, vil begrense omfanget av rapportering i skolen, men får også konsekvenser for hvordan disse dataene kan brukes i årlige indikatorsett og utvelgelser av kommuner til oppfølgingsordningen.

Et alternativ kan være å rullere mellom to kommunegrupper som gjennomfører årlig, slik at hver kommune gjennomfører hvert andre år. Det må utredes nærmere om det lar seg gjøre å konstruere rullerende utvalg av kommuner som kan gi årlig informasjon på nasjonalt nivå, og om dataene lar seg sammenligne på tvers av kommuner. 

Prøven må være obligatorisk for alle elever på de aktuelle trinnene, for å sikre at alle skoler og skoleeiere får informasjon. Norge har for mange små kommuner til at det lar seg gjøre å konstruere utvalg som representerer alle kommuner, og det vil være umulig å lage utvalg på skolenivå. Dersom prøvene er frivillige på kommunenivå, risikerer vi større ulikheter mellom  skoleeieres arbeid med kvalitetsutvikling dersom noen velger å bruke prøvene, mens andre ikke gjør det.

I prosessen har vi vurdert om det kan være tilstrekkelig å gjennomføre prøvene hvert tredje år. Dette ville gitt skolene og kommunene anledning til å tenke mer langsiktig om bruken av prøveresultater i sin kvalitetsutvikling. Vi vet fra kunnskapsgrunnlaget at skoler og kommuner handler ut fra inneværende års resultater, og at det kan være mer utfordrende å bruke resultatene i en mer langsiktig planlegging og kvalitetsutvikling. 

Hovedårsaken til at vi ikke har anbefalt gjennomføring hvert tredje år er at vi med denne løsningen ville gjennomført prøvene på samme årskull gjennom skoleløpet. Læreplanen har kompetansemål på utvalgte trinn og vi har anbefalt at prøvene legges til disse hovedtrinnene, 4., 7. og 10. trinn.

Forslaget omfatter prøver på tre trinn, i tilknytning til kompetansemål i læreplanen. De tre målepunktene er 4., 7. og 10. trinn. Den første prøven vil måle elevenes ferdigheter i relasjon til kompetansemål etter 4. trinn, og gi informasjon som er relevant for tidlig innsats. Prøve 2 rettes mot kompetansemål etter 7. trinn, med formål om å gi informasjon om mellomtrinnet som kan være nyttig i overgangen mellom barnetrinn og ungdomstrinn. Begge prøvene legges tett opptil slutten av skoleåret. Den siste prøven relateres til kompetansemål etter 10. trinn, og legges så tett opptil avslutningen på grunnskolen som mulig, uten å kollidere med eksamen. 10. trinnsprøven vil dermed måle elevenes ferdigheter noen måneder før kompetansemålene skal være oppnådd, noe som må tas høyde for i prøveutviklingen.

De nye nasjonale prøvene vil måle ferdigheter som er viktige for videre læring og samfunnsliv. Utgangspunktet er de grunnleggende ferdighetene, der styringsnivåene har få eller ingen andre kilder til informasjon om elevenes prestasjoner. Ferdigheter som lesing og regning har høy politisk oppmerksomhet, og har vært gjenstand for både nasjonale og lokale satsninger. Både skriftlige, muntlige og digitale ferdigheter er også sentrale i elevenes læring, og det må utredes videre hvilke ferdigheter som kan og bør inkluderes i en slik prøve. Det kan også utvikles delprøver innenfor ferdigheter eller fag som gjennomføres ved behov.

På det nasjonale nivået suppleres informasjonen fra de nye nasjonale prøvene med internasjonale undersøkelser, som PISA, TIMSS, PIRLS, ICCS og ICILS. Disse gir informasjon om fagområdene lesing, matematikk, naturfag, digitale ferdigheter, medborgerskap og demokratiforståelse, i stor grad samsvarende med innholdet i norske læreplaner. Innholdet i de nye nasjonale prøvene må sees i sammenheng med informasjonen man får fra disse undersøkelsene.

Oppgavene i de nye nasjonale prøvene vil måle anerkjente indikatorer på ferdighetene prøvene omhandler. Det er viktig at de er så lite sensitive for kulturell kontekst som mulig, slik at de fungerer likt over hele landet. Prøvene vil bestå av lukkede oppgavetyper og vektlegge høy reliabilitet, for å gi presise målinger av ferdigheten, og legge til rette for måling av utvikling over tid (trend).

Data fra disse prøvene skal egne seg til komparative analyser, bruk i indikatorsett og sammenstilling med registerdata. I tillegg til brukerne på nasjonalt nivå, skoleeier- og skolenivå vil dataene fra de nye nasjonale prøvene også egne seg for forsknings- og utviklingsarbeid, og som kilde for andre aktører, som organisasjoner, UH-sektoren og media.

Resultatene rapporteres og offentliggjøres på nasjonalt-, kommunalt- og skolenivå.

Vi har, som nevnt i innledningen til dette kapittelet, vurdert om vi skulle anbefale at skolenivået ikke ble en del av rapporteringen. I tillegg til det vi beskrev innledningsvis om offentliggjøring og Offentlighetsloven, vil en konsekvens av å utelate skolenivået være at skoleeier og allmennheten ikke får direkte informasjon om tilstanden for hver enkelt skole fra disse prøvene. 

Skoleeierne trenger informasjon på skolenivå for å sikre oppfølging av tilstanden i kommunen og en rapportering på skolenivå gir mulighet til å følge med på skolenes utvikling over tid, både for skolen selv og for skoleeieren.

Disse prøvene gir informasjon til lærere, elever, foresatte og skoleledere. Resultatene herfra danner grunnlag for underveisvurdering og oppfølging av enkeltelever og elevgrupper.

Progresjonsprøvene gjennomføres årlig, slik at alle elever i prinsippet har likeverdig tilgang til den støtten til individuell oppfølging prøvene gir. Prøvene er frivillige, men for å måle progresjon må samme elev gjennomføre på minst to etterfølgende målepunkt.

For progresjonsprøvene er det også trinnene med kompetansemål i læreplanen som er utslagsgivende for hvor prøvene legges. Disse prøvene vil gjennomføres på høsten etter trinn med kompetansemål, og legges på 3., 5., 8. og Vg1. Prøvetidspunktet tidlig høst gir god oversikt over elevenes ferdigheter ved oppstart av skoleåret, og god tid til oppfølging av resultatene.

I del II argumenterte vi for at brukerne på klasseromsnivået har behov for informasjon om elevenes grunnleggende ferdigheter i begynneropplæringen. Disse vil derfor være naturlige områder å inkludere i prøvene på de første målepunktene. Hvilke ferdigheter som vektlegges, og i hvilken grad prøvene kan kombinere ulike ferdigheter, må utredes nærmere. Vi må også vurdere om behovet for å følge med på progresjon i de nye læreplanene heller tilsier at vi bør utvikle progresjonsprøvene i enkeltfag. I LK20/LK20S er progresjon vektlagt, og denne dimensjonen kan gi et behov for at prøvene bør utformes i enkeltfag for å støtte lærerne i vurderingsarbeidet i fagene.

Som vist i kunnskapsgrunnlaget, har vi positive erfaringer med å måle progresjon i regning, men for andre ferdigheter og fag må det utredes nærmere hvorvidt og hvordan dette kan gjøres.

For brukerne av progresjonsprøvene er face validity av avgjørende betydning, altså at innholdet i prøvene blir sett på som dekkende og treffende for det de hevder å måle. At oppgavene har en stringent utforming som måler ferdighetsnivå veldig presist, er mindre viktig her enn for de nye nasjonale prøvene, selv om progresjonsprøvene selvsagt må ha tilfredsstillende psykometrisk kvalitet, ikke minst for å gjøre det mulig å måle progresjon. 

Ettersom resultatene skal tolkes og forstås av brukere som er nær elevene, kan prøvene inneholde åpnere oppgavetyper med større rom for tolkning og skjønn. Her blir det viktig med fyldig veiledningsmateriell som er godt tilpasset målgruppen, som støtter vurderingen av resultatene og inneholder informasjon om oppfølging og videreutvikling. Dette veiledningsmateriellet kan gjerne kobles med støttemateriell til LK20/LK20S for å tydeliggjøre sammenheng mellom prøvene og læreplanen. 

Med denne typen oppgaver som er beskrevet her, vil prøven også ha en didaktisk verdi for lærerne. Oppgavene inneholder ofte problemstillinger som egner seg godt for refleksjon og diskusjon i klasserommet. Dette er ikke hovedhensikten med progresjonsprøvene, men gitt prøvenes utforming vil de i stor grad ha en slik tilleggsverdi.

Progresjonsprøvene genererer rapporter på elev- og gruppenivå til bruk for lærer i underveisvurdering, oppfølging og i dialog med elev/foresatt. Resultatene vil vise progresjon på  individnivå. For å ivareta en opplevelse av mindre press og stress for både elever og lærere, som beskrevet i innledningen til kapittel 5, vil resultatene ikke rapporteres oppover i systemet eller offentliggjøres. Resultatene vil imidlertid nyttiggjøres på skolenivå, ved å analysere og følge opp elevresultatene i en større sammenheng i lærerkollegiet og i skoleledelsen. Slik kan prøvene også ha en verdi for profesjonsfellesskapet.

Prøvene vi har i dag, måler enten elevenes ferdighetsnivå relatert til en bekymringsgrense eller søker å gi informasjon om prestasjoner på alle nivåer. 

En prøve som måler alle nivåer av ferdigheten, vil gi noe informasjon om alle elevers nivå i motsetning til prøver som måler i relasjon til en bekymringsgrense. Dersom prøven også skal gi sikker informasjon om elevene som presterer høyest, kreves det flere av de aller vanskeligste oppgavene i alle prøver, noe som kan oppleves som negativt for elever som presterer på lavere nivåer. Vår erfaring med prøvene har vist at det er svært vanskelig å gi god informasjon om elever på det høyeste ferdighetsnivået. Oppgaver som er så vanskelige at kun et fåtall av elevene svarer riktig, og som måler den aktuelle ferdigheten og ikke andre forutsetninger, er krevende å utvikle. Vi ser rett og slett at det er få oppgaver i dagens prøver som måler godt «i toppen». 

En prøve som opererer med en bekymringsgrense for ferdigheten, er utviklet for å måle svært nøyaktig rundt denne grensen, og identifiserer hvilke elever som trenger tettere oppfølging. Gjennomføringstiden for disse prøvene er som regel kortere enn for en prøve som måler hele ferdigheten. Oppgavene er svært lette, og de fleste elevene vil oppleve mestring. Prøven vil imidlertid ikke gi informasjon om elever som har et ferdighetsnivå over det som defineres som bekymringsgrensen. Man kan også tenke seg en prøve som måler i toppen av ferdigheten som er utviklet for å gi mye informasjon om høytpresterende elever, men en slik prøve må målrettes mot den aktuelle elevgruppa. 

For støtte til styring og kvalitetsutvikling vil det være naturlig å tilby informasjon om elever på alle ferdighetsnivåer. Unntakene kan være ved særlige satsninger, for eksempel tidlig innsats, eller rettet mot elever med høyt prestasjonsnivå. Disse satsningene kan være på lokalt eller nasjonalt nivå. For støtte til underveisvurdering er det også nyttig med informasjon om alle elevers ferdighetsnivå. Prøver som sikter seg inn mot deler av ferdighetsnivåene, kan være relevante i mer målrettede gjennomføringer for utvalgte elever. En annen løsning for å oppnå dette formålet kan være å konstruere prøvene slik at de er en «bank» av oppgaver som læreren kan plukke fra ved behov. Denne metoden gir større muligheter for fleksibilitet og tilpasning til målgruppe, men vil ikke gi informasjon om elevers progresjon.

Ved å gjøre prøver adaptive, vil alle elever bli tildelt oppgaver tilpasset egne ferdigheter. Da kan man i større grad måle alle nivåer av ferdigheten uten at elever må gjennomføre prøver som er altfor lette eller vanskelige ut fra deres forutsetninger. For å oppnå dette, kreves det imidlertid et omfattende utviklingsarbeid, ettersom det er et område der vi har forholdsvis lite erfaring. Det mest aktuelle designet å prøve ut er et blokkdesign, der oppgavene kommer i «blokker» og elevene styres videre til neste blokk avhengig av hvordan de skårer.

Problemstillinger som er viktig å utrede grundig, er blant annet om og hvordan progresjon kan måles i en adaptiv modell, og hvordan vi kan generere data som egner seg til aggregering og komparative analyser brukerne har behov for. Det er også viktig å sikre at modellen ikke blir så kompleks at resultatrapportene blir vanskelige å bruke og forstå for brukerne.

Som vi har gjort rede for i kapittel 6, er det flere utfordringer med å ha oppgaver i prøvene som er så vanskelige at de retter seg mot å måle ferdighetsnivået til elever som presterer høyt. Utfordringene knytter seg både til at vi har erfaring med at slike oppgaver er vanskelige å utvikle, og at mange elever utsettes for oppgaver de ikke har forutsetninger for å løse. I kunnskapsgrunnlaget ser vi at slike brukererfaringer om tapsfølelse er en av de største etiske og omdømmemessige utfordringene vi har med dagens nasjonale prøver. De høytpresterende elevene er selvsagt en gruppe det er viktig å ivareta, men det å gi informasjon om «toppen» av ferdigheten bør ivaretas av andre verktøy enn prøver.

Adaptivitet er som beskrevet et område vi har lite erfaring med og kunnskap om. Det er imidlertid en metodikk det knyttes store forventinger til og som er premissendrende for mye av det som er beskrevet i dette dokumentet. I brev av 18.06.2018 fra Kunnskapsdepartementet er det å prøve ut adaptivitet ett av tiltakene. Vi foreslår å starte utredning og utprøving av adaptivitet i tilknytning til prøver som skal brukes til kvalitetsutvikling og styring, ettersom det å kombinere adaptivitet og progresjon sannsynligvis er en mer kompleks problemstilling.

Med dette dokumentet foreslår vi en prosess som skal føre fram til fremtidens prøver. Det er viktig at denne prosessen involverer brukere og berørte parter på en god måte, for å sikre god forankring i sektoren og bevare prøvefeltets legitimitet. Vi anbefaler fortsatt bred involvering av representanter for brukernivåene, samt å innhente innspill fra eksterne aktører som benytter prøvedataene. Vi anbefaler også å involvere relevante fagmiljøer fra UH-sektoren og lærerutdanningsinstitusjoner. 

Å utvikle gode prøver krever tid. Dagens prøver har vanligvis en utviklingssyklus på to år, inkludert utvikling av prøvekonstrukt, utprøving av oppgaver og ferdigstilling av endelig prøve med veiledningsmateriell. I den følgende fremdriftsplanen tar vi utgangspunkt i at vi mottar oppdrag om utvikling av prøver innen utgangen av 2020. Tidslinjen er et foreløpig anslag og må konkretiseres etter beslutning om videre prøveutvikling er tatt. 

Fagfornyelsen er en viktig premissgiver for dette forslaget til fremtidens prøver. De nye prøvene vil imidlertid ikke være klare til bruk i skolen før skoleåret 2024/2025, flere år etter iverksettelsen av nye læreplaner. I dialogen med brukerne blir det viktig å kommunisere tydelig at dette har sammenheng med kravene til kvalitet i utviklingen av standardiserte prøver, og at vi vil være sikre på at prøvene fungerer etter intensjonen. 

Vi understreker at tidslinjen er tentativ. Det kan være mulig å utvikle nye nasjonale prøver noe raskere enn progresjonsprøvene dersom de nye nasjonale prøvene skal utvikles etter et liknende rammeverk som dagen nasjonale prøver. Videre er det aktuelt å diskutere om det er hensiktsmessig med en pause i gjennomføringen av nasjonale prøver for å indikere et brudd og få tid til å utvikle nye nasjonale prøver.