Rammeverk for nasjonale prøver i lesing på samisk

Når det gjelder de nasjonale prøvene i lesing på samisk, er det ikke mulig å prøve ut deler av eller hele prøven i forkant av gjennomføringen. Kravene som skisseres nedenfor, er derfor krav knyttet til analysen og kvalitetssikringen som gjøres i etterkant av prøvegjennomføringen.

Hver prøve skal oppfylle høye reliabilitetskrav (klassisk reliabilitet alpha). Det klassiske reliabilitetsmålet alpha gir mål på prøvens pålitelighet og er også en indikasjon på prøvens dimensjonalitet. Høy reliabilitet viser at prøvens resultater ikke er et produkt av tilfeldigheter i prøvens oppgavesett. Det er ønskelig at prøvene har en alpha‐koeffisient på 0.85. Det er et krav at alpha‐koeffisienten ikke skal være under 0.8.

Prøveutviklerne skal sikre at det er nok oppgaver som måler på alle nivåer av ferdigheten, og dermed sikre at hele spennet i ferdigheten måles på en god måte.

Prøvene skal inneholde en variasjon av ulike oppgavetyper som f.eks. flervalgsoppgaver og åpne oppgaver. Av hensyn til prøvenes reliabilitet og arbeidsbelastningen for lærerne i forbindelse med vurdering av åpne oppgaver, skal åpne oppgaver forekomme i begrenset utstrekning. Nasjonale prøver skal maksimalt inneholde 25 prosent åpne oppgaver, altså oppgaver som læreren må vurdere. Det skal ikke være åpne oppgaver som må vurderes av lærer i prøven på 5. trinn.

Det er ikke mulig å prøve ut deler av eller hele leseprøven på samisk fordi den totale elevmassen er liten, og en eventuell utprøving vil innebære at prøven med stor sannsynlighet blir allment kjent. Men oppgaveformater som er tilnærmet like oppgaveformatene i den endelige prøven kan prøves ut på et utvalg samiske elever før den endelige utformingen.

Tidligere gitte nasjonale prøver i lesing og lesing samisk skal brukes som referanse i utviklingen av nye prøver. Tilbakemeldinger fra lærere med elever som gjennomfører de samiske leseprøvene skal også vurderes i videreutviklingen av prøvene. Prøveutvikler skal videre samarbeide med det miljøet som jobber med nasjonale prøver i lesing på norsk.

Den tekniske rapporten inngår som en del av den løpende kvalitetssikringsprosessen av arbeidet med nasjonale prøver. Teknisk rapport skal være en del av dokumentasjonsgrunnlaget for dialog mellom prøveutvikler, ekstern kvalitetssikrer og Utdanningsdirektoratet. De tekniske rapportene vil også kunne utgjøre et grunnlag for eventuelle evalueringer av arbeidet med nasjonale prøver i lesing på samisk på sikt.

Den tekniske rapporten skal inneholde data fra klassisk item-analyse i form av p-verdi og mål på diskriminering (for eksempel biserial korrelasjon), samt mål for reliabilitet/indre konsistens (alpha) og en beskrivelse av prøvens konstruktvaliditet.

Den tekniske rapporten skal redegjøre for

• p‐verdiene (oppgavenes løsningsprosent) totalt og for de to kjønnene separat
• oppgavenes diskrimineringsevne, som skal angis via en korrelasjon mellom resultat på oppgaven og totalpoeng (i normaltilfellet skal disse korrelasjoner være høyere enn 0,30)
• merknader om oppgavenes relevans (validitet)

I tillegg til punktene over, skal den tekniske rapporten inkludere en egen kolonne for merknader om de enkelte oppgavene og med særskilte merknader om valg av innhold. Rapporten skal også inkludere en kolonne for omtale av valg av oppgaveformat.

I en avsluttende del skal prøveutviklerne gi noen allmenne vurderinger av prøven og tolkninger av resultatene (ved gjennomføring). I tillegg er det ønskelig at prøveutvikler gir betraktninger knyttet til eventuelle endringer av prøven som kan synes nødvendige, anbefalinger om endringer basert på resultatene, samt en beskrivelse av videre framdrift i kommende prøve- og oppgaveutvikling.

Prøvene skal være valide. Det betyr at prøvene både skal måle de grunnleggende ferdighetene i lesing på samisk og at de skal måle hele spennet i ferdigheten. Det innebærer først en fortolkning av læreplanverkets definisjon av de grunnleggende ferdighetene, dernest at de empiriske dataene i teknisk rapport kan vise at hele ferdigheten, slik den er beskrevet i konstruktbeskrivelsene over, blir målt. Oppgavene skal spenne fra enkle til komplekse. De skal åpne for at elever kan vise sine ferdigheter på både høyt og lavt nivå.

Prøvene skal måle i tråd med prøvenes konstrukt, noe prøveutviklerne skal redegjøre for. Det innebærer at prøveutvikler overordnet for hver av oppgavene i prøven skal begrunne hva som testes, fortolkningen av læreplanen, hvordan oppgaven tester og hvilke kognitive operasjoner eleven skal foreta. Prøveutviklerne skal altså vurdere oppgavenes og hele prøvens relevans opp mot rammeverket.