Erfaringer fra nasjonal satsing på vurdering for læring (2010-2018)
2. Hvordan vurderer vi måloppnåelsen i satsingen?
Formålet med satsingen har vært å gi skoleeier, skoler og lærebedrifter støtte i arbeidet
med å videreutvikle en mer læringsfremmende vurderingspraksis og vurderingskultur. Dette gjennom økt kompetanse og økt forståelse for vurdering som redskap for læring.
2.1 Kildegrunnlag for denne rapporten
Denne rapporten er basert på en sammenfatning og analyse av informasjon fra ulike kilder som sammen gir et bilde av gjennomføringen og hva som er oppnådd som et resultat av satsingen.
Tabellen nedenfor gir oversikt over de viktigste kildene:
| Informasjonskilde | Beskrivelse |
| Skoleeiers rapportering | Det har vært obligatorisk egenrapportering fra skoleeierne midtveis og til slutt i satsingsperioden utfra Udirs rapporteringsmal. Sluttrapporteringen skal beskrive:
|
| Puljevise oppsummeringer av skoleeierrapportene | Udir har, med hjelp av fylkesmennene, sammenfattet skoleeiernes rapporter for hver pulje. Disse oppsummeringene gir informasjon om utviklingstrekk innenfor hver pulje, og er dokumentasjon i satsingen og et grunnlag for videre arbeid med kompetanseutvikling innen vurdering for læring. Disse rapportene er ikke basert på forskningsbaserte resultater, men de viser likevel tendenser og gir grunnlag for refleksjon og diskusjon for videre oppfølging. |
| Evaluering av Udirs samlinger for skoleeiernes ressurspersoner | Alle Udirs samlinger har blitt evaluert og informasjonen har blitt brukt systematisk som grunnlag for forbedringer og for få informasjon om hvilke behov ressurspersonene har. Det er særlig hensynet til deltakernes læringsutbytte og læringsbehov på samlingene som har vært sentralt i evalueringene. |
| Tilbakemeldinger fra FM | FM har gitt tilbakemeldinger via rapporteringen fra skoleeierne, via egne møter og via henvendelser. |
| Elev- og Lærlingundersøkelsen | En viktig informasjonskilde for å følge utviklingen av vurderingspraksisen i klasserom og i lærebedrift på nasjonalt nivå, fylkes- og kommunenivå og skolenivå. Spørsmålene i undersøkelsene ble revidert i en tidlig fase av satsingen for å få mer kvalitativ god informasjon om elevenes og lærlingenes oppfattelse av vurderingspraksis er i tråd med prinsippene for god underveisvurdering. Elevundersøkelsen har ni spørsmål om vurdering for læring. Lærlingundersøkelsen har 14 spørsmål om vurdering for læring. |
| Spørsmål til Skole-Norge (NIFU) | Dette er Udirs halvårlige spørring til skoleeiere og skoleledere. Det har vært stilt egne spørsmål knyttet til vurdering for læring våren 2012, våren 2014 og våren 2017. Spørsmålene går til et utvalg respondenter som dekker hele sektoren, ikke bare de skoleeierne og skolene som er med i satsingen. NIFU utarbeider rapporter til hver spørring med analyse av resultatene. |
| Vurdering for læring. Resultater og analyser av skoler og skoleeieres svar på spørsmål om vurderingspraksis (NIFU 2017:4) | NIFU fikk et tilleggsoppdrag knyttet til Spørsmål til Skole-Norge våren 2017 (jf. kolonnen over). Formålet var å få en mer utdypende innsikt i hva satsingen har ført til hos skoler og skoleeiere generelt og hos deltakere i satsingen. |
| Rapport om utviklingen i klager på standpunktkarakterer fra 2010 til 2015. (Udir 2015) | Kvantitative og kvalitative data fra fylkesmannsembetene og fylkeskommunene. En sammenstilling og analyse av klagestatistikken på standpunktkarakterer i grunnskolen og videregående opplæring. Rapporten gir også informasjon om embetenes og fylkeskommunene sin oppfattelse av vurderingspraksis i skolen. |
| Tilsynsrapporter | I perioden 2014-2017 har det vært gjennomført felles nasjonalt tilsyn med friskoler og offentlige skoler og deres skoleeiere med følgende deltemaer som omhandler individuell vurdering: I 2015 og 2016 kom i tillegg «underveisvurdering for å øke elevenes læringsutbytte» som et nytt tema. |
| Prosjektet Forskning på individuell vurdering i skolen. FIVIS (NTNU 2011-2014) | Målsetning med forskningsprosjektet var å bidra til økt kunnskap om vurderingspraksis i norske klasserom. Oppdraget er avgrenset til å undersøke vurderingspraksiser i fagene engelsk, norsk, matematikk og kroppsøving i grunnskolen og i Vg1 i videregående opplæring. Forskningen munnet ut i to delrapporter og en sluttrapport Selv om evaluering av Vurdering for læring- satsingen ikke var hovedformålet med forskningsprosjektet, består utvalget både av skoler som har deltatt og ikke deltatt i satsingen. Dette gir kunnskap om forskjeller og likheter i praksis i utvalget. |
| Hopfenbeck, T.N., A. Tolo, T. Florez og Y. El Masri (2013) Balancing Trust and Accountability? The Assessment for Learning Programme in Norway. A Governing Complex Education Systems Case Study. OECD
| Satsingen ble valgt ut som ett av tre casestudier i OECD prosjektet Governing Complex Education Systems (GCES). Studien gir et bilde av kompleksiteten i utviklingsarbeid generelt, og var et viktig bidrag i satsingen og et grunnlag for justeringer i startfasen (OECD 2013). Rapporten gir flere anbefalinger for videre arbeid med vurdering for læring. Funn i studien er foretatt i en tidlig fase av satsingen og bygger på intervjuer med representanter fra alle nivå i forvaltningen og foresatte, fagforeninger, forskere og journalister. I tillegg er det foretatt en analyse av resultater på nasjonale prøver, analyse av omtale av VfL i media, dokumentanalyse og selvrapportering. |
2.2 Å vurdere måloppnåelse på komplekse utviklingsprosesser
En viktig problemstilling er hvordan vi kan følge med på utviklingen og vurdere måloppnåelse i en satsing som handler om å videreutvikle praksis på et komplekst fagområde, og som involverer aktører på alle nivå. Det har vært en nasjonal satsing, men også mange lokale (og andre nasjonale) satsinger knyttet til vurdering og læring.
Samlet sett foreligger det et bredt kildegrunnlag som kan gi et bilde på utviklingen av vurderingspraksis og vurderingskulturen i norsk skole generelt, og utviklingen på deltakerskolene spesielt (jf. 2.1). Det er imidlertid viktig å ta høyde for at det er mange faktorer som spiller inn, jf. oversikten under. Det er vanskelig å isolere enkeltårsak til endringer i skolenes og lærebedriftenes praksis, og derfor utfordrende å vise til kausale effekter i denne sammenhengen. Bruk av flere metoder og ulike, uavhengige kilder som viser tegn på utvikling, bidrar imidlertid til å gi et mer pålitelig og riktig bilde av situasjonen.
Faktorer som er viktig å ta høyde for i vurderingen av måloppnåelse i Vfl-satsingen
Hvilket tidspunkt er riktig «målepunkt»? Endring av praksis tar tid (3-5 år). Deltakerperioden i satsingen er 1,5-2 år, noe som er relativt kort sett i forhold til hvor lang tid det tar for å oppnå endret praksis på alle deltakerskoler. En viktig del av satsingen har derfor vært å bygge kapasitet hos skoleeier slik at de viderefører arbeidet med å utvikle vurderingspraksis etter at deltakelse i den nasjonale delen av satsingen er over. Det bør tas høyde for hvorvidt skoleeier har hatt tilstrekkelig tid for å planlegge, forankre og rigge satsingen lokalt.
Hvor mange har vært involvert i satsingen lokalt? Skoleeier har valgt ulike strategier for hvor mange skoler som deltar i første omgang, og skoleledere har valgt hvor mange fra skolen som deltar. Deltakelse i satsingen betyr derfor ikke at alle skoler og lærere i kommunen/fylkeskommunen har vært involvert i like stor grad i utviklingsarbeidet.
Hva ser vi etter? Vurderingsfeltet er komplekst, og det er ikke én rettlinjet måte å utvikle vurderingspraksis på. Ulike innfallsvinkler kan føre til samme mål. I satsingen har det vært vektlagt både å utvikle kompetanse i vurdering for læring og hvordan drive lærende nettverk. Det er derfor viktig å ha en bred tilnærming til hvordan følge utvikling av læringsfremmende praksis.
Hva betyr god utvikling på skole- og skoleeiernivå? Deltakerne har hatt ulikt utgangspunkt, kapasitet og erfaring med vurdering og å drive utviklingsprosesser. Det har derfor vært åpnet for å velge ulike innfallsvinkler på innretningen av den lokale satsingen utfra hvilket ståsted skolene og kommunene har. Skoleeiers og skolenes utvikling av praksis bør derfor sees i sammenheng med hvor de var da de startet.
Hvordan skille effekter fra ulike satsinger? Flere nasjonale satsinger har foregått parallelt med Vurdering for læring (Vfl), for eksempel Ungdomstrinn i utvikling (UiU), Læringsmiljø og FYR. I tillegg har det vært mange lokale initiativ og satsinger. Mange av satsingene er forskjellige, men kan samtidig ha noen fellestrekk. Vfl er f.eks satt i sammenheng spesielt med UiU og Læringsmiljø. Spesielt ved større fagovergripende satsinger som tematisk griper inn i hverandre, kan deltakelse i flere satsinger gi en synergieffekt og ekstra drahjelp i utviklingsprosessen på skolene. Det kan også virke negativt hvis satsingene fremstår som fragmenterte og ikke sees i sammenheng.
2.3 Tegn på endring av praksis
Å reflektere over hva som er relevante tegn på utvikling av vurderingspraksis og identifisere hvilke kilder som gir adekvat informasjon i utviklingsarbeidet, har vært tematisert overfor skoleeiere i forbindelse med rapporteringen. Dette gjelder utvikling både på skoleeiernivå, skolenivå og i det enkelte klasserom. Å legge for «snevre og/eller feil type kilder» til grunn vil kunne gi et misvisende bilde av i sitasjonen. Dette kan i tillegg gi feil signal om hva utvikling av en læringsfremmende vurderingspraksis handler om. Å forvente f.eks. bedre resultater på nasjonale prøver, karakterer e.l. etter en relativt kort deltakerperiode er ikke realistisk, sett opp mot hva som er formålet med satsingen og hvor lang tid det tar å endre praksis.
Å beskrive tegn på utvikling og læring som dekker ulike dimensjoner ved satsingen på alle nivå kan f.eks. handle om:
- I klasserommet/lærestedet: I hvilken grad opplever elever og lærlinger endret vurderingspraksis? Hva har endret seg og hvordan påvirker dette læringsprosessen? I hvilken grad har lærerne/instruktørene endret praksis med planlegging, gjennomføring og justering av opplæringen? Beskrive ev. endringer i samhandlingen mellom lærer/instruktør og elev/lærling.
- På skolenivå: Hva er leders og lærerkollegiets praksis og erfaringer? Hvilke arenaer for erfaringsdeling og felles praksis finnes og hvordan brukes disse? Beskrive ev. endringer i samhandlingen mellom lærer-leder, samhandling mellom kollegaer og skole-foreldre. Praksis for elevsamtaler, konferansetimer, foreldremøter, planer, bruk av felles møtetid, rutiner m.m.
- På kommunalt/fylkeskommunalt nivå: Hva er relevante endringer på skoleeiernivå? Nye måter å organisere kompetanseutvikling på (innhold, organisering, samarbeid, nettverk etc.). Samhandlingen mellom skoleeier-skoleledere, skoler og lærebedrifter ev. andre aktører. Oppfølging og dialog med skoler og lærebedrifter.
Skoleeierne har valgt ulike tilnærminger til å få innsikt i endring av vurderingspraksis på skolene, men de har i stor grad lagt et bredt kildegrunnlag til grunn for rapporteringen. Eksempler på kilder skoleeierne oppgir ha brukt for å følge endring i praksis: elevundersøkelsen, lærlingundersøkelsen, lærerundersøkelsen, ståstedsanalysen, SWOT-analyse, tilsyn, ekstern vurdering, resultater fra nasjonale prøver og eksamen, erfaringer fra deltakelse i SkoleVFL-MOOC, kartleggingsverktøy, spørreundersøkelser, skolebesøk, intervju og/eller dialogmøter.