Metodebeskrivelse for skolebidragsindikatorer i videregående skole

Analysene baserer seg på registerdata om elevenes resultater og deltakelse, som Utdanningsdirektoratet innhenter fra VIGO-sentralbase.

Når vi skal beregne i hvor stor grad hver skole bidrar til elevenes læringsutbytte og gjennomføring, er det viktig å gjøre skolene sammenlignbare og at resultatene blir mest mulig riktige. Dette gjøres både gjennom begrensninger i utvalget og ved å kontrollere for faktorer som har betydning for utfallet, for eksempel hvilket utdanningsprogram og trinn elevene går på. 

Hvilke variabler er med i modellen?

Vi beregner tre ulike skolebidragsindikatorer: karakterpoeng, årsbestått og deltakelse. Disse er de avhengige variablene i modellene. 

Mens vi beregner skolebidraget i karakterpoeng med ordinær lineær regresjon, benytter vi logistisk regresjon for de to andre skolebidragene. Dette må vi gjøre fordi det for hvert individ kun finnes to utfall: bestått/deltatt og ikke-bestått/ikke-deltatt. Bortsett fra denne forskjellen, er fremgangsmåten lik for de tre skolebidragsindikatorene.

I tillegg til å beregne skolebidrag med god gyldighet, har vi hatt som mål å gjøre modellen så enkel og forståelig som mulig. Det innebærer at vi har holdt antall variabler så lavt som mulig uten at det går ut over kvaliteten på analysen. En enkel modell vil være lettere å etterprøve av andre og vil ikke overkorrigere på en slik måte at det reduserer skolenes sammenlignbarhet.

Av uavhengige variabler har vi derfor kun inkludert tidligere karakterer, utdanningsprogram, trinn og kjønn. I tillegg har vi inkludert kvadrerte tidligere karakterer for å ta hensyn til eventuell tak- og gulveffekter, samt noen samspillsledd av de ovenfor nevnte variablene for å ta hensyn til at for eksempel karakterer kan ha ulik betydning på ulike trinn.

Hvordan beregner vi skolebidrag i den statistiske analysen?

Vi beregner skolebidraget i flere trinn. Først beregner vi det forventede resultatet for hver enkelt elev gitt elevens forutsetninger og aggregerer resultatene på skole-/fylkesnivå. Deretter finner vi differansen mellom skolens faktiske resultater og skolens forventede resultater. Denne differansen kaller vi skolens bidrag.

Den statistiske modellen kan forkortet skrives slik: 

der 𝑦𝑖𝑗 er resultatet for elev i på skole j, 𝑥𝑖𝑗 er elevens tidligere resultater, α er parameterestimatet for sammenhengen mellom tidligere resultater og nåværende resultater, 𝑧𝑖𝑗 er andre forhold ved eleven, β beskriver sammenhengen mellom disse forholdene og resultatet, 𝜖𝑖𝑗 er residualet (restleddet) og representerer andre forhold som ikke kan måles direkte. Gjennomsnittet av alle elevers residualverdier vil være null. 

Andre forhold (𝑧𝑖𝑗) er i vår analyse utdanningsprogram, trinn og kjønn. Modellen inkluderer også kvadrerte tidligere resultater (karakterer) for å ta hensyn til eventuelle tak- og gulveffekter, samt samspillsledd mellom karakterer og utdanningsprogram, og karakterer og trinn for å ta hensyn til at tidligere karakterer kan ha ulik betydning innenfor ulike utdanningsprogram og ulike trinn. 

I modellen beregner vi da de α- og β-verdiene som best forklarer sammenhengen mellom de uavhengige variablene (elevens forutsetninger) og den avhengige variabelen (karakterpoeng/årsbestått/deltakelse). For hver elev beregnes de forventede resultater ut fra elevens forutsetninger og de estimerte parameterne for disse variablene. Skolens forventede resultat blir gjennomsnittet av elevenes forventede resultater, og skolens bidrag blir dermed differansen mellom skolens forventede resultater og skolens faktiske resultater. Skolebidraget 𝑆̂𝑗 kan tilsvarende også beskrives som gjennomsnittet av elevresidualene på den enkelte skole: 

Beregningene gjøres separat på individnivå for hver kombinasjon av studieretning (studieforberedende, yrkesfag), trinn (Vg1, Vg2, Vg3, alle trinn) og aggregeringsnivå (skole, fylke). 

Hvorfor beregnes skolebidragene isolert sett for studieforberedende og yrkesfaglige utdanningsprogram? 

De to utdanningsløpene er ulike i oppbygning, 2 år i skole + 2 år i lære for de fleste på yrkesfag og 3 år i skole for studieforberedende. Det er også trolig ulike karakterregimer på studieforberedende og yrkesfag (Grøgaard og Arnesen 2016). Dette vil gi en skjevhet ved beregning av skolebidragsindikatorer, særlig når det måles progresjon ut fra karakterene fra ungdomsskolen. I tillegg er det en større utfordring å justere for karakterpraksisen på skolene for de yrkesfaglige utdanningsprogrammene, da det generelt er færre elever som trekkes ut til eksamen, og det kun gjennomføres sentralt sensurert skriftlig eksamen i ett fag (engelsk).  

Hvorfor har vi valgt en modell uten sosioøkonomiske bakgrunnsvariabler? 

Tidligere studier har vurdert gevinsten av å inkludere ytterligere data om elevbakgrunn for å øke forklaringskraften i modellen (SSB 2011, 2017, SØF 2016, NIFU 2017). Konklusjonen har vært entydig: å inkludere mer informasjon om elevenes sosioøkonomiske bakgrunn, for eksempel innvandringsbakgrunn og foreldrenes utdanningsbakgrunn, bidrar lite til å øke forklaringskraften dersom det allerede er kontrollert for tidligere resultater.

Fordelen med en enklere modell er at den lettere kan repliseres av andre, noe som gir gjennomsiktighet og etterprøvbarhet. Det er også mindre krevende å samle inn og bearbeide data til en enklere modell, hvilket gjør at indikatorene kan publiseres raskere.  

Populasjon – hvem telles med?

Kun ordinære elever (fagstatus E) og elever med spesialundervisning (fagstatus A) er inkludert i beregningene. Det vil si at for eksempel voksne som får tilpasset opplæring for voksne ikke teller med. Hensikten med denne avgrensningen er å utelukke elever som avviker fra den ordinære opplæringen ved skolen og redusere behovet for å kontrollere for spesifikke forhold ved elevgrunnlaget (SØF 2016). 

Elever som går på Steinerskoler eller IB-linjer (International Baccalaureate) er ekskludert fra analysene ettersom disse ikke følger den ordinære eksamensordningen.

Elevene må være registrert på gyldige skoler. Det vil si at statistikken kun inkluderer enheter i Nasjonalt skoleregister som i henhold til næringskode driver med videregående opplæring. Private skoler må være godkjent etter friskoleloven §2-1 eller opplæringsloven §2-12. 

Elevene må være registrert på gyldige programområdekoder og gå på Vg1, Vg2 eller Vg3. Det vil si at for eksempel elever på grunnskolen som tar fag på videregående ikke er inkludert i statistikken. Vi fjerner også elever på påbygging etter yrkeskompetanse (PBPBY4). 

Siden skolebidragene er beregninger av en elevs utvikling i resultater fra ett skoleår til neste, eller sammenhengen mellom tidligere resultater og årsbestått, er det nødvendig å ha informasjon om elevens tidligere resultater. Elever på Vg1 må ha minst 7 karakterer fra grunnskolen (standpunkt + eksamen). Elever på Vg2 og Vg3 må ha minst 4 karakterer fra trinnet under for å bli med i utvalget. Antallet karakterer er valgt etter en avveiing mellom ønsket om å ha med flest mulig i analysene og ønsket om mest mulig robuste indikatorer. Vi leter fire år bakover i tid for å finne karakterer på nivået rett under elevens nåværende trinn. Hvis vi ikke finner tidligere resultater i løpet av disse årene, regnes eleven ikke med i statistikken.

For at resultatene skal vises på den enkelte skole, må minst 20 elever ligge bak utregningen. Dette gjøres av statistiske hensyn. Med færre observasjoner bak utregningen blir usikkerheten i estimatet så stort at tilfeldigheter i stor grad vil være avgjørende for det beregnede skolebidraget. Dette kriteriet ligger bak visningen av hvert tall. Det vil si at det ikke holder at skolen har over 20 elever totalt når skolebidraget på Vg1 skal vises. Bak hver beregning som vises i Skoleporten er det altså minimum 20 elever. Hvis en skole har for få elever på for eksempel Vg3 til å få vist skolebidrag på dette trinnet, vil elevene likevel være med i beregningen for Alle trinn. Elevene er altså med i beregningene, men resultatet blir ikke vist. 

Hvorfor og hvordan har vi justert for ulik karakterpraksis? 

For alle skolebidragsindikatorene bruker vi informasjon om tidligere karakterer. Fra grunnskolen bruker vi standpunktkarakterer og eksamenskarakterer, mens vi for videregående opplæring også bruker 2. halvårsvurdering når faget ikke er avsluttende på det trinnet. Dette gir et bredt grunnlag for å måle elevens prestasjoner. Karakterer brukes også som utfallsvariabel i skolebidragsindikatoren for karakterpoeng.  

Dersom det er ulik karakterpraksis ved de ulike skolene, vil dette kunne påvirke resultatene i stor grad. Vi har derfor valgt å justere karakterene basert på avviket mellom standpunktkarakter og skriftlig eksamenskarakter. Dette gjør vi ved å legge til et korreksjonsledd. Korreksjonsleddet beregnes ved å sammenligne det gjennomsnittlige avviket mellom standpunktkarakter og skriftlig eksamenskarakter for en skole, med et forventet gjennomsnittlig avvik mellom standpunktkarakter og skriftlig eksamenskarakter for skolen, hvor det er tatt hensyn til hvilke eksamener elevene var oppe i. For grunnskolekarakterer er dette relativt enkelt. Det er få eksamensfag (sammenlignet med Vgo) og alle skal opp i minst én av tre sentralt gitte eksamener. På videregående skoler er det mer utfordrende. Det er få elever som trekkes ut til skriftlig eksamen per fag, særlig på yrkesfag, og dette gir et dårligere grunnlag for justering. Dette har vi forsøkt å løse ved å samle fagene med få avlagte eksamener i ulike faggrupper. De største fagene, som for eksempel norsk hovedmål Vg3 skriftlig, utgjør en egen faggruppe, mens mindre eksamensfag grupperer vi i faggrupper basert på faglige fellestrekk. Metoden vi har brukt for å justere kan beskrives på følgende måte: 

1. Beregner faktisk avvik (standpunkt – skriftlig eksamen), per skole (As)
2. Beregner avvik (standpunkt – skriftlig eksamen) for hele landet per faggruppe (Ag)
3. Beregner forventet avvik (Af) per skole ved å vekte med antall eksamen per faggruppe:  Forventet AF = (AntallG1 * AG1 + AntallG2 * AG2…+...AntallGi*AGi) / Σ (Antall G1-Gi) 
4. Beregner korreksjonsfaktoren for skolen som er lik differansen mellom faktisk avvik og forventet avvik K = Af - As
5. Justerer standpunktkarakterer og 2. halvårsvurderinger for elev i på skole j:  Justert karakterij= Karakterij + Kj 

Last ned bilde av denne metodeforklaringen

For elever i Vg1 har vi benyttet justerte karakterer fra grunnskolen. Karakterene på grunnskolen er justert på samme måte som for videregående, med siden det er så få fag er det ikke behov for å dele fagene inn i faggrupper. Vi justerer alle fag unntatt i fagene kroppsøving, musikk, mat og helse, og kunst og håndverk. Dersom det er færre enn 20 karakterpar på en skole benytter vi avviket i kommunen/fylket ved beregning av korreksjonsfaktor. Det er det justerte karaktergjennomsnittet som blir brukt i beregningene av skolebidrag. Når vi viser «Faktisk karakterpoeng» for karakterindikatoren, er dette også justert for karakterpraksis på skolen/fylket. 

Faggrupper:

For studieforberedende utdanningsprogram benyttes følgende faggrupper: norsk hovedmål, norsk sidemål, norsk hovedmål påbygg, norsk sidemål påbygg, matematikk P2, matematikk 1P, matematikk påbygg 2P-Y, matematikk 1T, engelsk, matematikk R1 og R2, matematikk S1 og S2, programfag realfag, programfag samfunnsfag, programfag språksamfunn, fellesfag språk, programfag språk, programfag idrett, programfag musikk, dans, drama, programfag medier og kommunikasjon, andre programfag/fellesfag.

For yrkesfaglige utdanningsprogram benyttes følgende faggrupper: Norsk hovedmål, norsk hovedmål påbygg, norsk sidemål påbygg, matematikk påbygg 2P-Y, matematikk 1P-Y, matematikk 1T-Y, engelsk, programfag landbruk, økonomi og driftsledelse, andre programfag/fellesfag. 

Populasjonsoversikt

Under følger en tabell som viser hvilke utvalg vi gjør for å definere populasjonen. Tabellen viser også hvordan hver begrensning påvirker størrelsen på populasjonen. Vi viser her tall for indikatoren for årsbestått 2017-18. 

I tillegg trenger vi å ha informasjon om disse elevenes tidligere karakterer for å kunne lage skolebidragsindikatorer. Tabellen under viser hvor mange elever vi finner karakterer på de foregående årene og hvor stor populasjon vi ender opp med for hver av trinnene. 

Er det en sammenheng mellom tidligere karakterer og skolebidrag?  

Hensikten med skolebidragsindikatorer er å utjevne forskjellene mellom skolene som er resultat av ulik elevsammensetning. Det skal for eksempel ikke være slik at skoler med mange lavtpresterende elever gjennomsnittlig får bedre skolebidrag enn skoler med mange høytpresterende elever, eller omvendt.

Vi har undersøkt sammenhengene mellom tidligere karakterer (gjennomsnitt av elevene på skolen) og skolebidraget og funnet at det er svært lite sammenheng. For alle indikatorene (karakterpoeng/årsbestått/deltakelse) er korrelasjonen mellom tidligere resultater og skolens bidrag mellom -0,15 og 0,15 for skoleåret 2017-18 for både studieforberedende og yrkesfaglige utdanningsprogrammer. 

Det er imidlertid slik at potensialet for svært høye skolebidrag blir mindre desto høyere karaktersnitt elevene har fra tidligere trinn. Faktisk årsbestått for en skole kan maksimalt være 100 prosent. En skole med elever med høyt karaktersnitt vil ha en forventet årsbestått som er nærmere 100 prosent enn en skole med elever med lavere karaktersnitt. Det er derfor forskjell mellom skoler i hva det maksimalt mulige skolebidraget er. Men vi ser likevel ingen systematikk i at skoler med mange lavtpresterende elever får høyere skolebidrag enn skoler med mange høytpresterende.