Hvordan kan man måle skolens bidrag til læring?

Denne teksten ble først publisert hos bloggkollektivet Lærerråd i 2013 (link).

Tidligere har vi sett på hvordan noen elevgrupper oftere oppnår bedre resultater enn andre på nasjonale prøver. Også i Norge varierer utdanningsnivå og inntekt mellom geografiske områder. De flest barn går på skole i nærheten av der de bor, og slik oppstår det en overrepresentasjon av enkelte elevgrupper på noen skoler. Resultatene på nasjonale prøver er derfor ikke nødvendigvis utelukkende kun skolens fortjeneste, da også elevsammensetning vil spille en stor rolle. Uten å ta hensyn til elevgrunnlaget risikerer man å forsøke å lære av skoler som har oppnådd høye resultater, men som har oppnådd disse grunnet en mer fordelaktig elevsammensetning. Skolene man derimot burde lære av, kan imidlertid bli oversett, fordi disse har en mindre «gunstig» elevsammensetning – og dermed til slutt ender opp med noe lavere prøveresultater.

For kun å måle skolens bidrag bør man forsøke å fjerne den delen av prøveresultatene som skyldes elevfaktorene: Her kan man bruke tall på kjønn, foreldrenes utdanning og hvorvidt de har innvandrerbakgrunn eller ikke. Hvor bra en elev gjør det på skolen, avhenger imidlertid også av egenskaper som motivasjon og evner. Slike egenskaper varierer også mellom elever uavhengig av deres kjønn og sosioøkonomiske bakgrunn, og er også vanskelige å tallfeste.

Ved alle prøver vil det også hefte en viss tilfeldig variasjon: En enkeltelev kan rett og slett ha flaks på flervalgsoppgavene, og generelt være i storslag under prøven. En lærer som sykemeldes, kan føre til at en klasse som straks skal ha nasjonale prøver, opplever en mer turbulent periode med mange ulike vikarer. Nasjonale prøver forsøker å måle hva elevene har lært, men alle slike tilfeldigheter kan føre til at prøveresultatet ikke blir representativt. Slike tilfeldigheter vil gjerne også få større utslag på små skoler. Prøvene tas heller ikke av samtlige elever hvert år: På barneskoler tas de kun av 5. klasse, og dette trinnet er ikke nødvendigvis representativt for skolen som helhet. Dette er også årsaken til at man bør se på resultatene over flere år, hvis man er interessert i resultatet til skolen som helhet, og ikke bare et enkelt kull.

Oppsummert kan en skoles resultat på nasjonale prøver ses på som en funksjon av tre faktorer: elevenes bakgrunn, skolens bidrag og tilfeldig variasjon. Man vil aldri lykkes helt med å kontrollere for egenskapene som skolen ikke har ansvar for. Det man imidlertid vet, er at ca. 30 % av variasjonen i karakterer kan tilskrives det vi enkelt kan måle av elevenes bakgrunn. Ved hjelp av statistiske verktøy kan man også anslå hvor mye av en skoles prøveresultatet som skyldes tilfeldig variasjon. Det man står igjen med, er en indikasjon på skolens bidrag til elevenes læring. Utdanningsdirektoratet har tidligere fått laget slike tall, og da omtalt som skolebidragsindikatorer. Data om elevfaktorer ble hentet fra blant annet offentlige registre, og sammen med prøveresultater eller karakterer beregnet man en indikasjon på skolens bidrag.

Skolebidragsindikatorene ble presentert i form av det resultatet skolen ville fått, hvis den hadde en helt gjennomsnittlig elevsammensetning. Under er et eksempel som ble beregnet i 2005, med utgangspunkt i standpunktkarakterene til fire ungdomskoler i Oslo:

Tabell 1: Skolebidragsindikatorer for fire ungdomsskoler i Oslo. Beregnet i 2005. Positiv differanse betyr at «skolebidraget» er større enn gjennomsnittet. Negativ differanse betyr at «skolebidraget» er under gjennomsnittet. Ingen differanse betyr at skolen bidrar som forventet i forhold til elevgrunnlaget. Kilde: Aftenposten (2005).

Skole	Bydel	Karaktersnitt	Justert karaktersnitt	Avvik
Hersleb	Gamle Oslo	2,9	3,4	+ 0,5
Marienlyst	St. Hanshaugen	3,9	3,3	–  0,6
Midtstuen	Vestre Aker	4,0	3,5	–  0,5
Tokerud	Stovner	3,4	3,8	+ 0,4

Tabell 1 viser at de to vestkantskolene Marienlyst og Midtstuen i utgangspunktet hadde det høyeste karaktersnittet. Etter kontroll for elevgrunnlag seilte imidlertid østkantskolen Tokerud opp i tet. Hersleb skole hadde i utgangspunktet det laveste karaktersnittet, men bidro likevel mest til elevenes læring.

I dag kan en skole med dårlige prøveresultater unnskylde dette med elevgrunnlaget. Det er imidlertid fullt mulig både å ha et mindre fordelaktig elevgrunnlag, og samtidig bidra lite til elevenes læring. Gode resultater betyr heller ikke automatisk at skolens bidrag er høyt: Eksemplet over viste jo at de to vestkantskolenes bidrag var under gjennomsnittet, og at deres høye karaktersnitt tilsynelatende kunne tilskrives et mer fordelaktig elevgrunnlag.

Skolebidragsindikatorer kan ikke minst være til god hjelp innad i skolen: Hvis man har satt i gang et tiltak og vil undersøke om dette gir effekt på nasjonale prøver, er det i dag vanskelig å utelukke at en eventuell forbedring skyldes forskjeller i elevgrunnlaget i de klassene som tok prøvene. Skolebidragsindikatorene lages imidlertid ikke lenger, blant annet fordi man fryktet at dette kunne brukes til å avsløre elevsammensetningen på ulike skoler. Analysene ble også møtt med kritikk, fordi det heftet en del usikkerhet ved dem.

Bruken av nasjonale prøver har ikke utviklet seg slik det var tenkt: Prøvene skulle ikke føre til rangering mellom skoler, og Utdanningsdirektoratet forsøker fortsatt å gjøre resultatene så utilgjengelige som mulig. Dette har ikke lyktes: Landets små og store aviser publiserer rangeringer på løpende bånd, og resultatene presenteres (og leses av mange) som et enkelt mål på hvor «bra» eller «dårlig» en skole er. Endringer fra år til år tolkes som en fasit på en skoles fremgang eller forfall, uten at det tas hensyn til tilfeldige variasjoner. Gode resultater har sågar også blitt et salgsargument i enkelte boligprospekter! Denne utviklingen virker dessverre å ha kommet for å bli, og det er nå liten politisk vilje til å endre måten nasjonale prøver gjennomføres og presenteres på.

Offentliggjøring av ukorrigerte resultater fra nasjonale prøver er tidvis helt meningsløst: Resultatene sier ofte lite om selve skolen, men mye om nabolaget rundt. Hvis man fortsetter dagens praksis med offentliggjøring, bør man også offentliggjøre skolebidragsindikatorer i tillegg. Sammen vil de kunne utfylle hverandre og føre til en mer informert og nyansert debatt om sosial utjevning og skoleresultater. Men heller ikke dette vil fortelle den hele og fulle sannheten om skolen.

Kilder:

Aftenposten. 2005. Bedre ranking av skoler gir et mer nyansert bilde av Oslo-skolenes karakterer. I morgenutgaven 19.11.2005.

Hægeland, Torbjørn, Lars J. Kirkebøen, Oddbjørn Raaum og Kjell G. Salvanes. 2005a. Skolebidragsindikatorer – Beregnet for avgangskarakterer fra grunnskolen for skoleårene 2002–2003 og 2003–2004. Oslo/Kongsvinger: SSB.

Hægeland, Torbjørn, Lars J. Kirkebøen, Oddbjørn Raaum og Kjell G. Salvanes. 2005b. Skolebidragsindikatorer – Nyttig verktøy for skolene i Oslo? Slides til foredrag holdt for Utdanningsetaten 05.12.2005.