Att studera kompetensutvecklingens effekter genom kvasi-experimentella analyser av TIMSS och PIRLS

Bakgrund

Varje år deltar omkring 90 procent av lärarna internationellt i kompetensutveckling, med ett genomsnittligt deltagande om 6-9 dagar. Studier baserade på amerikanska skoldistrikt indikerar att en sådan nivå av deltagande motsvarar omkring 3 procent av skolans kostnader. Omfattande resurser används alltså till kompetensutveckling, både ifråga om lärares arbetstid och offentliga utgifter. Det kan vara befogat då forskningsöversikter visar att kompetensutveckling ger statistiskt signifikanta effekter på undervisning och elevresultat. Dessa forskningsresultat baseras dock på ett fåtal randomiserade kontrollerade studier som huvudsakligen har genomförts i gynnsamma omständigheter och i USA. Även om studierna i sig är rigorösa och tillförlitliga är det därför oklart i vilken mån slutsatserna är generaliserbara till kontexter som är mer typiska för lärares kompetensutveckling, samt till kompetensutveckling i andra länder.

Mot denna bakgrund är projektets övergripande syfte att undersöka kompetensutvecklingens kausala effekter på undervisning och elevresultat i förhållanden som är representativa för lärare i allmänhet, samt att undersöka hur kompetensutvecklingens karaktär och kontextuella faktorer påverkar kompetensutvecklingens effekter. För att studera detta används två decennier av data från de internationella storskaliga kunskapsmätningarna TIMSS (2003-2019) och PIRLS (2001-2021), på grund av deras högkvalitativa och nationellt representativa data gällande lärares kompetensutveckling, undervisning, elevresultat, samt kontextuella faktorer. I de flesta studier av kompetensutveckling utifrån TIMSS- och PIRLS-data undersöks enskilda omgångar (såsom TIMSS 2011) med statistiska metoder såsom hierarchical linear modeling. Ett sådant angreppssätt medför dock att kompetensutvecklingens effekter på elevresultat inte går att isolera från påverkan från otaliga andra skillnader mellan de deltagande länderna (felkällan utelämnade variabler). Det går heller inte att avgöra om en uppmätt korrelation beror på att lärare i vissa omständigheter deltar mer i kompetensutveckling eller på att kompetensutvecklingen ger effekt (felkällan omvänd kausalitet).

I syfte att dra valida kausala slutsatser använder projektet istället kvasi-experimentella metoder, i synnerhet longitudinell difference-in-differencesanalys på landnivå. När skillnader inom länder över tid snarare än skillnader mellan länder vid en viss tidpunkt jämförs påverkas inte de uppmätta effekterna av skillnader mellan skolsystem. Dessutom medför analyser på landnivå att omvänd kausalitet undviks, då sådan påverkar specifika grupper av lärare och elever snarare än nationella genomsnitt. Detta metodval medför inte bara att projektet kan dra valida kausala slutsatser. Projektets användning och utveckling av kvasi-experimentella metoder lägger också grunden för tillförlitliga slutsatser i framtida kompetensutvecklingsforskning utifrån internationella storskaliga kunskapsmätningar.

Anslag i SEK: 5, 9 miljoner

Projektets delstudier riktar fokus mot tre huvudsakliga aspekter:

1. För det första analyseras kompetensutvecklingens kausala effekter på undervisning och elevresultat, samt huruvida effekterna varierar beroende på kompetensutvecklingens innehåll, varaktighet och intensitet.
   
   
2. För det andra studeras hur kontextuella faktorer på lärar- och skolnivå påverkar kompetensutvecklingens effekter.
   
   
3. För det tredje jämförs validiteten hos uppmätta kausala effekter för två kvasi-experimentella metoder, samt beroende på om TIMSS-data eller svenska registerdata används som mått på elevresultat och socioekonomisk status. Mot bakgrund av de omfattande resurser som lärare och skolsystem årligen avsätter för kompetensutveckling är det angeläget att veta huruvida den kompetensutveckling som lärare deltar i ger önskvärda effekter, samt om vissa egenskaper hos kompetensutveckling, eller särskilda kontextuella faktorer, ökar eller minskar dessa effekter.
   
   
   

Projektmål

Projektets övergripande syfte är att undersöka kompetensutvecklingens kausala effekter på undervisning och elevresultat i förhållanden som är representativa för lärare i allmänhet, samt att undersöka hur kompetensutvecklingens karaktär och kontextuella faktorer påverkar kompetensutvecklingens effekter.