Het onderzoek naar de effectiviteit van Nieuwsbegrip in het vmbo kan worden samengevat in hoofdeffecten en moderatie-effecten.
Als eerste wordt het hoofdeffect behandeld: Is Nieuwsbegrip bevorderend voor de groei op begrijpend lezen bij vmbo-leerlingen?
Er is onderzocht wat het effect is van Nieuwsbegrip op de groei van begrijpend lezen over twee schooljaren (2011-2013). Om dit effect zuiver te kunnen meten, is er gecontroleerd voor een aantal variabelen die mogelijk invloed hebben op het niveau van begrijpend lezen. Controlevariabelen die een significante bijdrage leveren aan het niveau van begrijpend lezen op moment 1 (september 2011) zijn: IQ, woordenschat en metacognitieve kennis. Andere kenmerken zoals geslacht van het kind, leeftijd van het kind en taalachtergrond bleken geen statistisch significant effect te hebben. Het meetinstrument dat gebruikt is voor onderzoek naar invloed van persoonskenmerken, bleek niet valide en betrouwbaar te zijn voor de populatie vmbo-leerlingen. Daarom zijn op dit punt geen nadere analyses mogelijk.
Vervolgens is gekeken naar het verschil tussen de groei in begrijpend lezen van controleleerlingen en de groei van leerlingen die onderwijs met Nieuwsbegrip hadden genoten. Hoewel beide groepen leerlingen vooruitgaan in begrijpend lezen, is de groei van experimentele leerlingen in begrijpend lezen niet sterker dan voor controleleerlingen. Met andere woorden: Nieuwsbegrip heeft geen bevorderende werking in vergelijking met de controleklassen.
Moderatie-effecten
Daarnaast is gekeken of er modererende effecten zijn geweest. Met modererende effecten wordt bedoeld dat de interventie samen met een andere variabele effect heeft op de groei van begrijpend lezen. De moderator verandert het effect dat de interventie heeft op de groei van begrijpend lezen. We hebben verschillende moderatoren getest: leesattitude, woordenschat, metacognitieve kennis en de implementatiekwaliteit.Voor leesattitude en metacognitieve kennis zijn geen modererende effecten gevonden.
Uit de analyses blijkt dat er een differentieel effect optreedt voor woordenschat. Leerlingen in de experimentele klassen met een lage woordenschat hebben geen baat bij Nieuwsbegrip, terwijl leerlingen met een lage woordenschat in de controle klassen meer groeien in begrijpend lezen na twee jaar in vergelijking met leerlingen uit de experimentele klassen. Dit effect verdwijnt voor leerlingen met een hoge woordenschat: leerlingen in de Nieuwsbegripklassen en leerlingen in de controleklassen groeien in gelijke mate in begrijpend lezen
Om te bepalen of de implementatiekwaliteit van invloed is op het effect van Nieuwsbegrip, vonden twee keer per jaar klasobservaties plaats waarin de implementatiekwaliteit werd gemeten op drie gebieden die cruciaal zijn voor het onderwijs met het programma Nieuwsbegrip: strategie-instructie, modeling en groepswerk. In de controleklassen werden vergelijkbare observaties gedaan waarin gemeten werd in hoeverre de controledocenten vergelijkbare instructie aanboden, ook al waren zij niet getraind om te werken met de methode. Na één schooljaar observeerden we dat de interventiedocenten (nog) geen optimale implementatie lieten zien van de methode, al scoorden zij wel hoger op strategie-instructie en groepswerk dan de controledocenten. Multilevel-analyses met begrijpend lezen (nameting) als afhankelijke variabele lieten geen hoofdeffect van de interventie zien. Wel vonden we een significant modererend effect van strategie-instructie op de interventie
Verbeterpunten
Een mogelijke verklaring voor het ontbreken van een hoofdeffect is dat de implementatie nog niet optimaal was. De lesobservaties lieten zien dat de docenten behoorlijk wat tijd nodig hadden om de principes adequaat te implementeren en een optimale implementatie was nog niet bereikt. Hier zou dus nog verbetering kunnen optreden. Het gevonden effect wijst in deze richting: strategie-instructie had een positieve bijdrage aan het begrijpend leesniveau van de interventieleerlingen, maar niet aan dat van de controleleerlingen. Een mogelijk effect van de interventie zou derhalve zichtbaar kunnen worden in het tweede interventiejaar.
Na twee schooljaren Nieuwsbegrip is wederom gekeken naar de interactie tussen implementatiekwaliteit en de interventie. In eerste instantie werd geen hoofdeffect gevonden voor Nieuwbegrip: leerlingen in de experimentele klassen vertoonden geen sterkere groei op begrijpend lezen in vergelijking met de controleleerlingen. De analyses voor modererende effecten voor strategie-instructie, modeling en groepswerk wijzen uit dat alleen voor modeling een positief effect wordt gevonden.
Aan de andere kant laten de analyses zien dat door het opnemen van de interactie tussen modeling en de interventie, het hoofdeffect van de interventie negatief is over de tijd. Dit wil zeggen dat er dus een negatief effect wordt gevonden voor Nieuwsbegrip. Als docenten in de Nieuwsbegripklassen niet optimaal modelen, resulteert dit in een negatief effect van de interventie. Dit negatieve effect wordt gecompenseerd als docenten beter modelen.
- Proefschrift:
Teaching reading strategies in classrooms: "Does it work?" - Artikel:
Nieuws over Nieuwsbegrip; Over de uitkomsten en interpretatie van een studie naar de effecten van onderwijs in strategieën voor begrijpend lezen - Artikel:
Liever schooltekst dan nieuwsbericht -
Artikel:
Ook met de hele klas heeft trainen van leesstrategieën zin - Artikel:
Leesstrategie-instructie op begrijpend lezen vereist scholing van docenten