II. Specifieke Onderwerp Parameters

1. Kenmerken van in aanmerking komende vroegschoolse educatie-interventies voor kinderen met een handicap
2. Eigenschappen van repliceerbaarheid van de interventie
3. Uitkomsten voor kinderen met een handicap
4. Betrouwbaarheid en validiteit van uitkomstmaten
5. Tijdsinterval waarin studies moeten zijn uitgevoerd om geschikt te zijn voor het interventierapport
6. Definiërende kenmerken van de studiepopulatie
7. Effectiviteit van de interventie over subgroepen van kinderen
8. Effectiviteit van de interventie over settings heen
9. Attrition
10. Groepsequivalentie
11. Statistische en analytische kwesties

De volgende parameters specificeren welke studies in aanmerking komen voor analyses en welke aspecten van die studies worden gecodeerd voor beoordeling.

1. Kenmerken van in aanmerking komende vroegkinderlijke educatieve interventies voor kinderen met een handicap

In aanmerking komende interventies hebben als hoofddoel het verbeteren van uitkomsten die verband houden met de schoolrijpheid van kinderen in de voorschoolse leeftijd. In aanmerking komende interventies

• Inclusief uitgebreide en aanvullende curricula, zoals Creative Curriculum, Incredible Years, en Big Math for Little Kids; praktijken, zoals Dialogisch lezen en tijdvertraging; en therapieën die zijn ontworpen om het functioneren te bevorderen en secundaire handicaps te voorkomen, zoals sensorische integratietherapie.
• Moet plaatsvinden op een school of in een peuterspeelzaal, of indien op andere locaties (zoals klinische settings of gezinshuizen), moet worden uitgevoerd onder leiding van of in samenwerking met een school, peuterspeelzaal, of programma gefinancierd door IDEA.
• Moet zijn geïmplementeerd in 1986 (het jaar waarin PL 99-457, die Deel C en voorschoolse voorzieningen voor kinderen met een handicap onder Deel B autoriseerde, werd aangenomen) of later.
• Moet reproduceerbaar zijn en in staat zijn te worden verspreid.

2. Elementen van repliceerbaarheid van een interventie

De belangrijke kenmerken van een interventie die in een studie moeten worden gedocumenteerd, zodat deze op betrouwbare wijze kan worden gerepliceerd met andere deelnemers, in andere settings en op andere tijdstippen, zijn onder meer de volgende:

• Of de interventie merkgebonden is of niet.
• Indien de interventie merkgebonden is, moet er informatie beschikbaar zijn over hoe de interventie te verkrijgen is. Merkinterventies hebben doorgaans een externe ontwikkelaar die technische ondersteuning biedt of de interventie verkoopt/distribueert. Merkinterventies kunnen verpakt zijn of op een andere manier beschikbaar zijn voor distributie en gebruik buiten een enkele locatie, met voldoende documentatie om het curriculum of de praktijk te kunnen implementeren door andere personen dan de ontwikkelaars (bijv. met een handleiding, curriculumgids, of andere voldoende gedetailleerde instructies voor implementatie). Studies van interventies die geen merkinterventie zijn, moeten de interventie beschrijven, met inbegrip van de beoogde vaardigheid(pen), de aanpak om de vaardigheid(pen) te verbeteren, de doelpopulatie, componenten of kenmerken van de interventie die werden geïmplementeerd, kenmerken van de settings waarin de interventie werd geïmplementeerd, de duur en intensiteit van de interventie, en de kenmerken en training van de personen die de interventie toedienden.

3. Uitkomsten voor kinderen met een handicap

Om in de beoordeling te worden opgenomen, moet een studie ten minste één relevante uitkomst voor het kind bevatten die doelbewust door de interventie wordt nagestreefd en die rechtstreeks wordt gemeten door het kind een beoordeling te geven of door het kind te observeren.

Relevante uitkomsten zijn uitkomsten die tot de volgende domeinen behoren:

• Cognitie
• Communicatie/taalvaardigheden
• Letterdheid
• Wiskundeprestaties
• Sociaal-emotionele ontwikkeling en gedrag
• Functionele vaardigheden
• Fysiek welzijn

De afstemming tussen de uitkomst en de interventie is een andere factor die in de beoordeling wordt meegenomen. Uitkomstmaten die nauw aansluiten bij of afgestemd zijn op de interventie zullen waarschijnlijk grotere effectgroottes laten zien dan maten die minder nauw aansluiten bij de interventie. Wanneer de uitkomstmaat deels dezelfde materialen bevat (zoals boeken of passages) die in de interventie worden gebruikt, of wanneer de uitkomstmaat als onderdeel van de interventie aan de interventiegroep wordt gegeven, wordt deze geacht te veel op de interventie te zijn afgestemd. In dergelijke situaties kan de interventiegroep een oneerlijk voordeel hebben ten opzichte van de vergelijkingsgroep, en is de effectgrootte geen eerlijke indicatie van de effecten van de interventie. Uitkomstmaten die te veel op één lijn liggen met de interventie zullen niet worden meegenomen bij het bepalen van de beoordeling van een interventie voor deze review.

Het is de bedoeling dat de voordelen van vroegschoolse educatie-interventies voor kinderen met een handicap ook na afloop van de interventie behouden blijven. Daarom zijn metingen aan het einde van een interventie, en ook op elk moment daarna, toelaatbaar. Metingen die enkele maanden of jaren na de interventie worden gedaan, kunnen sterke bewijzen leveren voor de effectiviteit van een interventie. In deze evaluatie wordt echter voorrang gegeven aan de resultaten van de onmiddellijke posttests voor de ontwikkeling van beoordelings- en verbeteringsindices voor de interventie, omdat deze resultaten het meest gangbaar zijn. De beoordeling omvat aanvullende follow-upbevindingen, indien beschikbaar en van toepassing, in bijlagen bij het rapport.

4. Betrouwbaarheid en validiteit van uitkomstmaten

De studie moet ten minste één uitkomstmaat voor kinderen bevatten met bewijs van face validity en voor uitkomsten die tests of schalen zijn, voldoende scorebetrouwbaarheid beoordeeld aan de hand van de hier genoemde normen zoals bepaald door het WWC. Als de scorebetrouwbaarheid van elke uitkomstmaat niet in het onderzoeksartikel wordt vermeld, kunnen gegevens van de uitgever van de test of schaal of andere bronnen worden gebruikt om de scorebetrouwbaarheid van een uitkomstmaat voor de onderzoekspopulatie vast te stellen. Indien in studies de scorebetrouwbaarheid van uitkomstmaten niet is geanalyseerd aan de hand van onderzoeksgegevens, en analyses door testuitgevers of andere onderzoekers geen kinderen met een handicap omvatten, zal elk ander beschikbaar bewijs van scorebetrouwbaarheid en validiteit van de maat voor de onderzoekspopulatie in overweging worden genomen, en zal in overleg met deskundigen van geval tot geval een beslissing worden genomen over de geschiktheid van de uitkomstmaat. De normen zijn

• Internal consistency score reliability: minimum van 0,60
• Temporal stability/test-retest score reliability: minimum van 0,40
• Inter-rater score reliability: minimum van 0.50 (procentuele overeenstemming, correlatie, Kappa)

Als een uitkomstmaat is samengesteld uit verschillende tests voor verschillende kinderen in de steekproef, wordt deze als een geldige uitkomstmaat beschouwd als aan de volgende criteria is voldaan:

• De tests pretenderen een vergelijkbaar construct te meten en zijn gestandaardiseerd op een vergelijkbare populatie, zoals blijkt uit de testhandleiding of empirische studies die op de test zijn gericht.
• De tests moeten voldoen aan de hierboven beschreven drempels voor betrouwbaarheid.
• Er moeten duidelijke regels zijn voor welke test aan welk kind wordt toegediend, en de regels moeten op dezelfde manier worden toegepast op de behandelings- en controlegroepen.
• De verdeling van de tests die bij aanvang en follow-up aan de behandelings- en controlegroepen worden toegediend, moet vergelijkbaar zijn.

Als de informatie die nodig is om deze criteria toe te passen, niet beschikbaar is in het artikel, zal een auteursquery worden gestart om de informatie te verkrijgen.

5. Tijdsinterval waarin studies moeten zijn uitgevoerd om geschikt te zijn voor het interventierapport

Studies moeten in 1986 of later zijn gepubliceerd.

6. Definiëren van kenmerken van de studiepopulatie

Om in de review te worden opgenomen, moet de populatie van een studie bestaan uit

• Kinderen tussen 3 en 5 jaar die nog niet zijn ingeschreven in de kleuterschool of oudere kinderen die een voorschools programma volgen. Wanneer de auteurs geaggregeerde gegevens verstrekken voor zowel kleuter- als kleuterschoolkinderen en uitgesplitste gegevens niet beschikbaar zijn, zal de studie in de beoordeling worden opgenomen indien ten minste 50% van de kinderen in de kleuterklas zit.
• Kinderen met een handicap, zoals eerder gedefinieerd. In studies over kinderen met en zonder handicap zal voorrang worden gegeven aan de resultaten voor de subgroep van kinderen met een handicap. Echter, als ten minste 50% van de steekproef van het onderzoek bestaat uit kinderen met een handicap, kunnen de algemene resultaten worden opgenomen in de review.
• Kinderen die Engels spreken of niet-moedertaalsprekers van het Engels zijn die Engelse taalleerders zijn.
• Kinderen die in de Verenigde Staten wonen (met inbegrip van Amerikaanse territoria en tribale entiteiten).

7. Effectiviteit van de interventie bij subgroepen van kinderen

De effectiviteit van een interventie zal waarschijnlijk variëren bij kinderen met verschillende kenmerken, en in een studie waarin de effectiviteit van een interventie wordt getest, kunnen de effecten van de interventie voor belangrijke subgroepen van kinderen worden onderzocht. Voor studies van voorschoolse onderwijsinterventies voor kinderen met een handicap, belangrijke kenmerken van subgroepen zijn

• Leeftijd (3 tot 4 en 4 tot 5)
• Geslacht
• Sociaal-economische status
• Ras/etniciteit
• Status van Engelse taalleerling
• Type handicap
• Gehandicaptheid

Wanneer een studie die voldoet aan de WWC-normen voor bewijsvoering interventie-effecten rapporteert voor deze subgroeptypes en de subgroepanalyses voldoen aan alle WWC-normen die vereist zijn voor de resultaten van de volledige steekproef, zullen deze effecten en analyses worden opgenomen in een bijlage bij het interventierapport.

8. Effectiviteit van de interventie in verschillende settings

Een studie die de effectiviteit van een interventie wil testen, kan de effecten in verschillende settings onderzoeken. Voor studies naar voorschoolse onderwijsinterventies voor kinderen in de voorschoolse leeftijd met een handicap kunnen deze settings worden gedefinieerd aan de hand van

• Locatie (stedelijk, voorstedelijk of landelijk)
• Setting (kinderopvangcentrum, peuterspeelzaal op school, Head Start, andere)
• Type setting (gesegregeerd, inclusief)
• Opleiding, kwalificaties of opleiding van het personeel (bijv,

Wanneer een studie die voldoet aan de WWC-normen voor bewijsvoering, de interventie-effecten voor deze settings afzonderlijk rapporteert, en de analyses van de resultaten per setting voldoen aan alle WWC-normen die vereist zijn voor de resultaten van de volledige steekproef, worden deze effecten en analyses opgenomen in een bijlage bij het rapport over de interventie.

9. Zoals beschreven in het WWC Procedures and Standards Handbook (versie 2.0), maakt het WWC zich zorgen over het totale en gedifferentieerde verloop van de interventie- en vergelijkingsgroepen voor RCT’s, aangezien beide bijdragen aan de potentiële vertekening van het geschatte effect van een interventie. Het door het WWC ontwikkelde attrition bias model zal worden gebruikt bij het bepalen of een studie voldoet aan de WWC-bewijsnormen (zie Bijlage A van het handboek).

Wanneer de combinatie van het totale en het gedifferentieerde uitvalpercentage een RCT-studie in het groene gebied op het onderstaande diagram doet vallen, wordt het uitvalpercentage als “laag” en de vertekening als aanvaardbaar beschouwd. Dit weerspiegelt de veronderstelling dat het grootste deel van het verloop in studies van educatieve interventies voor jonge kinderen met een handicap te wijten is aan exogene factoren, zoals mobiliteit van de ouders en afwezigheid op de dagen dat de evaluaties worden uitgevoerd. Voor RCT’s met combinaties van algemene en differentiële uitvalpercentages in het rode gebied zal de uitval echter als “hoog” worden beschouwd en mogelijk een hoge mate van bias hebben en moet daarom gelijkwaardigheid worden aangetoond.

Veel door het WWC geëvalueerde studies zijn gebaseerd op ontwerpen met meerdere niveaus. Vertekening kan niet alleen worden veroorzaakt door het verlies van clusters (zoals scholen), maar ook door steekproefleden binnen de clusters (zoals leerlingen), als deze steekproefleden uitvallen als gevolg van hun behandelingsstatus. De uitvalnorm geldt voor beide niveaus. Om aan de norm te voldoen, moet een studie eerst op clusterniveau slagen, met gebruikmaking van de uitvalgrens die hierboven is vastgesteld. Ten tweede moet het onderzoek op subclusterniveau slagen, opnieuw met gebruikmaking van de hierboven vastgestelde uitputtingsgrens, waarbij het uitval alleen is gebaseerd op de clusters die nog in de steekproef zitten. Dat wil zeggen, de noemer voor de subclusteruitvalberekening omvat alleen steekproefleden op scholen of klaslokalen die in de studie blijven na clusterverval.

10. Groepsequivalentie

Als de studieopzet een RCT is met een hoog niveau van uitval of een QED, moet de studie de equivalentie van de basislijn van de interventie- en vergelijkingsgroepen voor de analytische steekproef aantonen. De bewijslast voor het aantonen van gelijkwaardigheid in deze studies ligt bij de auteur. In het onderzoeksverslag moet voldoende informatie over de pre-interventiegegevens worden opgenomen (of de gegevens moeten bij de auteur van het onderzoek worden opgevraagd) om het beoordelingsteam in staat te stellen conclusies te trekken over de gelijkwaardigheid van de interventie- en de vergelijkingsgroep. Pre-interventiekenmerken kunnen bestaan uit de uitkomstmaat (-maten) die voorafgaand aan de interventie is (zijn) toegediend, of uit andere maten die niet hetzelfde zijn als, maar wel sterk gerelateerd zijn aan de uitkomstmaat (-maten).

Voor dit themagebied is het mogelijk dat een studie op een of meer gebieden aan de bewijskrachtnormen voldoet en op andere gebieden niet. Daarom moeten de regels voor het vaststellen van basislijngelijkwaardigheid binnen elk domein worden toegepast.

Groepen worden als gelijkwaardig beschouwd als de gerapporteerde verschillen in pre-interventiekenmerken van de groepen kleiner zijn dan of gelijk zijn aan een kwart van de gepoolde standaardafwijking in de steekproef, ongeacht de statistische significantie. Indien de verschillen echter groter zijn dan 0,05 standaardafwijkingen en kleiner dan of gelijk aan een kwart van de gepoolde standaardafwijking in de steekproef, moet in de analyse analytisch worden gecontroleerd voor het (de) kenmerk(en) op individueel niveau vóór de interventie waarop de groepen verschillen. Als de verschillen vóór de interventie groter zijn dan 0,25 voor een van de genoemde kenmerken, voldoet de studie niet aan de normen.

Gezien het potentieel voor selectiebias in QED’s, is de mogelijkheid dat de interventie- en vergelijkingsgroepen uit verschillende populaties zijn getrokken ook een punt van zorg. Fundamentele verschillen in de settings waaruit de interventie- en vergelijkingsgroepen in een QED-studie werden getrokken en basislijnverschillen in de kenmerken van de interventie- en vergelijkingsgroepen kunnen erop wijzen dat de kinderen in de twee groepen uit verschillende populaties werden getrokken, zelfs als ze gelijkwaardig waren op de pretestmetingen. Statistisch significante of grote (een halve standaarddeviatie of meer) verschillen in de kenmerken en settings van kinderen in de interventie- en vergelijkingsgroepen zijn aanwijzingen dat de groepen uit verschillende populaties zijn getrokken, en de studie voldoet niet aan de WWC Evidence Standards. Belangrijke kenmerken en settings om te overwegen wanneer ze worden gerapporteerd zijn

• Percentage kinderen met een handicap of achterstand
• Percentage kinderen met een specifiek type of ernst van handicap
• Percentage kinderen met een IEP
• Percentage kinderen uit specifieke programmasettings, zoals Head Start en voorschoolse programma’s op school
• Percentage kinderen uit gezinnen met een lage sociaaleconomische status (SES)

11. Statistische en analytische kwesties

RCT-studies met een laag verloop hoeven geen statistische controles in de analyse te gebruiken, hoewel statistische aanpassing voor goed uitgevoerde RCT’s is toegestaan en kan helpen nauwkeuriger schattingen van de effectgrootte te genereren. Voor RCT’s zullen de schattingen van de effectgrootte worden gecorrigeerd voor verschillen in pre-interventiekarakteristieken op baseline (indien beschikbaar) met behulp van een difference-in-differences methode indien de auteurs niet hebben gecorrigeerd voor pretest (zie bijlage B van het handboek). Naast de door de gelijkwaardigheidsnorm vereiste pre-interventiekenmerken kan in de analyse ook voor andere maatregelen statistisch worden gecorrigeerd, hoewel dit niet vereist is.

Voor de WWC-evaluatie wordt de voorkeur gegeven aan het rapporteren over en berekenen van effectgroottes voor post-interventiegemiddelden die zijn gecorrigeerd voor de pre-interventiemaat. Als een studie zowel gecorrigeerde als niet-gecorrigeerde post-interventiegemiddelden rapporteert, worden in de WWC-evaluatie de gecorrigeerde gemiddelden en niet-gecorrigeerde standaardafwijkingen gerapporteerd. Indien geen gecorrigeerde post-interventiegemiddelden worden gerapporteerd, zullen deze aan de auteurs worden gevraagd.

De statistische significantie van groepsverschillen zal worden herberekend indien (1) de auteurs van de studie geen statistische significantie hebben berekend, (2) de auteurs van de studie geen rekening hebben gehouden met clustering wanneer er een mismatch was tussen de eenheid van toewijzing en de eenheid van analyse, of (3) de auteurs van de studie geen rekening hebben gehouden met meervoudige vergelijkingen indien van toepassing. In het andere geval aanvaardt het beoordelingsteam de berekeningen in de studie.

Wanneer een analyse wordt gerapporteerd die niet overeenkomt (d.w.z. de eenheid van analyse is niet dezelfde als de eenheid van toewijzing) en de auteurs zijn niet in staat om een gecorrigeerde analyse te verstrekken, zullen de door het WWC berekende effectgroottes een statistische correctie voor clustering bevatten. De standaard intra-klasse correlaties die voor dit onderzoek zijn gebruikt, zijn 0,20 voor cognitieve, taal-, alfabetiserings- en rekenresultaten, en 0,10 voor sociaal-emotionele ontwikkeling en gedrag, functionele vaardigheden, en motorische ontwikkeling. Voor een uitleg over de clustercorrectie, zie Appendix C van het WWC Procedures and Standards Handbook.

Wanneer meerdere vergelijkingen worden gemaakt (d.w.z. meerdere uitkomstmaten worden beoordeeld binnen een uitkomstdomein in één studie) en dit niet wordt verantwoord door de auteurs, houdt de WWC rekening met deze meervoudigheid door de gerapporteerde statistische significantie van het effect aan te passen met behulp van de Benjamini-Hochberg correctie. Zie Appendix D van het handboek voor de formules die de WWC gebruikt om te corrigeren voor meervoudige vergelijkingen.

Alle normen gelden zowel voor algemene bevindingen als voor analyses van deelsteekproeven.