II. Spezifische Themenparameter

1. Merkmale geeigneter frühkindlicher Bildungsinterventionen für Kinder mit Behinderungen
2. Elemente der Reproduzierbarkeit von Interventionen
3. Ergebnisse für Kinder mit Behinderungen
4. Verlässlichkeit und Validität von Ergebnismessungen
5. Zeitintervall, in dem Studien durchgeführt worden sein sollten, um für den Interventionsbericht geeignet zu sein
6. Definierende Charakteristika der Studienpopulation
7. Wirksamkeit der Intervention in verschiedenen Untergruppen von Kindern
8. Wirksamkeit der Intervention in verschiedenen Settings
9. Attrition
10. Gruppenäquivalenz
11. Statistische und analytische Fragen

Die folgenden Parameter legen fest, welche Studien für die Analysen berücksichtigt werden und welche Aspekte dieser Studien für die Überprüfung kodiert werden.

1. Merkmale der förderfähigen frühkindlichen Bildungsinterventionen für Kinder mit Behinderungen

Förderfähige Interventionen haben als primäres Ziel die Verbesserung der Ergebnisse im Zusammenhang mit der Schulreife von Vorschulkindern. Zu den förderfähigen Maßnahmen

• gehören umfassende und ergänzende Lehrpläne wie Creative Curriculum, Incredible Years und Big Math for Little Kids, Praktiken wie Dialogisches Lesen und Zeitverzögerung sowie Therapien zur Förderung von Funktionen und zur Verhinderung sekundärer Behinderungen wie die sensorische Integrationstherapie.
• Die Maßnahmen müssen in einer Schule oder einem Vorschulzentrum stattfinden, oder, wenn sie an anderen Orten stattfinden (z. B. in Kliniken oder bei Familien), unter der Leitung von oder in Zusammenarbeit mit einer Schule, einer Vorschule oder einem durch IDEA finanzierten Programm durchgeführt werden.
• Muss 1986 (dem Jahr der Verabschiedung von PL 99-457, der Teil C und Vorschulleistungen für Kinder mit Behinderungen im Rahmen von Teil B genehmigte) oder später durchgeführt worden sein.
• Muss replizierbar sein und verbreitet werden können.

2. Elemente der Replizierbarkeit einer Intervention

Zu den wichtigen Merkmalen einer Intervention, die in einer Studie dokumentiert werden müssen, damit sie mit anderen Teilnehmern, in anderen Settings und zu anderen Zeiten zuverlässig repliziert werden kann, gehören die folgenden:

• Ob es sich um eine Markenintervention handelt oder nicht.
• Wenn es sich um eine Markenintervention handelt, müssen Informationen darüber verfügbar sein, wie man die Intervention erhält. Markeninterventionen haben in der Regel einen externen Entwickler, der technische Unterstützung leistet oder die Intervention verkauft/vertreibt. Markeninterventionen können entweder in Paketen verpackt oder anderweitig für den Vertrieb und die Nutzung über einen einzelnen Standort hinaus verfügbar sein, wobei eine ausreichende Dokumentation vorhanden sein muss, damit der Lehrplan oder die Praxis auch von anderen Personen als den Entwicklern umgesetzt werden kann (z. B. ein Handbuch, ein Lehrplanleitfaden oder andere ausreichend detaillierte Anweisungen für die Umsetzung).
• Studien über Interventionen, die nicht unter einem Markennamen laufen, müssen die Intervention beschreiben, einschließlich der angestrebten Fähigkeit(en), des Ansatzes zur Verbesserung der Fähigkeit(en), der Zielpopulation, der Komponenten oder Merkmale der Intervention, die implementiert wurden, der Merkmale des Umfelds, in dem die Intervention durchgeführt wurde, der Dauer und Intensität der Intervention sowie der Merkmale und Ausbildung der Personen, die die Intervention durchführen.

3. Ergebnisse für Kinder mit Behinderungen

Um in die Überprüfung einbezogen zu werden, muss eine Studie mindestens ein relevantes Ergebnis für das Kind beinhalten, das absichtlich durch die Intervention angestrebt und direkt durch eine Bewertung des Kindes oder eine Beobachtung des Kindes gemessen wird.

Relevante Ergebnisse sind solche, die in die folgenden Bereiche fallen:

• Kognition
• Kommunikation/Sprachkompetenz
• Lesen und Schreiben
• Mathematische Leistungen
• Sozial-emotionale Entwicklung und Verhalten
• Funktionelle Fähigkeiten
• Körperliches Wohlbefinden

Ein weiterer Faktor, der bei der Überprüfung berücksichtigt wird, ist die Übereinstimmung zwischen dem Ergebnis und der Intervention. Ergebnismessungen, die eng auf die Intervention abgestimmt oder zugeschnitten sind, weisen wahrscheinlich größere Effektgrößen auf als solche, die weniger eng auf die Intervention abgestimmt sind. Wenn die Ergebnismessung einige der gleichen Materialien (z. B. Bücher oder Passagen) enthält, die in der Intervention verwendet werden, oder wenn sie der Interventionsgruppe als Teil der Intervention verabreicht wird, wird sie als zu stark auf die Intervention abgestimmt betrachtet. In diesen Fällen kann die Interventionsgruppe einen unfairen Vorteil gegenüber der Vergleichsgruppe haben, und die Effektgröße ist kein angemessener Hinweis auf die Auswirkungen der Intervention. Ergebnismaße, die zu stark auf die Intervention ausgerichtet sind, werden bei der Ermittlung der Bewertung einer Intervention für diese Überprüfung nicht berücksichtigt.

Die Vorteile frühkindlicher Bildungsmaßnahmen für Kinder mit Behinderungen sollen weit über das Ende der Maßnahme hinaus erhalten bleiben. Daher sind Messungen am Ende einer Intervention sowie zu einem beliebigen Zeitpunkt danach zulässig. Maßnahmen, die mehrere Monate oder Jahre nach der Intervention durchgeführt werden, können starke Belege für die Wirksamkeit einer Intervention liefern. In dieser Übersicht werden jedoch vorrangig Ergebnisse unmittelbar nach dem Test für die Entwicklung von Interventionsbewertungen und Verbesserungsindizes herangezogen, da diese Ergebnisse am häufigsten vorkommen. Die Überprüfung umfasst zusätzliche Nachuntersuchungsergebnisse, wenn diese verfügbar und angemessen sind, in den Anhängen des Berichts.

4. Zuverlässigkeit und Validität der Ergebnismessungen

Die Studie muss mindestens eine Ergebnismessung für Kinder enthalten, die nachweislich valide ist, und für Ergebnismessungen, bei denen es sich um Tests oder Skalen handelt, eine ausreichende Zuverlässigkeit der Ergebnisse, die anhand der hier aufgeführten Standards bewertet wird, wie vom WWC festgelegt. Wenn die Punktverlässlichkeit der einzelnen Ergebnismessungen nicht im Forschungsartikel angegeben ist, können Daten vom Herausgeber des Tests oder der Skala oder andere Quellen verwendet werden, um die Punktverlässlichkeit einer Ergebnismessung für die Studienpopulation zu ermitteln. Wenn in Studien die Zuverlässigkeit von Ergebnismessungen nicht anhand von Studiendaten analysiert wurde und die Analysen von Testherausgebern oder anderen Forschern keine Kinder mit Behinderungen einschlossen, werden alle anderen verfügbaren Belege für die Zuverlässigkeit und Gültigkeit der Messung für die Studienpopulation berücksichtigt, und eine Entscheidung über die Angemessenheit der Ergebnismessung wird von Fall zu Fall in Absprache mit Experten getroffen. Die Standards sind

• Zuverlässigkeit der internen Konsistenz des Scores: mindestens 0,60
• Zuverlässigkeit der zeitlichen Stabilität/Test-Retest-Scores: mindestens 0,40
• Zuverlässigkeit der Inter-Rater-Scores: mindestens 0.50 (prozentuale Übereinstimmung, Korrelation, Kappa)

Wenn ein Ergebnismaß aus verschiedenen Tests für verschiedene Kinder in der Stichprobe besteht, wird es als gültiges Ergebnis angesehen, wenn die folgenden Kriterien erfüllt sind:

• Die Tests geben vor, ein ähnliches Konstrukt zu messen und wurden an einer ähnlichen Population standardisiert, wie im Testmanual oder in empirischen Studien zu dem Test angegeben.
• Die Tests müssen die oben beschriebenen Schwellenwerte für die Reliabilität erfüllen.
• Es muss klare Regeln dafür geben, welcher Test welchem Kind verabreicht wird, und die Regeln müssen auf die gleiche Weise auf die Behandlungs- und die Kontrollgruppe angewandt werden.
• Die Verteilung der Tests, die zu Beginn und bei der Nachuntersuchung an die Behandlungs- und die Kontrollgruppe verabreicht werden, muss ähnlich sein.

Wenn die für die Anwendung dieser Kriterien erforderlichen Informationen im Artikel nicht verfügbar sind, wird eine Autorenanfrage eingeleitet, um die Informationen zu erhalten.

5. Zeitintervall, in dem die Studien durchgeführt wurden, um für den Interventionsbericht geeignet zu sein

Die Studien müssen im Jahr 1986 oder später veröffentlicht worden sein.

6. Definition der Merkmale der Studienpopulation

Um in die Überprüfung einbezogen zu werden, muss die Population einer Studie

• Kinder im Alter von 3 bis 5 Jahren umfassen, die noch nicht in den Kindergarten gehen oder ältere Kinder, die ein Vorschulprogramm besuchen. Wenn die Autoren aggregierte Daten sowohl für Vorschul- als auch für Kindergartenkinder vorlegen und disaggregierte Daten nicht verfügbar sind, wird die Studie in die Überprüfung einbezogen, wenn mindestens 50 % der Kinder in der Vorschule sind.
• Kinder mit Behinderungen, wie zuvor definiert. Bei Studien über Kinder mit und ohne Behinderungen wird den Ergebnissen für die Untergruppe der Kinder mit Behinderungen Vorrang eingeräumt. Wenn jedoch mindestens 50 % der Studienstichprobe aus Kindern mit Behinderungen besteht, können die Gesamtergebnisse in die Überprüfung einbezogen werden.
• Kinder, die Englisch sprechen oder deren Muttersprache nicht Englisch ist und die die englische Sprache lernen.
• Kinder mit Wohnsitz in den Vereinigten Staaten (einschließlich US-Territorien und Stammesgebiete).

7. Wirksamkeit der Intervention in Untergruppen von Kindern

Die Wirksamkeit einer Intervention variiert wahrscheinlich bei Kindern mit unterschiedlichen Merkmalen, und eine Studie, die die Wirksamkeit einer Intervention untersucht, kann die Auswirkungen der Intervention für wichtige Untergruppen von Kindern untersuchen. Für Studien über frühkindliche Bildungsmaßnahmen für Kinder mit Behinderungen, wichtige Untergruppenmerkmale

• Alter (3 bis 4 und 4 bis 5 Jahre)
• Geschlecht
• Sozioökonomischer Status
• Rasse/ethnische Zugehörigkeit
• Status des englischen Sprachschülers
• Art der Behinderung
• Schweregrad der Behinderung

Wenn eine Studie, die die WWC-Evidenzstandards erfüllt, Interventionseffekte für diese Untergruppentypen berichtet und die Untergruppenanalysen alle WWC-Standards erfüllen, die für die Ergebnisse der gesamten Stichprobe erforderlich sind, werden diese Effekte und Analysen in einen Anhang zum Interventionsbericht aufgenommen.

8. Effektivität der Intervention in verschiedenen Settings

Eine Studie, die die Effektivität einer Intervention testen will, kann Effekte in verschiedenen Settings untersuchen. Bei Studien über frühkindliche Bildungsmaßnahmen für Kinder mit Behinderungen im Vorschulalter können diese Settings durch

• Standort (städtisch, vorstädtisch oder ländlich)
• Setting (Kindertagesstätte, schulischer Vorkindergarten, Head Start, andere)
• Art des Settings (getrennt, inklusiv)
• Ausbildung, Qualifikation oder Training des Personals (z.B., Zertifizierung, langjährige Erfahrung)

Wenn eine Studie, die die WWC-Evidenzstandards erfüllt, Interventionseffekte separat für diese Settings berichtet und die Analysen der Ergebnisse nach Setting alle WWC-Standards erfüllen, die für die Ergebnisse der vollständigen Stichprobe erforderlich sind, werden diese Effekte und Analysen in einen Anhang zum Interventionsbericht aufgenommen.

9. Attrition

Wie im WWC Procedures and Standards Handbook (Version 2.0) beschrieben, ist der WWC besorgt über die generelle und differentielle Attrition in den Interventions- und Vergleichsgruppen von RCTs, da beide zur potentiellen Verzerrung des geschätzten Effekts einer Intervention beitragen. Das vom WWC entwickelte Modell für die Verzerrung durch Abbruch wird verwendet, um festzustellen, ob eine Studie den WWC-Evidenzstandards entspricht (siehe Anhang A des Handbuchs).

Wenn eine RCT-Studie aufgrund der Kombination von Gesamt- und differenziellen Abbruchraten in den grünen Bereich des unten abgebildeten Diagramms fällt, wird der Abbruch als „niedrig“ und der Grad der Verzerrung als akzeptabel angesehen. Dies spiegelt die Annahme wider, dass die meisten Abbrüche in Studien über frühkindliche Bildungsmaßnahmen für Kinder mit Behinderungen auf exogene Faktoren zurückzuführen sind, wie z. B. die Mobilität der Eltern und Abwesenheit an den Tagen, an denen die Untersuchungen durchgeführt werden. Bei RCTs mit Kombinationen von Gesamt- und differenziellen Abbruchraten im roten Bereich wird der Abbruch jedoch als „hoch“ eingestuft und weist möglicherweise ein hohes Maß an Verzerrung auf und muss daher Äquivalenz nachweisen.

Viele der vom WWC überprüften Studien basieren auf Designs mit mehreren Ebenen. Eine Verzerrung kann nicht nur durch den Verlust von Clustern (z. B. Schulen) entstehen, sondern auch durch Stichprobenmitglieder innerhalb der Cluster (z. B. Schüler), wenn diese Stichprobenmitglieder aufgrund ihres Behandlungsstatus ausscheiden. Der Abgangsstandard gilt für beide Ebenen. Um den Standard zu erfüllen, muss eine Studie zunächst auf Clusterebene bestehen, indem sie die oben festgelegte Schwundgrenze anwendet. Zweitens muss die Studie auf der Subcluster-Ebene bestehen, wiederum unter Verwendung der oben festgelegten Schwundgrenze, wobei der Schwund nur auf den Clustern basiert, die sich noch in der Stichprobe befinden. Das bedeutet, dass der Nenner für die Berechnung der Subcluster-Abweichung nur Stichprobenmitglieder an Schulen oder Klassenräumen umfasst, die nach der Cluster-Abweichung in der Studie verbleiben.

10. Gruppenäquivalenz

Wenn es sich bei dem Studiendesign um eine RCT mit hoher Attrition oder eine QED handelt, muss die Studie die Äquivalenz der Interventions- und der Vergleichsgruppe für die Analysestichprobe zu Beginn nachweisen. Die Verantwortung für den Nachweis der Gleichwertigkeit liegt bei diesen Studien beim Autor. Der Studienbericht sollte ausreichende Angaben zu den Daten vor der Intervention enthalten (oder vom Studienautor eingeholt werden), damit das Überprüfungsteam Schlussfolgerungen über die Gleichwertigkeit der Interventions- und Vergleichsgruppen ziehen kann. Zu den Merkmalen vor der Intervention können die vor der Intervention durchgeführte(n) Ergebnismessung(en) oder andere Messungen gehören, die nicht mit der/den Ergebnismessung(en) identisch sind, aber in einem engen Zusammenhang damit stehen.

In diesem Themenbereich ist es möglich, dass eine Studie die Evidenzstandards in einem oder mehreren Bereichen erfüllt und in anderen nicht. Daher sollten die Regeln zur Feststellung der Gleichwertigkeit der Ausgangsdaten innerhalb jedes Bereichs angewendet werden.

Gruppen gelten als gleichwertig, wenn die berichteten Unterschiede in den Merkmalen der Gruppen vor der Intervention weniger als oder gleich einem Viertel der gepoolten Standardabweichung in der Stichprobe sind, unabhängig von der statistischen Signifikanz. Sind die Unterschiede jedoch größer als 0,05 Standardabweichungen und kleiner als oder gleich einem Viertel der gepoolten Standardabweichung in der Stichprobe, muss die Analyse analytisch für das/die individuelle(n) Merkmal(e) vor der Intervention kontrollieren, bei denen sich die Gruppen unterscheiden. Wenn die Unterschiede vor der Intervention für eines der aufgeführten Merkmale größer als 0,25 sind, erfüllt die Studie nicht die Standards.

Angesichts des Potenzials für Selektionsverzerrungen bei QEDs ist auch die Möglichkeit, dass die Interventions- und die Vergleichsgruppe aus unterschiedlichen Populationen stammen, ein Problem. Grundlegende Unterschiede in den Settings, aus denen die Interventions- und die Vergleichsgruppe in einer QED-Studie stammen, sowie Ausgangsunterschiede in den Merkmalen der Interventions- und der Vergleichsgruppe können darauf hindeuten, dass die Kinder in den beiden Gruppen aus unterschiedlichen Populationen stammen, selbst wenn sie bei den Vortestmaßen gleichwertig waren. Statistisch signifikante oder große (eine halbe Standardabweichung oder mehr) Unterschiede in den Merkmalen und Einstellungen der Kinder in der Interventions- und der Vergleichsgruppe sind ein Hinweis darauf, dass die Gruppen aus unterschiedlichen Populationen stammen, und die Studie entspricht nicht den WWC-Evidenzstandards. Wichtige Merkmale und Settings, die berücksichtigt werden sollten, wenn sie berichtet werden, sind

• Anteil der Kinder mit einer Behinderung oder Verzögerung
• Anteil der Kinder mit einer bestimmten Art oder Schwere der Behinderung
• Anteil der Kinder mit einem IEP
• Anteil der Kinder aus bestimmten Programmsettings, wie Head Start und schulische Vorschulprogramme
• Anteil der Kinder aus Familien mit niedrigem sozioökonomischem Status (SES)

11. Statistische und analytische Fragen

RCT-Studien mit geringer Fluktuation müssen in der Analyse keine statistischen Kontrollen verwenden, obwohl eine statistische Anpassung für gut durchgeführte RCTs zulässig ist und dazu beitragen kann, genauere Schätzungen der Effektgröße zu erhalten. Bei RCTs werden die Effektgrößenschätzungen für Unterschiede in den Merkmalen vor der Intervention zu Beginn der Studie (falls verfügbar) mit Hilfe einer Differenz-in-Differenzen-Methode angepasst, wenn die Autoren keine Anpassung für den Vortest vorgenommen haben (siehe Anhang B des Handbuchs). Neben den vom Äquivalenzstandard geforderten Merkmalen vor der Intervention kann in der Analyse auch eine statistische Anpassung für andere Maße vorgenommen werden, obwohl dies nicht erforderlich ist.

Für die WWC-Überprüfung wird bevorzugt über Effektgrößen für Mittelwerte nach der Intervention berichtet und diese berechnet, die für das Maß vor der Intervention bereinigt wurden. Wenn eine Studie sowohl unbereinigte als auch bereinigte Mittelwerte nach der Intervention angibt, werden bei der WWC-Überprüfung die bereinigten Mittelwerte und unbereinigten Standardabweichungen angegeben. Die statistische Signifikanz von Gruppenunterschieden wird neu berechnet, wenn (1) die Studienautoren die statistische Signifikanz nicht berechnet haben, (2) die Studienautoren die Clusterbildung nicht berücksichtigt haben, wenn es eine Diskrepanz zwischen der Zuweisungseinheit und der Analyseeinheit gab, oder (3) die Studienautoren gegebenenfalls keine Mehrfachvergleiche berücksichtigt haben. Andernfalls akzeptiert das Review-Team die in der Studie angegebenen Berechnungen.

Wenn eine falsch ausgerichtete Analyse berichtet wird (d.h. die Analyseeinheit ist nicht dieselbe wie die Zuweisungseinheit) und die Autoren nicht in der Lage sind, eine korrigierte Analyse vorzulegen, werden die vom WWC berechneten Effektgrößen eine statistische Anpassung für Clustering enthalten. Die für diese Überprüfung verwendeten Standardkorrelationen innerhalb einer Klasse betragen 0,20 für kognitive, sprachliche, literarische und mathematische Ergebnisse und 0,10 für sozial-emotionale Entwicklung und Verhalten, funktionale Fähigkeiten und motorische Entwicklungsergebnisse. Eine Erläuterung der Clustering-Korrektur finden Sie in Anhang C des WWC-Handbuchs für Verfahren und Standards.

Wenn mehrere Vergleiche durchgeführt werden (d. h. mehrere Ergebnismessungen innerhalb eines Ergebnisbereichs in einer Studie) und von den Autoren nicht berücksichtigt werden, berücksichtigt der WWC diese Vielfalt, indem er die gemeldete statistische Signifikanz des Effekts mithilfe der Benjamini-Hochberg-Korrektur anpasst. Siehe Anhang D des Handbuchs für die Formeln, die der WWC zur Anpassung an Mehrfachvergleiche verwendet.

Alle Standards gelten sowohl für Gesamtergebnisse als auch für Analysen von Teilstichproben.