II. Paramètres spécifiques du sujet

1. Caractéristiques des interventions admissibles en matière d’éducation de la petite enfance pour les enfants handicapés
2. Éléments de reproductibilité de l’intervention
3. Résultats pour les enfants handicapés
4. Fiabilité et validité des mesures des résultats
5. Intervalle de temps dans lequel les études auraient dû être menées pour être appropriées au rapport d’intervention

.

6. Définir les caractéristiques de la population étudiée
7. Efficacité de l’intervention à travers les sous-groupes d’enfants
8. Efficacité de l’intervention à travers les milieux
9. Attrition
10. Equivalence des groupes
11. Problèmes statistiques et analytiques

Les paramètres suivants spécifient quelles études sont considérées pour les analyses et quels aspects de ces études sont codés pour l’examen.

1. Caractéristiques des interventions admissibles en matière d’éducation de la petite enfance pour les enfants handicapés

Les interventions admissibles ont pour objectif principal d’améliorer les résultats associés à la préparation à l’école des enfants d’âge préscolaire. Les interventions admissibles

• Comprennent des programmes d’études complets et complémentaires, tels que Creative Curriculum, Incredible Years et Big Math for Little Kids ; des pratiques, telles que la lecture dialogique et le décalage temporel ; et des thérapies conçues pour promouvoir la fonction et prévenir les handicaps secondaires, telles que la thérapie d’intégration sensorielle.
• Doit avoir lieu dans une école ou un centre préscolaire, ou si dans d’autres lieux (tels que les milieux cliniques ou les maisons familiales), doit être mis en œuvre sous la direction de ou en collaboration avec une école, une école maternelle ou un programme financé par IDEA.
• Doit avoir été mise en œuvre en 1986 (l’année où la PL 99-457, qui a autorisé la partie C et les services préscolaires pour les enfants handicapés dans le cadre de la partie B, a été adoptée) ou plus tard.
• Doit être reproductible et pouvoir être diffusée.

2. Éléments de reproductibilité de l’intervention

Les caractéristiques importantes d’une intervention qui doivent être documentées dans une étude pour qu’elle puisse être reproduite de manière fiable avec des participants différents, dans d’autres contextes et à d’autres moments sont les suivantes :

• Si l’intervention est de marque ou non.
• Si elle est de marque, les informations sur la façon d’obtenir l’intervention doivent être disponibles. Les interventions de marque ont généralement un développeur externe qui fournit une assistance technique ou vend/distribue l’intervention. Les interventions de marque peuvent être emballées ou être disponibles pour la distribution et l’utilisation au-delà d’un seul site avec une documentation suffisante pour permettre au programme ou à la pratique d’être mis en œuvre par des personnes autres que les développeurs (par exemple, un manuel, un guide du programme ou d’autres instructions suffisamment détaillées pour la mise en œuvre). De plus, les interventions de marque peuvent être protégées par une marque de commerce ou des droits d’auteur.
• Les études sur les interventions qui ne sont pas de marque doivent décrire l’intervention, y compris la ou les compétences visées, l’approche visant à améliorer la ou les compétences, la population cible, les composantes ou les caractéristiques de l’intervention qui ont été mises en œuvre, les caractéristiques des milieux dans lesquels elle a été mise en œuvre, la durée et l’intensité de l’intervention, et les caractéristiques et la formation des personnes qui administrent l’intervention.

3. résultats pour les enfants handicapés

Pour être incluse dans l’examen, une étude doit inclure au moins un résultat pertinent pour l’enfant qui est intentionnellement ciblé par l’intervention et mesuré directement en administrant une évaluation à l’enfant ou en effectuant une observation de l’enfant.

Les résultats pertinents sont ceux qui relèvent des domaines suivants :

• Cognition
• Compétence en communication/langage
• Littérature
• Réussite en mathématiques
• Développement et comportement socio-émotionnels
• Compétences fonctionnelles
• Bien-être physique

L’alignement entre le résultat et l’intervention est un autre facteur pris en compte dans l’examen. Les mesures de résultats qui sont étroitement alignées ou adaptées à l’intervention sont susceptibles de démontrer des tailles d’effet plus importantes que celles qui sont moins étroitement alignées avec l’intervention. Lorsque la mesure des résultats comprend certains des matériaux (tels que des livres ou des passages) utilisés dans l’intervention ou est administrée au groupe d’intervention dans le cadre de l’intervention, on considère qu’elle est trop alignée sur l’intervention. Dans ces situations, le groupe d’intervention peut avoir un avantage injuste sur le groupe témoin, et la taille de l’effet n’est pas une indication juste des effets de l’intervention. Les mesures des résultats qui sont suralignées avec l’intervention ne seront pas incluses dans la détermination des cotes d’une intervention pour cette revue.

Les avantages des interventions éducatives pour la petite enfance pour les enfants handicapés sont censés être conservés bien après la fin de l’intervention. Ainsi, les mesures à la fin d’une intervention, ainsi qu’à tout moment par la suite, sont admissibles. Les mesures prises plusieurs mois ou années après l’intervention peuvent fournir des preuves solides de l’efficacité d’une intervention. Cette revue, cependant, donne la priorité aux résultats du post-test immédiat pour développer les évaluations de l’intervention et les indices d’amélioration parce que ces résultats sont les plus répandus. L’examen comprend des résultats de suivi supplémentaires, lorsqu’ils sont disponibles et appropriés, dans les annexes du rapport.

4. Fiabilité et validité des mesures de résultats

L’étude doit inclure au moins une mesure de résultats pour l’enfant avec des preuves de validité apparente et pour les résultats qui sont des tests ou des échelles, une fiabilité de score suffisante évaluée à l’aide des normes énumérées ici, telles que déterminées par le CME. Si la fiabilité du score de chaque mesure de résultat n’est pas spécifiée dans l’article de recherche, les données de l’éditeur du test ou de l’échelle ou d’autres sources peuvent être utilisées pour établir la fiabilité du score d’une mesure de résultat pour la population étudiée. Si les études n’ont pas analysé la fiabilité du score des mesures de résultats en utilisant les données de l’étude, et que les analyses des éditeurs de tests ou d’autres chercheurs n’ont pas inclus les enfants handicapés, toute autre preuve disponible de la fiabilité du score et de la validité de la mesure pour la population étudiée sera prise en compte, et une décision sur l’adéquation de la mesure de résultats sera prise au cas par cas en consultation avec des experts. Les normes sont

• Fiabilité du score de cohérence interne : minimum de 0,60
• Fiabilité du score de stabilité temporelle/test-retest : minimum de 0,40
• Fiabilité du score inter-évaluateurs : minimum de 0.50 (pourcentage d’accord, corrélation, Kappa)

Si une mesure de résultat est composée de différents tests pour différents enfants de l’échantillon, elle sera considérée comme un résultat valide si les critères suivants sont respectés :

• Les tests prétendent mesurer un construit similaire et ont été standardisés sur une population similaire, comme le reflète le manuel du test ou les études empiriques axées sur le test.
• Les tests doivent répondre aux seuils de fiabilité décrits ci-dessus.
• Il doit y avoir des règles claires pour savoir quel test est administré à quel enfant, et les règles doivent être appliquées de la même manière aux groupes de traitement et de contrôle.
• La distribution des tests administrés au départ et au suivi aux groupes de traitement et de contrôle doit être similaire.

Si les informations nécessaires pour appliquer ces critères ne sont pas disponibles dans l’article, une requête de l’auteur sera initiée pour obtenir ces informations.

5. Intervalle de temps dans lequel les études doivent avoir été menées pour être appropriées au rapport d’intervention

Les études doivent avoir été publiées en 1986 ou plus tard.

6. Définition des caractéristiques de la population de l’étude

Pour être incluse dans la revue, la population d’une étude doit inclure

• des enfants âgés de 3 à 5 ans qui ne sont pas encore inscrits à la maternelle ou des enfants plus âgés qui fréquentent un programme préscolaire. Lorsque les auteurs fournissent des données agrégées pour les enfants du préscolaire et du jardin d’enfants et que les données désagrégées ne sont pas disponibles, l’examen inclura l’étude si au moins 50 % des enfants sont au préscolaire.
• Les enfants handicapés, tels que définis précédemment. Dans les études portant sur les enfants avec et sans handicap, la priorité sera donnée aux résultats concernant le sous-groupe des enfants avec handicap. Toutefois, si au moins 50 % de l’échantillon de l’étude est composé d’enfants handicapés, les résultats globaux peuvent être inclus dans l’examen.
• Enfants qui parlent anglais ou qui ne sont pas de langue maternelle anglaise et qui sont des apprenants de la langue anglaise.
• Les enfants résidant aux États-Unis (y compris les territoires américains et les entités tribales).

7. Efficacité de l’intervention dans des sous-groupes d’enfants

L’efficacité d’une intervention est susceptible de varier parmi les enfants ayant des caractéristiques différentes, et une étude qui teste l’efficacité d’une intervention peut examiner les effets de l’intervention pour des sous-groupes importants d’enfants. Pour les études sur les interventions d’éducation de la petite enfance pour les enfants handicapés, les caractéristiques importantes des sous-groupes comprennent

• Age (3 à 4 ans et 4 à 5 ans)
• Sexe
• Statut socio-économique
• Race/ethnicité
• Statut d’apprenant de la langue anglaise
• Type de handicap

.

• Sévérité du handicap

Lorsqu’une étude répondant aux normes de preuve du CME rapporte les effets de l’intervention pour ces types de sous-groupes et que les analyses de sous-groupes répondent à toutes les normes du CME requises pour les résultats de l’échantillon complet, ces effets et analyses seront inclus dans une annexe au rapport d’intervention.

8. efficacité de l’intervention dans différents contextes

Une étude qui cherche à tester l’efficacité d’une intervention pourrait examiner les effets dans différents contextes. Pour les études sur les interventions d’éducation de la petite enfance pour les enfants d’âge préscolaire ayant un handicap, ces milieux pourraient être définis par

• L’emplacement (urbain, suburbain ou rural)
• Le milieu (centre de garde d’enfants, pré-maternelle en milieu scolaire, Head Start, autre)
• Le type de milieu (ségrégué, inclusif)
• L’éducation, les qualifications ou la formation du personnel (par ex, certification, années d’expérience)

Lorsqu’une étude qui répond aux normes de preuve du CME rapporte les effets de l’intervention séparément pour ces milieux, et que les analyses des résultats par milieu répondent à toutes les normes du CME requises pour les résultats de l’échantillon complet, ces effets et analyses seront inclus dans une annexe au rapport d’intervention.

9. Attrition

Comme décrit dans le Manuel des procédures et normes du CME (version 2.0), le CME est préoccupé par l’attrition globale et différentielle des groupes d’intervention et de comparaison pour les ECR, car les deux contribuent au biais potentiel de l’effet estimé d’une intervention. Le modèle de biais d’attrition développé par le CME sera utilisé pour déterminer si une étude répond aux normes de preuve du CME (voir l’annexe A du manuel).

Lorsque la combinaison des taux d’attrition global et différentiel fait qu’une étude ECR se situe dans la zone verte du diagramme ci-dessous, l’attrition sera considérée comme  » faible  » et le niveau de biais acceptable. Cela reflète l’hypothèse selon laquelle la plupart de l’attrition dans les études sur les interventions éducatives pour la petite enfance destinées aux enfants handicapés est due à des facteurs exogènes, tels que la mobilité des parents et les absences les jours où les évaluations sont effectuées. Cependant, pour les ECR avec des combinaisons de taux d’attrition globaux et différentiels dans la zone rouge, l’attrition sera considérée comme « élevée » et aura potentiellement des niveaux élevés de biais et devra donc démontrer l’équivalence.

De nombreuses études examinées par le CME sont basées sur des conceptions à plusieurs niveaux. Un biais peut être généré non seulement par la perte de grappes (comme les écoles), mais aussi par les membres de l’échantillon au sein des grappes (comme les élèves), si ces membres de l’échantillon s’attrapent en raison de leur statut de traitement. La norme d’attrition s’applique aux deux niveaux. Pour satisfaire à la norme, une étude doit d’abord réussir au niveau de la grappe, en utilisant la limite d’attrition définie ci-dessus. Ensuite, l’étude doit réussir au niveau des sous-grappes, en utilisant à nouveau la limite d’attrition définie ci-dessus, avec une attrition basée uniquement sur les grappes encore dans l’échantillon. Autrement dit, le dénominateur pour le calcul de l’attrition au niveau des sous-groupes ne comprend que les membres de l’échantillon dans les écoles ou les classes qui restent dans l’étude après l’attrition des grappes.

10. Équivalence des groupes

Si la conception de l’étude est un ECR avec des niveaux élevés d’attrition ou un QED, l’étude doit démontrer l’équivalence de base des groupes d’intervention et de comparaison pour l’échantillon analytique. La responsabilité de démontrer l’équivalence dans ces études incombe à l’auteur. Un rapport suffisant des données pré-intervention doit être inclus dans le rapport d’étude (ou obtenu de l’auteur de l’étude) pour permettre à l’équipe de revue de tirer des conclusions sur l’équivalence des groupes d’intervention et de comparaison. Les caractéristiques pré-intervention peuvent inclure la ou les mesures de résultats administrées avant l’intervention ou d’autres mesures qui ne sont pas les mêmes que la ou les mesures de résultats, mais qui sont fortement liées à celles-ci.

Pour ce domaine thématique, il est possible qu’une étude réponde aux normes de preuve dans un ou plusieurs domaines et pas dans d’autres. Ainsi, les règles pour établir l’équivalence de la base de référence doivent être appliquées dans chaque domaine.

Les groupes sont considérés comme équivalents si les différences rapportées dans les caractéristiques pré-intervention des groupes sont inférieures ou égales à un quart de l’écart type groupé dans l’échantillon, indépendamment de la signification statistique. Cependant, si les différences sont supérieures à 0,05 écart-type et inférieures ou égales à un quart de l’écart-type regroupé dans l’échantillon, l’analyse doit contrôler analytiquement la ou les caractéristiques pré-intervention au niveau individuel sur lesquelles les groupes diffèrent. Si les différences pré-intervention sont supérieures à 0,25 pour l’une des caractéristiques énumérées, l’étude ne répond pas aux normes.

Compte tenu du potentiel de biais de sélection dans les QED, la possibilité que les groupes d’intervention et de comparaison aient été tirés de populations différentes est également une préoccupation. Des différences fondamentales dans les milieux d’où proviennent les groupes d’intervention et de comparaison dans une étude QED et des différences de base dans les caractéristiques des groupes d’intervention et de comparaison peuvent indiquer que les enfants des deux groupes proviennent de populations différentes, même s’ils étaient équivalents sur les mesures de prétest. Des différences statistiquement significatives ou importantes (un demi-écart-type ou plus) dans les caractéristiques et les environnements des enfants dans les groupes d’intervention et de comparaison sont la preuve que les groupes ont été tirés de populations différentes, et l’étude ne répond pas aux normes de preuve du CME. Les caractéristiques et les cadres importants à prendre en compte lorsqu’ils sont signalés comprennent

• Pourcentage d’enfants présentant un handicap ou un retard
• Pourcentage d’enfants présentant un type ou une gravité spécifique de handicap
• Pourcentage d’enfants ayant un PEI
• Pourcentage d’enfants provenant de cadres de programmes spécifiques, tels que Head Start et les programmes préscolaires en milieu scolaire
• Pourcentage d’enfants issus de familles de faible statut socio-économique (SES)

11. Questions statistiques et analytiques

Les études ECR avec une faible attrition n’ont pas besoin d’utiliser des contrôles statistiques dans l’analyse, bien que l’ajustement statistique pour les ECR bien mis en œuvre soit autorisé et puisse aider à générer des estimations plus précises de la taille de l’effet. Pour les ECR, les estimations de l’ampleur de l’effet seront ajustées pour tenir compte des différences dans les caractéristiques pré-intervention au départ (si elles sont disponibles) en utilisant une méthode de différence dans les différences si les auteurs n’ont pas ajusté pour le prétest (voir l’annexe B du manuel). Au-delà des caractéristiques pré-intervention requises par la norme d’équivalence, un ajustement statistique peut être effectué pour d’autres mesures dans l’analyse également, bien qu’elles ne soient pas requises.

Pour l’examen du CME, la préférence est de rapporter et de calculer les tailles d’effet pour les moyennes post-intervention ajustées pour la mesure pré-intervention. Si une étude rapporte à la fois des moyennes post-intervention non ajustées et ajustées, la revue du CME rapportera les moyennes ajustées et les écarts types non ajustés. Si les moyennes ajustées post-intervention ne sont pas rapportées, elles seront demandées aux auteurs.

La signification statistique des différences entre les groupes sera recalculée si (1) les auteurs de l’étude n’ont pas calculé la signification statistique, (2) les auteurs de l’étude n’ont pas tenu compte du regroupement lorsqu’il y avait un décalage entre l’unité d’affectation et l’unité d’analyse, ou (3) les auteurs de l’étude n’ont pas tenu compte des comparaisons multiples lorsque cela était approprié. Dans le cas contraire, l’équipe d’examen acceptera les calculs fournis dans l’étude.

Lorsqu’une analyse mal alignée est signalée (c’est-à-dire que l’unité d’analyse n’est pas la même que l’unité d’affectation) et que les auteurs ne sont pas en mesure de fournir une analyse corrigée, les tailles d’effet calculées par le CME intégreront un ajustement statistique pour le regroupement. Les corrélations intra-classe par défaut utilisées pour cette revue sont de 0,20 pour les résultats en matière de cognition, de langage, d’alphabétisation et de mathématiques, et de 0,10 pour les résultats en matière de développement socio-émotionnel et de comportement, de capacités fonctionnelles et de développement moteur. Pour une explication sur la correction de regroupement, voir l’annexe C du Manuel des procédures et normes du CME.

Lorsque des comparaisons multiples sont effectuées (c’est-à-dire que plusieurs mesures de résultats sont évaluées dans un domaine de résultats dans une étude) et ne sont pas prises en compte par les auteurs, le CME tient compte de cette multiplicité en ajustant la signification statistique rapportée de l’effet en utilisant la correction de Benjamini-Hochberg. Voir l’annexe D du manuel pour les formules que le WWC utilise pour ajuster les comparaisons multiples.

Toutes les normes s’appliquent aux résultats globaux ainsi qu’aux analyses de sous-échantillons.