II. Parámetros temáticos específicos

1. Características de las intervenciones elegibles de educación infantil para niños con discapacidades
2. Elementos de replicabilidad de la intervención
3. Resultados de los niños con discapacidades
4. Fiabilidad y validez de las medidas de resultado
5. Intervalo de tiempo en el que los estudios deberían haberse realizado para ser apropiados para el informe de la intervención

.

6. Características definitorias de la población de estudio
7. Eficacia de la intervención a través de subgrupos de niños
8. Eficacia de la intervención a través de entornos
9. Atrición
10. Equivalencia de grupos
11. Cuestiones estadísticas y analíticas

Los siguientes parámetros especifican qué estudios se consideran para los análisis y qué aspectos de esos estudios se codifican para la revisión.

1. Características de las intervenciones elegibles de educación infantil para niños con discapacidades

Las intervenciones elegibles tienen como objetivo principal mejorar los resultados asociados a la preparación escolar de los niños preescolares. Las intervenciones elegibles

• Incluyen planes de estudio integrales y complementarios, como Creative Curriculum, Incredible Years y Big Math for Little Kids; prácticas, como Dialogic Reading y time delay; y terapias diseñadas para promover la función y prevenir discapacidades secundarias, como la terapia de integración sensorial.
• Debe tener lugar en un entorno escolar o preescolar basado en un centro, o si en otros lugares (como entornos clínicos o casas de familia), debe ser implementado bajo la dirección de o en colaboración con una escuela, preescolar o programa financiado a través de IDEA.
• Debe haber sido implementado en 1986 (el año en que se aprobó el PL 99-457, que autorizó la Parte C y los servicios preescolares para niños con discapacidades bajo la Parte B) o después.
• Debe ser replicable y capaz de ser difundido.

2. Elementos de replicabilidad de la intervención

Las características importantes de una intervención que deben documentarse en un estudio para que pueda replicarse de forma fiable con diferentes participantes, en otros entornos y en otros momentos son las siguientes:

• Si la intervención es de marca o no.
• Si es de marca, la información sobre cómo obtener la intervención debe estar disponible. Las intervenciones de marca suelen tener un desarrollador externo que proporciona asistencia técnica o vende/distribuye la intervención. Las intervenciones de marca pueden estar empaquetadas o disponibles para su distribución y uso más allá de un único centro, con documentación suficiente para permitir que el plan de estudios o la práctica sean implementados por personas distintas de los desarrolladores (por ejemplo, tiene un manual, una guía curricular u otras instrucciones suficientemente detalladas para su implementación). Además, las intervenciones de marca pueden ser marcas registradas o derechos de autor.
• Los estudios de intervenciones que no son de marca deben describir la intervención, incluyendo la(s) habilidad(es) a la(s) que se dirige, el enfoque para mejorar la(s) habilidad(es), la población objetivo, los componentes o características de la intervención que se implementaron, las características de los entornos en los que se implementó, la duración e intensidad de la intervención, y las características y la formación de los individuos que administran la intervención.

3. Resultados de los niños con discapacidades

Para ser incluido en la revisión, un estudio debe incluir al menos un resultado relevante del niño al que se dirige intencionadamente la intervención y que se mide directamente mediante la administración de una evaluación al niño o la realización de una observación del mismo.

Los resultados relevantes son aquellos que entran en los siguientes dominios:

• Cognición
• Competencias de comunicación/lenguaje
• Alfabetización
• Los logros en matemáticas
• Desarrollo socioemocional y comportamiento
• Habilidades funcionales
• Bienestar físico

La alineación entre el resultado y la intervención es otro factor considerado en la revisión. Es probable que las medidas de resultado que están estrechamente alineadas o adaptadas a la intervención demuestren tamaños del efecto mayores que las que están menos alineadas con la intervención. Cuando la medida de resultado incluye algunos de los mismos materiales (como libros o pasajes) que se utilizan en la intervención o se administran al grupo de intervención como parte de la misma, se considera que está sobrealineada con la intervención. En estas situaciones, el grupo de intervención puede tener una ventaja injusta sobre el grupo de comparación, y el tamaño del efecto no es una indicación justa de los efectos de la intervención. Las medidas de resultado que están sobrealineadas con la intervención no se incluirán en la determinación de las calificaciones de una intervención para esta revisión.

Los beneficios de las intervenciones educativas en la primera infancia para los niños con discapacidades están pensados para ser retenidos mucho más allá del final de la intervención. Por lo tanto, las medidas al final de una intervención, así como en cualquier momento posterior, son admisibles. Las medidas tomadas varios meses o años después de la intervención pueden proporcionar pruebas sólidas de la eficacia de una intervención. Esta revisión, sin embargo, da prioridad a los resultados inmediatos de las pruebas posteriores para desarrollar las calificaciones de la intervención y los índices de mejora porque estos resultados son los más frecuentes. La revisión incluye hallazgos de seguimiento adicionales, cuando están disponibles y son apropiados, en los apéndices del informe.

4. Fiabilidad y validez de las medidas de resultado

El estudio debe incluir al menos una medida de resultado del niño con evidencia de validez aparente y, para los resultados que son pruebas o escalas, suficiente fiabilidad de la puntuación evaluada utilizando los estándares enumerados aquí según lo determinado por el WWC. Si la fiabilidad de la puntuación de cada medida de resultado no se especifica en el artículo de investigación, se pueden utilizar los datos del editor del test o de la escala o de otras fuentes para establecer la fiabilidad de la puntuación de una medida de resultado para la población del estudio. Si los estudios no analizaron la fiabilidad de la puntuación de las medidas de resultado utilizando los datos del estudio, y los análisis de los editores de las pruebas u otros investigadores no incluyeron a niños con discapacidades, se considerará cualquier otra evidencia disponible sobre la fiabilidad de la puntuación y la validez de la medida para la población del estudio, y se tomará una decisión sobre la idoneidad de la medida de resultado en cada caso en consulta con expertos. Los estándares son

• Fiabilidad de la puntuación de consistencia interna: mínimo de 0,60
• Fiabilidad de la puntuación de estabilidad temporal/test-retest: mínimo de 0,40
• Fiabilidad de la puntuación entre evaluadores: mínimo de 0.50 (porcentaje de acuerdo, correlación, Kappa)

Si una medida de resultado se compone de diferentes pruebas para diferentes niños de la muestra, se considerará un resultado válido si se cumplen los siguientes criterios:

• Las pruebas pretenden medir un constructo similar y fueron estandarizadas en una población similar, como se refleja en el manual de la prueba o en los estudios empíricos centrados en la prueba.
• Los tests deben cumplir los umbrales de fiabilidad descritos anteriormente.
• Deben existir reglas claras sobre qué test se administra a cada niño, y las reglas deben aplicarse de la misma manera a los grupos de tratamiento y de control.
• La distribución de los tests administrados al inicio y en el seguimiento a los grupos de tratamiento y de control debe ser similar.

Si la información necesaria para aplicar estos criterios no está disponible en el artículo, se iniciará una consulta al autor para obtener la información.

5. Intervalo de tiempo en el que deben haberse realizado los estudios para que sean apropiados para el informe de intervención

Los estudios deben haber sido publicados en 1986 o posteriormente.

6. Definición de las características de la población del estudio

Para ser incluida en la revisión, la población de un estudio debe incluir

• Niños de entre 3 y 5 años que aún no estén matriculados en el jardín de infancia o niños mayores que asistan a un programa preescolar. Cuando los autores proporcionen datos agregados tanto de niños de preescolar como de jardín de infancia y no se disponga de datos desglosados, la revisión incluirá el estudio si al menos el 50% de los niños están en preescolar.
• Niños con discapacidades, según la definición anterior. En los estudios de niños con y sin discapacidad, se dará prioridad a los resultados del subgrupo de niños con discapacidad. Sin embargo, si al menos el 50% de la muestra del estudio está compuesta por niños con discapacidades, los resultados globales pueden incluirse en la revisión.
• Niños que hablan inglés o que son hablantes no nativos de inglés que están aprendiendo el idioma.
• Niños que residen en los Estados Unidos (incluidos los territorios y las entidades tribales de los Estados Unidos).

7. Eficacia de la intervención en subgrupos de niños

Es probable que la eficacia de una intervención varíe entre niños con diferentes características, y un estudio que ponga a prueba la eficacia de una intervención puede examinar los efectos de la misma para subgrupos importantes de niños. En el caso de los estudios sobre intervenciones educativas en la primera infancia para niños con discapacidades, las características importantes de los subgrupos incluyen

• Edad (3 a 4 y 4 a 5)
• Género
• Estado socioeconómico
• Raza/etnia
• Estado de aprendizaje del idioma inglés
• Tipo de discapacidad
• Severidad de la discapacidad

Cuando un estudio que cumpla los estándares de evidencia del WWC informe de los efectos de la intervención para estos tipos de subgrupos y los análisis de subgrupos cumplan con todos los estándares del WWC requeridos para los resultados de la muestra completa, estos efectos y análisis se incluirán en un apéndice del informe de la intervención.

8. Eficacia de la intervención a través de los entornos

Un estudio que busca probar la eficacia de una intervención podría examinar los efectos a través de diferentes entornos. En el caso de los estudios sobre intervenciones educativas en la primera infancia para niños preescolares con discapacidades, estos entornos podrían definirse por

• Localización (urbana, suburbana o rural)
• Entorno (centro de cuidado infantil, jardín de infancia basado en la escuela, Head Start, otro)
• Tipo de entorno (segregado, inclusivo)
• Educación, calificaciones o formación del personal (por ejemplo, certificación, años de experiencia)

Cuando un estudio que cumple con los estándares de evidencia del WWC informa de los efectos de la intervención por separado para estos entornos, y los análisis de los resultados por entorno cumplen con todos los estándares del WWC requeridos para los resultados de la muestra completa, estos efectos y análisis se incluirán en un apéndice del informe de la intervención.

9. Desgaste

Como se describe en el Manual de Procedimientos y Normas del WWC (versión 2.0), al WWC le preocupa el desgaste general y diferencial de los grupos de intervención y de comparación para los ECA, ya que ambos contribuyen al sesgo potencial del efecto estimado de una intervención. El modelo de sesgo de deserción desarrollado por el WWC se utilizará para determinar si un estudio cumple los estándares de evidencia del WWC (véase el Apéndice A del manual).

Cuando la combinación de las tasas de deserción global y diferencial hace que un estudio de ECA se sitúe en la zona verde del diagrama que se muestra a continuación, la deserción se considerará «baja» y el nivel de sesgo aceptable. Esto refleja la suposición de que la mayor parte de la deserción en los estudios de intervenciones educativas en la primera infancia para niños con discapacidades se debe a factores exógenos, como la movilidad de los padres y las ausencias en los días en que se realizan las evaluaciones. Sin embargo, para los ECA con combinaciones de tasas de deserción globales y diferenciales en el área roja, la deserción se considerará «alta» y potencialmente tendrá altos niveles de sesgo y, por lo tanto, deberá demostrar la equivalencia.

Muchos estudios revisados por el WWC se basan en diseños con múltiples niveles. El sesgo puede generarse no sólo por la pérdida de grupos (como las escuelas), sino también por los miembros de la muestra dentro de los grupos (como los estudiantes), si esos miembros de la muestra abandonan como resultado de su estado de tratamiento. La norma de desgaste se aplica a ambos niveles. Para cumplir la norma, un estudio debe aprobar primero el nivel de grupo, utilizando el límite de desgaste establecido anteriormente. En segundo lugar, el estudio debe aprobar el nivel de subgrupo, de nuevo utilizando el límite de desgaste establecido anteriormente, con un desgaste basado sólo en los grupos que aún están en la muestra. Es decir, el denominador para el cálculo de la deserción de los subgrupos incluye sólo a los miembros de la muestra en las escuelas o aulas que permanecen en el estudio después de la deserción de los grupos.

10. Equivalencia de los grupos

Si el diseño del estudio es un ECA con altos niveles de deserción o un QED, el estudio debe demostrar la equivalencia de la línea de base de los grupos de intervención y de comparación para la muestra analítica. La responsabilidad de demostrar la equivalencia en estos estudios recae en el autor. Debe incluirse en el informe del estudio (u obtenerse del autor del estudio) un informe suficiente de los datos previos a la intervención para que el equipo de revisión pueda sacar conclusiones sobre la equivalencia de los grupos de intervención y de comparación. Las características previas a la intervención pueden incluir la(s) medida(s) de resultado administrada(s) antes de la intervención u otras medidas que no son las mismas que la(s) medida(s) de resultado, pero que están altamente relacionadas con ellas.

Para esta área temática, es posible que un estudio cumpla los estándares de evidencia en uno o más dominios y no en otros. Por lo tanto, las reglas para establecer la equivalencia de la línea de base deben aplicarse dentro de cada dominio.

Los grupos se consideran equivalentes si las diferencias notificadas en las características de los grupos antes de la intervención son menores o iguales a un cuarto de la desviación estándar agrupada en la muestra, independientemente de la significación estadística. Sin embargo, si las diferencias son superiores a 0,05 desviaciones estándar y menores o iguales a un cuarto de la desviación estándar agrupada en la muestra, el análisis debe controlar analíticamente la(s) característica(s) a nivel individual antes de la intervención en las que los grupos difieren. Si las diferencias previas a la intervención son superiores a 0,25 para cualquiera de las características enumeradas, el estudio no cumple las normas.

Dado el potencial de sesgo de selección en los EDC, la posibilidad de que los grupos de intervención y de comparación se hayan extraído de poblaciones diferentes es también una preocupación. Las diferencias fundamentales en los entornos de los que se extrajeron los grupos de intervención y de comparación en un estudio QED y las diferencias de base en las características de los grupos de intervención y de comparación pueden indicar que los niños de los dos grupos se extrajeron de poblaciones diferentes, incluso si eran equivalentes en las medidas previas a la prueba. Las diferencias estadísticamente significativas o grandes (media desviación estándar o más) en las características y los entornos de los niños de los grupos de intervención y de comparación son una prueba de que los grupos proceden de poblaciones diferentes, y el estudio no cumple los Estándares de Evidencia del WWC. Las características y los entornos importantes a tener en cuenta cuando se informan incluyen

• Porcentaje de niños con una discapacidad o un retraso
• Porcentaje de niños con un tipo o una gravedad específica de discapacidad
• Porcentaje de niños con un IEP
• Porcentaje de niños de entornos de programas específicos, como Head Start y programas preescolares basados en la escuela
• Porcentaje de niños de familias de bajo nivel socioeconómico (SES)

11. Cuestiones estadísticas y analíticas

Los estudios de ECAs con baja deserción no necesitan utilizar controles estadísticos en el análisis, aunque el ajuste estadístico para ECAs bien implementados es permisible y puede ayudar a generar estimaciones más precisas del tamaño del efecto. En el caso de los ECA, las estimaciones del tamaño del efecto se ajustarán en función de las diferencias en las características previas a la intervención en la línea de base (si están disponibles) utilizando un método de diferencia en diferencias si los autores no ajustaron en función del pretest (véase el Apéndice B del manual). Más allá de las características previas a la intervención requeridas por la norma de equivalencia, el ajuste estadístico puede realizarse también para otras medidas en el análisis, aunque no son necesarias.

Para la revisión del WWC, se prefiere informar y calcular los tamaños del efecto para las medias posteriores a la intervención ajustadas para la medida anterior a la intervención. Si un estudio informa tanto de las medias no ajustadas como de las ajustadas después de la intervención, la revisión del CMM informará de las medias ajustadas y de las desviaciones estándar no ajustadas. Si no se informan las medias ajustadas posteriores a la intervención, se solicitarán a los autores.

La significación estadística de las diferencias de grupo se volverá a calcular si (1) los autores del estudio no calcularon la significación estadística, (2) los autores del estudio no tuvieron en cuenta la agrupación cuando hubo un desajuste entre la unidad de asignación y la unidad de análisis, o (3) los autores del estudio no tuvieron en cuenta las comparaciones múltiples cuando fue apropiado. De lo contrario, el equipo de revisión aceptará los cálculos proporcionados en el estudio.

Cuando se informe de un análisis mal alineado (es decir, la unidad de análisis no es la misma que la unidad de asignación) y los autores no puedan proporcionar un análisis corregido, los tamaños del efecto calculados por el CMN incorporarán un ajuste estadístico para la agrupación. Las correlaciones intraclase por defecto utilizadas para esta revisión son de 0,20 para los resultados cognitivos, de lenguaje, de alfabetización y de matemáticas, y de 0,10 para los resultados de desarrollo socioemocional y de comportamiento, de habilidades funcionales y de desarrollo motor. Para una explicación sobre la corrección de agrupamiento, véase el Apéndice C del Manual de Procedimientos y Estándares del WWC.

Cuando se realizan comparaciones múltiples (es decir, se evalúan múltiples medidas de resultados dentro de un dominio de resultados en un estudio) y no son tenidas en cuenta por los autores, el WWC tiene en cuenta esta multiplicidad ajustando la significación estadística informada del efecto utilizando la corrección de Benjamini-Hochberg. Véase el Apéndice D del manual para las fórmulas que utiliza el WWC para ajustar las comparaciones múltiples.

Todas las normas se aplican a los resultados globales así como a los análisis de submuestras.