II. Parâmetros Temáticos Específicos

1. Características das intervenções elegíveis de educação infantil para crianças com deficiência
2. Elementos de replicabilidade da intervenção
3. Realizações para crianças com deficiência
4. Reliabilidade e validade das medidas de resultados
5. Intervalo de tempo no qual os estudos deveriam ter sido realizados para serem apropriados para o relatório da intervenção
6. Definindo características da população estudada
7. Eficácia da intervenção entre subgrupos de crianças

>

8. Eficácia da intervenção entre ambientes
9. Attriação
10. Equivalência de grupo
11. Equivalência estatística e analítica

Os parâmetros a seguir especificam quais estudos são considerados para análise e quais aspectos desses estudos são codificados para revisão.

1. Características das intervenções elegíveis de educação infantil para crianças com deficiência

Intervenções elegíveis têm como objetivo primário melhorar os resultados associados com a prontidão escolar das crianças pré-escolares. Intervenções elegíveis

• Incluir currículos abrangentes e suplementares, como Currículo Criativo, Anos Incríveis e Grande Matemática para Crianças Pequenas; práticas, como a Leitura Dialógica e o atraso no tempo; e terapias destinadas a promover a função e prevenir deficiências secundárias, como a terapia de integração sensorial.
• Tem que ocorrer em um ambiente pré-escolar baseado em escola ou centro, ou se em outros locais (como ambientes clínicos ou casas de família), devem ser implementadas sob a direção ou em colaboração com uma escola, pré-escola, ou programa financiado através do IDEA.
• Deve ter sido implementado em 1986 (o ano PL 99-457, que autorizou a Parte C e serviços pré-escolares para crianças com deficiência sob a Parte B, foi aprovado) ou mais tarde.
• Deve ser replicável e capaz de ser divulgado.

2. Elementos da replicabilidade da intervenção

As características importantes de uma intervenção que devem ser documentadas em um estudo para que ela possa ser replicada de forma confiável com diferentes participantes, em outros contextos, e em outros momentos incluem o seguinte

• Se a intervenção está marcada ou não.
• Se está marcada, a informação sobre como obter a intervenção deve estar disponível. Intervenções de marca normalmente têm um desenvolvedor externo que fornece assistência técnica ou vende/distribui a intervenção. Intervenções de marca podem ser embaladas ou estão disponíveis para distribuição e uso além de um único local com documentação suficiente para permitir que o currículo ou prática seja implementado por indivíduos que não os desenvolvedores (por exemplo, tem um manual, guia curricular ou outras instruções suficientemente detalhadas para implementação). Além disso, intervenções com marca registrada ou com direitos autorais.
• Estudos de intervenções que não são com marca registrada devem descrever a intervenção, incluindo a(s) habilidade(s) visada(s), a abordagem para melhorar a(s) habilidade(s), a população alvo, componentes ou características da intervenção que foram implementadas, características das configurações em que foi implementada, a duração e intensidade da intervenção, e as características e treinamento dos indivíduos que administram a intervenção.

3. Resultados para crianças com deficiência

Para ser incluído na revisão, um estudo deve incluir pelo menos um resultado infantil relevante que seja intencionalmente visado pela intervenção e medido diretamente através da administração de uma avaliação à criança ou da realização de uma observação da criança.

Desfechos relevantes são aqueles que se enquadram nos seguintes domínios:

• Cognição
• Competências de comunicação/idioma
• Literacia
• Realização matemática
• Desenvolvimento e comportamento social-emocional
• Habilidades funcionais
• Bem-estar físico

O alinhamento entre o resultado e a intervenção é outro fator considerado na revisão. As medidas de resultado que estão estreitamente alinhadas ou adaptadas à intervenção são susceptíveis de demonstrar maiores tamanhos de efeito do que aquelas que estão menos alinhadas com a intervenção. Quando a medida de resultado inclui alguns dos mesmos materiais (como livros ou passagens) que são usados na intervenção ou que são administrados ao grupo de intervenção como parte da intervenção, considera-se que está sobrealinhado com a intervenção. Nessas situações, o grupo de intervenção pode ter uma vantagem injusta sobre o grupo de comparação, e o tamanho do efeito não é uma indicação justa dos efeitos da intervenção. As medidas de resultado que estão sobrealinhadas com a intervenção não serão incluídas na determinação das classificações de uma intervenção para esta revisão.

Os benefícios das intervenções de educação infantil para crianças com deficiências devem ser mantidos muito depois do fim da intervenção. Assim, medidas no final de uma intervenção, assim como em qualquer momento posterior, são admissíveis. As medidas tomadas vários meses ou anos após a intervenção podem fornecer fortes evidências para a eficácia de uma intervenção. Esta revisão, no entanto, prioriza os resultados imediatos pós-teste para o desenvolvimento das classificações de intervenção e índices de melhoria porque estes resultados são mais prevalecentes. A revisão inclui resultados adicionais de acompanhamento, quando disponíveis e apropriados, em apêndices ao relatório.

4. Confiabilidade e validade das medidas de resultados

O estudo deve incluir pelo menos uma medida de resultados em crianças com evidência de validade facial e, para resultados que são testes ou escalas, confiabilidade suficiente da pontuação avaliada usando os padrões listados aqui, conforme determinado pela WWC. Se a confiabilidade da pontuação de cada medida de resultado não estiver especificada no artigo de pesquisa, dados do editor do teste ou da escala ou outras fontes podem ser usados para estabelecer a confiabilidade da pontuação de uma medida de resultado para a população do estudo. Se os estudos não analisaram a confiabilidade dos escores das medidas de resultados usando os dados do estudo, e as análises dos editores dos testes ou outros pesquisadores não incluíram crianças com deficiência, qualquer outra evidência disponível de confiabilidade dos escores e validade da medida para a população do estudo será considerada, e uma decisão sobre a adequação da medida de resultados será tomada caso a caso, em consulta com especialistas. Os padrões são

• Confiabilidade do escore de consistência interna: mínimo de 0,60
• Confiabilidade do escore de estabilidade temporal/teste de retorno: mínimo de 0,40
• Confiabilidade do escore de consistência interna: mínimo de 0.50 (concordância percentual, correlação, Kappa)

Se uma medida de resultado for composta de diferentes testes para diferentes crianças na amostra, será considerada um resultado válido se os seguintes critérios forem atendidos:

• Os testes têm a finalidade de medir uma construção similar e foram padronizados em uma população similar, como refletido no manual de testes ou estudos empíricos focados no teste.
• Os testes devem cumprir os limites de confiabilidade descritos acima.
• Deve haver regras claras para qual teste é administrado a qual criança, e as regras devem ser aplicadas da mesma forma aos grupos de tratamento e controle.
• A distribuição dos testes administrados na linha de base e acompanhamento aos grupos de tratamento e controle deve ser semelhante.

Se a informação necessária para aplicar estes critérios não estiver disponível no artigo, será iniciada uma consulta ao autor para obter a informação.

5. Intervalo de tempo no qual os estudos devem ter sido realizados para que o relatório de intervenção seja apropriado

Estudos devem ter sido publicados em 1986 ou posteriormente.

6. Definindo características da população do estudo

Para ser incluído na revisão, a população do estudo deve incluir

• Crianças entre 3 e 5 anos de idade que ainda não estão matriculadas no jardim de infância ou crianças mais velhas freqüentando um programa pré-escolar. Quando os autores fornecerem dados agregados para crianças do pré-escolar e do jardim de infância e dados desagregados não estiverem disponíveis, a revisão incluirá o estudo se pelo menos 50% das crianças estiverem no pré-escolar.
• Crianças com deficiência, conforme definido anteriormente. Nos estudos de crianças com e sem deficiência, será dada prioridade aos resultados para o subgrupo de crianças com deficiência. Entretanto, se pelo menos 50% da amostra do estudo for composta de crianças com deficiências, os resultados gerais poderão ser incluídos na revisão.
• Crianças que falam inglês ou que não falam inglês como língua materna, que são aprendizes da língua inglesa.
• Crianças residentes nos Estados Unidos (incluindo territórios americanos e entidades tribais).

7. Eficácia da intervenção em subgrupos de crianças

É provável que a eficácia de uma intervenção varie entre crianças com características diferentes, e um estudo que teste a eficácia de uma intervenção pode examinar os efeitos da intervenção para subgrupos importantes de crianças. Para estudos de intervenções de educação infantil precoce para crianças com deficiências, características importantes de subgrupos incluem

• Idade (3 a 4 e 4 a 5)

>

• Gênero
• Estado socioeconômico
• Raça/etnia

>

• Estado de aprendiz de inglês

>

• Tipo de deficiência
• Severidade da incapacidade

Quando um estudo que atende aos padrões de evidência da WWC relata efeitos de intervenção para esses tipos de subgrupos e as análises dos subgrupos atendem a todos os padrões da WWC exigidos para os resultados completos da amostra, estes efeitos e análises serão incluídos num anexo ao relatório de intervenção.

8. Eficácia da intervenção em diferentes contextos

Um estudo que procura testar a eficácia de uma intervenção pode examinar os efeitos em diferentes contextos. Para estudos de intervenções de educação infantil para crianças pré-escolares com deficiências, esses contextos podem ser definidos por

• Localização (urbana, suburbana ou rural)
• Localização (creche, pré-escola escolar, Head Start, outros)
• Tipo de contexto (segregado, inclusive)
• Educação, qualificações ou treinamento do pessoal (por exemplo certificação, anos de experiência)

Quando um estudo que cumpre os padrões de evidência da WWC relata efeitos de intervenção separadamente para essas configurações, e as análises dos resultados por configuração cumprem todos os padrões da WWC exigidos para os resultados completos da amostra, esses efeitos e análises serão incluídos em um apêndice do relatório de intervenção.

9. Atrito

Como descrito no Manual de Procedimentos e Padrões da WWC (versão 2.0), a WWC está preocupada com o atrito geral e diferencial dos grupos de intervenção e comparação para RCTs, já que ambos contribuem para o potencial enviesamento do efeito estimado de uma intervenção. O modelo de enviesamento de atrito desenvolvido pela WWC será usado para determinar se um estudo atende aos padrões de evidência da WWC (ver Apêndice A do manual).

Quando a combinação de taxas de atrito global e diferencial faz com que um estudo de TCR caia na área verde no diagrama mostrado abaixo, o atrito será considerado “baixo” e o nível de viés aceitável. Isso reflete o pressuposto de que a maior parte do atrito em estudos de intervenções de educação infantil para crianças com deficiência é devido a fatores exógenos, como mobilidade dos pais e ausências nos dias em que as avaliações são realizadas. No entanto, para os RCTs com combinações de taxas de atrito global e diferencial na área vermelha, o atrito será considerado “alto” e potencialmente terá altos níveis de viés e, portanto, deve demonstrar equivalência.

Muitos estudos revisados pela WWC são baseados em desenhos com múltiplos níveis. O viés pode ser gerado não só pela perda de grupos (como escolas), mas também pelos membros da amostra dentro dos grupos (como estudantes), se esses membros da amostra se atreverem como resultado do seu estado de tratamento. O padrão de atrito aplica-se a ambos os níveis. Para atender ao padrão, um estudo deve primeiro passar no nível de agrupamento, utilizando o limite de atrito definido acima. Em segundo lugar, o estudo deve passar no nível de subcluster, novamente utilizando o limite de atrito definido acima, com atrito baseado apenas nos clusters ainda na amostra. Ou seja, o denominador para o cálculo do atrito de subcluster inclui apenas os membros da amostra em escolas ou salas de aula que permanecem no estudo após o atrito de agrupamento.

10. Equivalência de grupos

Se o desenho do estudo for um ETR com altos níveis de atrito ou um QED, o estudo deve demonstrar equivalência básica dos grupos de intervenção e comparação para a amostra analítica. O ônus de demonstrar a equivalência nestes estudos recai sobre o autor. Um relato suficiente dos dados pré-intervenção deve ser incluído no relatório do estudo (ou obtido do autor do estudo) para que a equipe de revisão possa tirar conclusões sobre a equivalência dos grupos de intervenção e comparação. As características pré-intervenção podem incluir a(s) medida(s) de resultado administrada(s) antes da intervenção ou outras medidas que não sejam as mesmas, mas que estejam altamente relacionadas com a(s) medida(s) de resultado.

Para esta área temática, é possível que um estudo atenda aos padrões de evidência em um ou mais domínios e não em outros. Assim, devem ser aplicadas regras para estabelecer a equivalência de linha de base dentro de cada domínio.

Grupos são considerados equivalentes se as diferenças relatadas nas características pré-intervenção dos grupos forem menores ou iguais a um quarto do desvio-padrão combinado na amostra, independentemente da significância estatística. Entretanto, se as diferenças forem maiores que 0,05 desvios-padrão e menores ou iguais a um quarto do desvio-padrão combinado na amostra, a análise deve controlar analiticamente para a(s) característica(s) pré-intervenção(s) de nível individual sobre a(s) qual(is) os grupos diferem. Se as diferenças pré-intervenção forem maiores que 0,25 para qualquer uma das características listadas, o estudo não atende aos padrões.

Dado o potencial de viés de seleção nos QEDs, a possibilidade de que os grupos de intervenção e comparação tenham sido retirados de diferentes populações também é uma preocupação. Diferenças fundamentais nos contextos a partir dos quais os grupos de intervenção e comparação num estudo QED foram desenhados e diferenças de linha de base nas características dos grupos de intervenção e comparação podem indicar que as crianças dos dois grupos foram desenhadas a partir de populações diferentes, mesmo que fossem equivalentes em medidas prévias. Diferenças estatisticamente significativas ou grandes (meio desvio padrão ou mais) nas características e configurações das crianças nos grupos de intervenção e comparação são evidências de que os grupos foram desenhados a partir de diferentes populações, e o estudo não cumpre os Padrões de Evidência da WWC. Características e configurações importantes a considerar quando são relatadas incluem

• Percentagem de crianças com deficiência ou atraso
• Percentagem de crianças com um tipo específico ou gravidade da deficiência
• Percentagem de crianças com PEI
• Percentagem de crianças com um PEI
• Percentagem de crianças de configurações específicas do programa, tais como programas Head Start e pré-escolares baseados na escola
• Percentagem de crianças de famílias de baixo nível socioeconômico (SES)

11. Questões estatísticas e analíticas

Estudos de ERE com baixo atrito não precisam usar controles estatísticos na análise, embora ajustes estatísticos para ERE bem implementados sejam permitidos e possam ajudar a gerar estimativas mais precisas do tamanho do efeito. Para as ETRs, as estimativas de tamanho de efeito serão ajustadas para diferenças nas características pré-intervenção na linha de base (se disponível) usando um método de diferença em diferenças se os autores não ajustaram para o pré-teste (ver Apêndice B do manual). Além das características pré-intervenção requeridas pelo padrão de equivalência, o ajuste estatístico também pode ser feito para outras medidas na análise, embora elas não sejam necessárias.

Para a revisão da WWC, a preferência é relatar e calcular os tamanhos dos efeitos para as médias pós-intervenção ajustadas para a medida pré-intervenção. Se um estudo relatar tanto as médias não ajustadas como as pós-intervenção ajustadas, a revisão do WWC relatará as médias ajustadas e os desvios-padrão não ajustados. Caso não sejam relatadas médias pós-intervenção ajustadas, elas serão solicitadas aos autores.

A significância estatística das diferenças de grupo será recalculada se (1) os autores do estudo não calcularam a significância estatística, (2) os autores do estudo não contabilizaram o agrupamento quando houve um descasamento entre a unidade de atribuição e a unidade de análise, ou (3) os autores do estudo não contabilizaram múltiplas comparações quando apropriado. Caso contrário, a equipe de revisão aceitará os cálculos fornecidos no estudo.

Quando uma análise desalinhada for relatada (ou seja, a unidade de análise não é a mesma que a unidade de atribuição) e os autores não forem capazes de fornecer uma análise corrigida, os tamanhos dos efeitos computados pela WWC incorporarão um ajuste estatístico para o agrupamento. As correlações intra-classe padrão usadas para esta revisão são 0,20 para resultados cognitivos, linguagem, alfabetização e matemática, e 0,10 para desenvolvimento e comportamento sócio-emocional, habilidades funcionais e resultados de desenvolvimento motor. Para uma explicação sobre a correção de agrupamento, veja o Apêndice C do Manual de Procedimentos e Padrões da WWC.

Quando múltiplas comparações são feitas (ou seja, múltiplas medidas de resultados são avaliadas dentro de um domínio de resultados em um estudo) e não contabilizadas pelos autores, a WWC contabiliza essa multiplicidade ajustando a significância estatística relatada do efeito usando a correção de Benjamini-Hochberg. Ver o apêndice D do manual para as fórmulas que o WWC usa para ajustar para múltiplas comparações.

Todas as normas se aplicam aos resultados gerais, bem como às análises de subamostras.