II. Parametri tematici specifici

1. Caratteristiche degli interventi educativi per la prima infanzia ammissibili per i bambini con disabilità
2. Elementi di replicabilità dell’intervento
3. Risultati per i bambini con disabilità
4. Affidabilità e validità delle misure di risultato
5. Intervallo di tempo in cui gli studi dovrebbero essere stati condotti per essere appropriati alla relazione dell’intervento
6. Definizione delle caratteristiche della popolazione di studio
7. Efficacia dell’intervento tra i sottogruppi di bambini
8. Efficacia dell’intervento tra i setting
9. Attrito
10. Equivalenza del gruppo
11. Statistiche e questioni analitiche

I seguenti parametri specificano quali studi sono considerati per le analisi e quali aspetti di questi studi sono codificati per la revisione.

1. Caratteristiche degli interventi ammissibili di educazione della prima infanzia per bambini con disabilità

Gli interventi ammissibili hanno come obiettivo primario quello di migliorare i risultati associati alla preparazione scolastica dei bambini in età prescolare. Gli interventi ammissibili

• Includono curricula completi e supplementari, come Creative Curriculum, Incredible Years, e Big Math for Little Kids; pratiche, come Dialogic Reading e time delay; e terapie progettate per promuovere la funzione e prevenire disabilità secondarie, come la terapia di integrazione sensoriale.
• Deve avere luogo in una scuola o in un centro di impostazione prescolare, o se in altri luoghi (come le impostazioni cliniche o case famiglia), deve essere attuato sotto la direzione di o in collaborazione con una scuola, scuola materna, o programma finanziato attraverso IDEA.
• Deve essere stato implementato nel 1986 (l’anno in cui è stata approvata la PL 99-457, che ha autorizzato la Parte C e i servizi prescolari per bambini con disabilità sotto la Parte B) o dopo.
• Deve essere replicabile e capace di essere diffuso.

2. Elementi di replicabilità dell’intervento

Le caratteristiche importanti di un intervento che devono essere documentate in uno studio in modo che possa essere replicato in modo affidabile con diversi partecipanti, in altri contesti e in altri momenti includono quanto segue:

• Se l’intervento è di marca o non di marca.
• Se è di marca, devono essere disponibili informazioni su come ottenere l’intervento. Gli interventi brandizzati hanno tipicamente uno sviluppatore esterno che fornisce assistenza tecnica o vende/distribuisce l’intervento. Gli interventi a marchio possono essere confezionati o sono altrimenti disponibili per la distribuzione e l’uso al di là di un singolo sito con una documentazione sufficiente a permettere che il curriculum o la pratica siano implementati da individui diversi dagli sviluppatori (per esempio, ha un manuale, una guida al curriculum o altre istruzioni sufficientemente dettagliate per l’implementazione). Inoltre, gli interventi di marca possono essere marchiati o protetti da copyright.
• Gli studi di interventi che non sono di marca devono descrivere l’intervento, incluse le abilità che sono state prese di mira, l’approccio per migliorare le abilità, la popolazione target, i componenti o le caratteristiche dell’intervento che sono stati implementati, le caratteristiche dei contesti in cui è stato implementato, la durata e l’intensità dell’intervento, e le caratteristiche e la formazione degli individui che amministrano l’intervento.

3. Risultati per bambini con disabilità

Per essere incluso nella revisione, uno studio deve includere almeno un risultato rilevante per il bambino che sia intenzionalmente mirato all’intervento e misurato direttamente somministrando una valutazione al bambino o conducendo un’osservazione del bambino.

I risultati rilevanti sono quelli che rientrano nei seguenti ambiti:

• Cognizione
• Competenze linguistiche/comunicative
• Letteratura
• Risultati matematici
• Sviluppo socio-emotivo e comportamento
• Abilità funzionali
• Benessere fisico

L’allineamento tra il risultato e l’intervento è un altro fattore considerato nella revisione. Le misure di risultato che sono strettamente allineate o adattate all’intervento probabilmente dimostreranno dimensioni di effetto maggiori rispetto a quelle che sono meno strettamente allineate all’intervento. Quando la misura di risultato include alcuni degli stessi materiali (come libri o brani) che sono usati nell’intervento o è somministrata al gruppo di intervento come parte dell’intervento, è considerata troppo allineata con l’intervento. In queste situazioni, il gruppo di intervento può avere un vantaggio sleale rispetto al gruppo di confronto, e la dimensione dell’effetto non è un’indicazione corretta degli effetti dell’intervento. Le misure di risultato che sono sovraallineate all’intervento non saranno incluse nel determinare le valutazioni di un intervento per questa revisione.

I benefici degli interventi educativi per la prima infanzia per i bambini con disabilità sono destinati ad essere mantenuti ben oltre la fine dell’intervento. Quindi, le misure alla fine di un intervento, così come in qualsiasi momento successivo, sono ammissibili. Misure prese diversi mesi o anni dopo l’intervento possono fornire forti prove dell’efficacia di un intervento. Questa revisione, tuttavia, dà la priorità ai risultati del post-test immediato per lo sviluppo delle valutazioni dell’intervento e degli indici di miglioramento perché questi risultati sono i più prevalenti. La revisione include ulteriori risultati di follow-up, quando disponibili e appropriati, nelle appendici del report.

4. Affidabilità e validità delle misure di outcome

Lo studio deve includere almeno una misura di outcome per il bambino con evidenza di validità frontale e, per gli outcomes che sono test o scale, sufficiente affidabilità del punteggio valutata usando gli standard qui elencati come determinato dal WWC. Se l’affidabilità del punteggio di ogni misura di risultato non è specificata nell’articolo di ricerca, i dati dall’editore del test o della scala o da altre fonti possono essere utilizzati per stabilire l’affidabilità del punteggio di una misura di risultato per la popolazione dello studio. Se gli studi non hanno analizzato l’affidabilità del punteggio delle misure di risultato utilizzando i dati dello studio, e le analisi degli editori dei test o di altri ricercatori non hanno incluso i bambini con disabilità, verrà considerata qualsiasi altra prova disponibile dell’affidabilità del punteggio e della validità della misura per la popolazione dello studio, e una decisione sull’adeguatezza della misura di risultato verrà presa caso per caso in consultazione con gli esperti. Gli standard sono

• Affidabilità del punteggio di coerenza interna: minimo di 0,60
• Affidabilità del punteggio di stabilità temporale/test-retest: minimo di 0,40
• Affidabilità del punteggio inter-rater: minimo di 0.50 (percentuale di accordo, correlazione, Kappa)

Se una misura di risultato è composta da diversi test per diversi bambini nel campione, sarà considerata un risultato valido se sono soddisfatti i seguenti criteri:

• I test pretendono di misurare un costrutto simile e sono stati standardizzati su una popolazione simile, come risulta dal manuale del test o da studi empirici incentrati sul test.
• I test devono soddisfare le soglie di affidabilità descritte sopra.
• Ci devono essere regole chiare per quale test viene somministrato a quale bambino, e le regole devono essere applicate allo stesso modo ai gruppi di trattamento e di controllo.
• La distribuzione dei test somministrati al basale e al follow-up ai gruppi di trattamento e di controllo deve essere simile.

Se le informazioni necessarie per applicare questi criteri non sono disponibili nell’articolo, sarà avviata una query d’autore per ottenere le informazioni.

5. Intervallo di tempo in cui gli studi devono essere stati condotti per essere appropriati al rapporto sull’intervento

Gli studi devono essere stati pubblicati nel 1986 o successivamente.

6. Definizione delle caratteristiche della popolazione dello studio

Per essere inclusa nella revisione, la popolazione di uno studio deve includere

• Bambini tra i 3 e i 5 anni che non sono ancora iscritti all’asilo o bambini più grandi che frequentano un programma prescolare. Quando gli autori forniscono dati aggregati sia per i bambini in età prescolare che per quelli dell’asilo e non sono disponibili dati disaggregati, la revisione includerà lo studio se almeno il 50% dei bambini è in età prescolare.
• Bambini con disabilità, come definito in precedenza. Negli studi su bambini con e senza disabilità, sarà data priorità ai risultati per il sottogruppo di bambini con disabilità. Tuttavia, se almeno il 50% del campione dello studio è composto da bambini con disabilità, i risultati complessivi possono essere inclusi nella revisione.
• Bambini che parlano inglese o che non sono di madrelingua inglese e sono studenti di lingua inglese.
• Bambini che risiedono negli Stati Uniti (inclusi i territori e le entità tribali degli Stati Uniti).

7. Efficacia dell’intervento tra sottogruppi di bambini

L’efficacia di un intervento può variare tra bambini con caratteristiche diverse, e uno studio che verifica l’efficacia di un intervento può esaminare gli effetti dell’intervento per importanti sottogruppi di bambini. Per gli studi sugli interventi educativi nella prima infanzia per i bambini con disabilità, importanti caratteristiche dei sottogruppi includono

• Età (da 3 a 4 e da 4 a 5)
• Sesso
• Stato socioeconomico
• Ragazza/etnia
• Stato di studente di lingua inglese
• Tipo di disabilità
• Severità della disabilità

Quando uno studio che soddisfa gli standard di evidenza WWC riporta effetti di intervento per questi tipi di sottogruppi e le analisi dei sottogruppi soddisfano tutti gli standard WWC richiesti per i risultati dell’intero campione, questi effetti e analisi saranno inclusi in un’appendice al rapporto sull’intervento.

8. Efficacia dell’intervento attraverso le impostazioni

Uno studio che cerca di testare l’efficacia di un intervento potrebbe esaminare gli effetti attraverso diverse impostazioni. Per gli studi sugli interventi educativi nella prima infanzia per i bambini in età prescolare con disabilità, queste impostazioni potrebbero essere definite da

• Localizzazione (urbana, suburbana o rurale)
• Impostazione (centro di assistenza all’infanzia, scuola materna, Head Start, altro)
• Tipo di impostazione (segregata, inclusiva)
• Educazione, qualifiche o formazione del personale (es, certificazione, anni di esperienza)

Quando uno studio che soddisfa gli standard di evidenza WWC riporta gli effetti dell’intervento separatamente per questi setting, e le analisi dei risultati per setting soddisfano tutti gli standard WWC richiesti per i risultati del campione completo, questi effetti e analisi saranno inclusi in un’appendice al report dell’intervento.

9. Attrito

Come descritto nel WWC Procedures and Standards Handbook (versione 2.0), il WWC è preoccupato per l’attrito complessivo e differenziale dai gruppi di intervento e di confronto per gli RCT, poiché entrambi contribuiscono al potenziale bias dell’effetto stimato di un intervento. Il modello di attrition bias sviluppato dal WWC sarà usato per determinare se uno studio soddisfa gli standard di evidenza del WWC (vedi Appendice A del manuale).

Quando la combinazione dei tassi di attrito complessivo e differenziale fa sì che uno studio RCT cada nell’area verde del diagramma mostrato sotto, l’attrito sarà considerato “basso” e il livello di bias accettabile. Questo riflette l’ipotesi che la maggior parte dell’attrito negli studi sugli interventi educativi per la prima infanzia per i bambini con disabilità sia dovuto a fattori esogeni, come la mobilità dei genitori e le assenze nei giorni in cui vengono effettuate le valutazioni. Tuttavia, per gli RCT con combinazioni di tassi di attrito complessivo e differenziale nell’area rossa, l’attrito sarà considerato “alto” e potenzialmente avrà alti livelli di bias e quindi dovrà dimostrare l’equivalenza.

Molti studi esaminati dal WWC sono basati su disegni con livelli multipli. Il bias può essere generato non solo dalla perdita di cluster (come le scuole), ma anche dai membri del campione all’interno dei cluster (come gli studenti), se questi membri del campione si ritirano come risultato del loro stato di trattamento. Lo standard di attrito si applica a entrambi i livelli. Per soddisfare lo standard, uno studio deve prima passare a livello di cluster, usando il limite di attrito stabilito sopra. In secondo luogo, lo studio deve passare a livello di sotto-cluster, sempre usando il limite di attrito stabilito sopra, con l’attrito basato solo sui cluster ancora nel campione. Cioè, il denominatore per il calcolo dell’attrito del sotto-cluster include solo i membri del campione nelle scuole o nelle classi che rimangono nello studio dopo l’attrito del cluster.

10. Equivalenza del gruppo

Se il disegno dello studio è un RCT con alti livelli di attrito o un QED, lo studio deve dimostrare l’equivalenza al basale dei gruppi di intervento e di confronto per il campione analitico. L’onere di dimostrare l’equivalenza in questi studi spetta all’autore. Nel rapporto dello studio (o ottenuto dall’autore dello studio) dovrebbe essere incluso un resoconto sufficiente dei dati pre-intervento per permettere al team di revisione di trarre conclusioni sull’equivalenza dei gruppi di intervento e di confronto. Le caratteristiche pre-intervento possono includere le misure di risultato somministrate prima dell’intervento o altre misure che non sono le stesse, ma sono altamente correlate alle misure di risultato.

Per questa area tematica, è possibile che uno studio soddisfi gli standard di evidenza in uno o più domini e non in altri. Quindi, le regole per stabilire l’equivalenza di base dovrebbero essere applicate all’interno di ogni dominio.

I gruppi sono considerati equivalenti se le differenze riportate nelle caratteristiche pre-intervento dei gruppi sono inferiori o uguali a un quarto della deviazione standard aggregata nel campione, indipendentemente dalla significatività statistica. Tuttavia, se le differenze sono superiori a 0,05 deviazioni standard e inferiori o uguali a un quarto della deviazione standard aggregata nel campione, l’analisi deve controllare analiticamente le caratteristiche pre-intervento a livello individuale su cui i gruppi differiscono. Se le differenze pre-intervento sono maggiori di 0,25 per una qualsiasi delle caratteristiche elencate, lo studio non soddisfa gli standard.

Dato il potenziale di bias di selezione nei QED, la possibilità che i gruppi di intervento e di confronto siano stati estratti da popolazioni diverse è anche una preoccupazione. Differenze fondamentali nei contesti da cui sono stati presi i gruppi di intervento e di confronto in uno studio QED e differenze di base nelle caratteristiche dei gruppi di intervento e di confronto possono indicare che i bambini nei due gruppi sono stati presi da popolazioni diverse, anche se erano equivalenti nelle misure del pretest. Differenze statisticamente significative o grandi (mezza deviazione standard o più) nelle caratteristiche e nelle impostazioni dei bambini nei gruppi di intervento e di confronto sono la prova che i gruppi sono stati prelevati da popolazioni diverse, e lo studio non soddisfa i WWC Evidence Standards. Le caratteristiche e le impostazioni importanti da considerare quando sono riportate includono

• Percentuale di bambini con una disabilità o un ritardo
• Percentuale di bambini con un tipo specifico o gravità di disabilità
• Percentuale di bambini con un IEP
• Percentuale di bambini provenienti da specifiche impostazioni del programma, come Head Start e programmi prescolari basati sulla scuola
• Percentuale di bambini provenienti da famiglie con basso status socioeconomico (SES)

11. Problemi statistici e analitici

Gli studi RCT con bassa attrazione non hanno bisogno di usare controlli statistici nell’analisi, anche se l’aggiustamento statistico per gli RCT ben implementati è consentito e può aiutare a generare stime più precise della dimensione dell’effetto. Per gli RCT, le stime della dimensione dell’effetto saranno aggiustate per le differenze nelle caratteristiche pre-intervento al basale (se disponibili) usando un metodo difference-in-differences se gli autori non hanno aggiustato il pretest (vedi Appendice B del manuale). Oltre alle caratteristiche pre-intervento richieste dallo standard di equivalenza, gli aggiustamenti statistici possono essere fatti anche per altre misure nell’analisi, sebbene non siano richiesti.

Per la revisione del WWC, la preferenza è quella di riportare e calcolare le dimensioni degli effetti per i mezzi post-intervento aggiustati per la misura pre-intervento. Se uno studio riporta sia mezzi post-intervento non aggiustati che aggiustati, la revisione WWC riporterà i mezzi aggiustati e le deviazioni standard non aggiustate. Se le medie corrette post-intervento non sono riportate, saranno richieste agli autori.

La significatività statistica delle differenze di gruppo sarà ricalcolata se (1) gli autori dello studio non hanno calcolato la significatività statistica, (2) gli autori dello studio non hanno tenuto conto del clustering quando c’era una mancata corrispondenza tra l’unità di assegnazione e l’unità di analisi, o (3) gli autori dello studio non hanno tenuto conto dei confronti multipli quando opportuno. Altrimenti, il team di revisione accetterà i calcoli forniti nello studio.

Quando viene riportata un’analisi non allineata (cioè, l’unità di analisi non è la stessa dell’unità di assegnazione) e gli autori non sono in grado di fornire un’analisi corretta, le dimensioni degli effetti calcolate dal WWC incorporeranno un aggiustamento statistico per il clustering. Le correlazioni intra-classe predefinite utilizzate per questa revisione sono 0,20 per i risultati cognitivi, del linguaggio, dell’alfabetizzazione e della matematica, e 0,10 per lo sviluppo socio-emotivo e il comportamento, le abilità funzionali e i risultati dello sviluppo motorio. Per una spiegazione sulla correzione del clustering, vedere l’appendice C del WWC Procedures and Standards Handbook.

Quando vengono effettuati confronti multipli (cioè, più misure di risultato sono valutate all’interno di un dominio di risultato in uno studio) e non sono state considerate dagli autori, il WWC tiene conto di questa molteplicità regolando la significatività statistica riportata dell’effetto utilizzando la correzione Benjamini-Hochberg. Vedere l’Appendice D del manuale per le formule che il WWC usa per regolare i confronti multipli.

Tutti gli standard si applicano ai risultati complessivi così come alle analisi dei sottocampioni.