II. Parametrii specifici ai subiectului

1. Caracteristicile intervențiilor eligibile în domeniul educației timpurii a copiilor cu dizabilități
2. Elemente de replicabilitate a intervenției
3. Rezultatele copiilor cu dizabilități
4. Fiabilitatea și validitatea măsurilor de rezultat
5. Intervalul de timp în care ar fi trebuit să se desfășoare studiile pentru a fi adecvate pentru raportul de intervenție
6. .
7. Caracteristicile definitorii ale populației de studiu
8. Eficacitatea intervenției în subgrupuri de copii
9. Eficacitatea intervenției în diferite medii
10. Atribilitate
11. Equivalența grupurilor
12. Aspecte statistice și analitice

Parametrii de mai jos specifică ce studii sunt luate în considerare pentru analize și ce aspecte ale acestor studii sunt codificate pentru revizuire.

1. Caracteristicile intervențiilor eligibile privind educația timpurie a copiilor cu dizabilități

Intervențiile eligibile au ca obiectiv principal îmbunătățirea rezultatelor asociate cu pregătirea școlară a copiilor preșcolari. Intervențiile eligibile

• Includ programe școlare cuprinzătoare și suplimentare, cum ar fi Creative Curriculum, Incredible Years și Big Math for Little Kids; practici, cum ar fi Dialogic Reading și time delay; și terapii concepute pentru a promova funcția și a preveni dizabilitățile secundare, cum ar fi terapia de integrare senzorială.
• Trebuie să se desfășoare într-un cadru preșcolar bazat pe școală sau centru sau, dacă se desfășoară în alte locații (cum ar fi mediile clinice sau casele de familie), trebuie să fie implementat sub conducerea sau în colaborare cu o școală, o instituție preșcolară sau un program finanțat prin IDEA.
• Trebuie să fi fost implementat în 1986 (anul în care a fost adoptată PL 99-457, care a autorizat partea C și serviciile preșcolare pentru copiii cu dizabilități în cadrul părții B) sau ulterior.
• Trebuie să fie reproductibil și să poată fi diseminat.

2. Elemente de replicabilitate a intervenției

Caracteristicile importante ale unei intervenții care trebuie documentate într-un studiu, astfel încât să poată fi reprodusă în mod fiabil cu participanți diferiți, în alte medii și în alte momente, includ următoarele:

• Dacă intervenția este de marcă sau nu este de marcă.
• Dacă este de marcă, trebuie să fie disponibile informații despre cum se poate obține intervenția. Intervențiile de marcă au de obicei un dezvoltator extern care oferă asistență tehnică sau vinde/distribuie intervenția. Intervențiile de marcă pot fi fie împachetate, fie sunt disponibile în alt mod pentru a fi distribuite și utilizate dincolo de un singur loc, cu o documentație suficientă pentru a permite ca programul de studiu sau practica să fie implementată de alte persoane decât dezvoltatorii (de exemplu, are un manual, un ghid de curriculum sau alte instrucțiuni de implementare suficient de detaliate). De asemenea, intervențiile de marcă pot fi mărci comerciale sau protejate prin drepturi de autor.
• Studiile privind intervențiile care nu sunt de marcă trebuie să descrie intervenția, inclusiv abilitatea (abilitățile) care este (sunt) vizată (vizate), abordarea pentru îmbunătățirea abilității (abilităților), populația țintă, componentele sau caracteristicile intervenției care au fost puse în aplicare, caracteristicile mediilor în care a fost pusă în aplicare, durata și intensitatea intervenției, precum și caracteristicile și formarea persoanelor care administrează intervenția.

3. Rezultatele pentru copiii cu dizabilități

Pentru a fi inclus în analiză, un studiu trebuie să includă cel puțin un rezultat relevant pentru copil care este vizat în mod intenționat de intervenție și măsurat direct prin administrarea unei evaluări copilului sau prin efectuarea unei observații asupra acestuia.

Rezultatele relevante sunt cele care se încadrează în următoarele domenii:

• Cunoaștere
• Competențe de comunicare/limbaj
• Alfabetizare
• Rezultate matematice
• Dezvoltare și comportament socio-emoțional
• Abilități funcționale
• Bunăstare fizică

Alinierea dintre rezultat și intervenție este un alt factor luat în considerare în cadrul revizuirii. Măsurile de rezultat care sunt strâns aliniate sau adaptate la intervenție sunt susceptibile de a demonstra dimensiuni ale efectului mai mari decât cele care sunt mai puțin aliniate la intervenție. Atunci când măsurarea rezultatului include unele dintre aceleași materiale (cum ar fi cărțile sau pasajele) care sunt utilizate în cadrul intervenției sau este administrată grupului de intervenție ca parte a intervenției, se consideră că aceasta este supraaliniată cu intervenția. În aceste situații, grupul de intervenție poate avea un avantaj nedrept față de grupul de comparație, iar mărimea efectului nu este o indicație corectă a efectelor intervenției. Măsurile de rezultat care sunt supraaliniate cu intervenția nu vor fi incluse în determinarea ratingurilor unei intervenții pentru această revizuire.

Beneficiile intervențiilor de educație timpurie pentru copiii cu dizabilități sunt menite să fie păstrate mult după încheierea intervenției. Astfel, măsurătorile la sfârșitul unei intervenții, precum și în orice moment ulterior, sunt admisibile. Măsurătorile efectuate la câteva luni sau ani după intervenție pot oferi dovezi solide pentru eficacitatea unei intervenții. Cu toate acestea, această trecere în revistă acordă prioritate constatărilor post-test imediate pentru elaborarea evaluărilor intervenției și a indicilor de îmbunătățire, deoarece aceste constatări sunt cele mai răspândite. Revizuirea include constatări suplimentare de urmărire, atunci când sunt disponibile și adecvate, în anexele la raport.

4. Fiabilitatea și validitatea măsurilor de rezultat

Studiul trebuie să includă cel puțin o măsură de rezultat pentru copii cu dovezi de validitate nominală și, pentru rezultatele care sunt teste sau scale, o fiabilitate suficientă a scorului evaluată folosind standardele enumerate aici, așa cum a fost determinată de WWC. În cazul în care fiabilitatea scorului pentru fiecare măsură de rezultat nu este specificată în articolul de cercetare, se pot utiliza date de la editorul testului sau al scalei sau din alte surse pentru a stabili fiabilitatea scorului unei măsuri de rezultat pentru populația studiată. În cazul în care studiile nu au analizat fiabilitatea scorului măsurilor de rezultat cu ajutorul datelor din studiu, iar analizele efectuate de editorii de teste sau de alți cercetători nu au inclus copii cu dizabilități, se va lua în considerare orice altă dovadă disponibilă privind fiabilitatea scorului și validitatea măsurii pentru populația studiată, iar o decizie privind caracterul adecvat al măsurii de rezultat va fi luată de la caz la caz, în urma consultării cu experți. Standardele sunt

• Fiabilitatea scorului de consistență internă: minim 0,60
• Fiabilitatea scorului de stabilitate temporală/test-retest: minim 0,40
• Fiabilitatea scorului între evaluatori: minim 0,40
• Fiabilitatea scorului între evaluatori: minim 0.50 (concordanță procentuală, corelație, Kappa)

Dacă o măsură a rezultatului este compusă din diferite teste pentru diferiți copii din eșantion, aceasta va fi considerată un rezultat valid dacă sunt îndeplinite următoarele criterii:

• Testele pretind să măsoare un construct similar și au fost standardizate pe o populație similară, așa cum se reflectă în manualul testului sau în studiile empirice axate pe test.
• Testele trebuie să îndeplinească pragurile de fiabilitate descrise mai sus.
• Trebuie să existe reguli clare pentru care test este administrat fiecărui copil, iar regulile trebuie să fie aplicate în același mod la grupurile de tratament și de control.
• Distribuția testelor administrate la momentul inițial și de urmărire la grupurile de tratament și de control trebuie să fie similară.

Dacă informațiile necesare pentru a aplica aceste criterii nu sunt disponibile în articol, se va iniția o interogare a autorului pentru a obține informațiile.

5. Intervalul de timp în care ar fi trebuit să fie efectuate studiile pentru a fi adecvate pentru raportul de intervenție

Studiile trebuie să fi fost publicate în 1986 sau mai târziu.

6. Definirea caracteristicilor populației studiului

Pentru a fi inclusă în revizuire, populația unui studiu trebuie să includă

• Copii cu vârste cuprinse între 3 și 5 ani care nu sunt încă înscriși la grădiniță sau copii mai mari care frecventează un program preșcolar. În cazul în care autorii furnizează date agregate atât pentru copiii preșcolari, cât și pentru cei de la grădiniță, iar datele dezagregate nu sunt disponibile, recenzia va include studiul dacă cel puțin 50% dintre copii sunt la grădiniță.
• Copii cu dizabilități, așa cum au fost definite anterior. În studiile privind copiii cu și fără dizabilități, se va acorda prioritate rezultatelor pentru subgrupul de copii cu dizabilități. Cu toate acestea, în cazul în care cel puțin 50% din eșantionul studiului este compus din copii cu dizabilități, rezultatele globale pot fi incluse în analiză.
• Copii care vorbesc limba engleză sau care nu sunt vorbitori nativi de limba engleză și care sunt cursanți ai limbii engleze.
• Copii care locuiesc în Statele Unite (inclusiv teritoriile și entitățile tribale ale SUA).

7. Eficacitatea intervenției în subgrupuri de copii

Eficacitatea unei intervenții este probabil să varieze în rândul copiilor cu caracteristici diferite, iar un studiu care testează eficacitatea unei intervenții poate examina efectele intervenției pentru subgrupuri importante de copii. Pentru studiile privind intervențiile în domeniul educației timpurii pentru copiii cu dizabilități, caracteristicile importante ale subgrupurilor includ

• Vârsta (de la 3 la 4 ani și de la 4 la 5 ani)
• Gender
• Statut socio-economic
• Rasă/etnie
• Statut de elev care învață limba engleză
• Tip de dizabilitate

.

• Severitatea dizabilității

Când un studiu care îndeplinește standardele de dovezi WWC raportează efectele intervenției pentru aceste tipuri de subgrupuri și analizele subgrupurilor îndeplinesc toate standardele WWC necesare pentru rezultatele eșantionului complet, aceste efecte și analize vor fi incluse într-un apendice la raportul de intervenție.

8. Eficacitatea intervenției în diferite contexte

Un studiu care urmărește să testeze eficacitatea unei intervenții ar putea examina efectele în diferite contexte. Pentru studiile privind intervențiile în domeniul educației timpurii pentru copiii preșcolari cu dizabilități, aceste cadre ar putea fi definite prin

• Localizare (urbană, suburbană sau rurală)
• Cadru (centru de îngrijire a copiilor, grădiniță preșcolară școlară, Head Start, altele)
• Tip de cadru (segregat, incluziv)
• Educația, calificările sau formarea personalului (de ex, certificare, ani de experiență)

În cazul în care un studiu care îndeplinește standardele de dovezi ale WWC raportează efectele intervenției separat pentru aceste cadre, iar analizele rezultatelor în funcție de cadru îndeplinesc toate standardele WWC necesare pentru rezultatele eșantionului complet, aceste efecte și analize vor fi incluse într-un apendice la raportul de intervenție.

9. Abandonul

Așa cum este descris în Manualul de proceduri și standarde al WWC (versiunea 2.0), WWC este preocupat de abandonul global și diferențiat din grupurile de intervenție și de comparație pentru RCT-uri, deoarece ambele contribuie la potențiala distorsiune a efectului estimat al unei intervenții. Modelul de părtinire prin attriție elaborat de WWC va fi utilizat pentru a determina dacă un studiu îndeplinește standardele WWC privind dovezile (a se vedea apendicele A din manual).

Când combinația dintre ratele de uzură globală și diferențială face ca un studiu RCT să se încadreze în zona verde de pe diagrama prezentată mai jos, uzura va fi considerată „scăzută”, iar nivelul de părtinire acceptabil. Acest lucru reflectă ipoteza conform căreia cea mai mare parte a uzurii în studiile privind intervențiile de educație timpurie pentru copiii cu dizabilități se datorează unor factori exogeni, cum ar fi mobilitatea părinților și absențele în zilele în care se efectuează evaluările. Cu toate acestea, în cazul RCT-urilor cu combinații de rate de uzură globale și diferențiale în zona roșie, uzura va fi considerată „ridicată” și potențial cu niveluri ridicate de distorsiune și, prin urmare, trebuie să demonstreze echivalență.

Multe studii analizate de WWC se bazează pe modele cu niveluri multiple. Biasul poate fi generat nu numai de pierderea clusterelor (cum ar fi școlile), ci și de membrii eșantionului din cadrul clusterelor (cum ar fi elevii), în cazul în care acei membri ai eșantionului atestă ca urmare a statutului lor de tratament. Standardul de uzură se aplică la ambele niveluri. Pentru a respecta standardul, un studiu trebuie mai întâi să treacă la nivelul clusterului, utilizând limita de atrițiune stabilită mai sus. În al doilea rând, studiul trebuie să treacă la nivel de subcluster, utilizând din nou limita de uzură stabilită mai sus, cu o uzură bazată numai pe clusterele care mai fac parte din eșantion. Altfel spus, numitorul pentru calculul uzurii la nivelul subclusterului include numai membrii eșantionului din școlile sau clasele care rămân în studiu după uzura clusterului.

10. Echivalența grupului

Dacă proiectul de studiu este un RCT cu niveluri ridicate de atrițiune sau un QED, studiul trebuie să demonstreze echivalența de bază a grupurilor de intervenție și de comparație pentru eșantionul analitic. Sarcina de a demonstra echivalența în aceste studii revine autorului. În raportul studiului (sau obținut de la autorul studiului) trebuie inclusă o raportare suficientă a datelor pre-intervenție pentru a permite echipei de analiză să tragă concluzii cu privire la echivalența grupurilor de intervenție și de comparație. Caracteristicile pre-intervenție pot include măsura (măsurile) de rezultat administrată (administrate) înainte de intervenție sau alte măsuri care nu sunt identice cu măsura (măsurile) de rezultat, dar care sunt foarte legate de aceasta (acestea).

Pentru acest domeniu tematic, este posibil ca un studiu să îndeplinească standardele privind dovezile în unul sau mai multe domenii și nu în altele. Astfel, regulile pentru stabilirea echivalenței bazei de referință ar trebui aplicate în cadrul fiecărui domeniu.

Grupurile sunt considerate echivalente dacă diferențele raportate în ceea ce privește caracteristicile pre-intervenție ale grupurilor sunt mai mici sau egale cu un sfert din abaterea standard reunită în eșantion, indiferent de semnificația statistică. Cu toate acestea, în cazul în care diferențele sunt mai mari de 0,05 deviații standard și mai mici sau egale cu un sfert din deviația standard cumulată a eșantionului, analiza trebuie să controleze analitic caracteristica (caracteristicile) pre-intervenție la nivel individual la care diferă grupurile. În cazul în care diferențele pre-intervenție sunt mai mari de 0,25 pentru oricare dintre caracteristicile enumerate, studiul nu respectă standardele.

Datorită potențialului de distorsiune de selecție în QED-uri, posibilitatea ca grupurile de intervenție și de comparație să fi fost extrase din populații diferite este, de asemenea, o preocupare. Diferențele fundamentale în mediile din care au fost extrase grupurile de intervenție și de comparație într-un studiu QED și diferențele de bază în ceea ce privește caracteristicile grupurilor de intervenție și de comparație pot indica faptul că copiii din cele două grupuri au fost extrași din populații diferite, chiar dacă au fost echivalenți în ceea ce privește măsurile pretest. Diferențele semnificative din punct de vedere statistic sau mari (jumătate de abatere standard sau mai mult) în ceea ce privește caracteristicile și setările copiilor din grupurile de intervenție și de comparație reprezintă o dovadă că grupurile au fost extrase din populații diferite, iar studiul nu îndeplinește standardele de evidență WWC. Caracteristicile și mediile importante care trebuie luate în considerare atunci când sunt raportate includ

• Procentul de copii cu dizabilități sau întârzieri
• Procentul de copii cu un anumit tip sau gravitate a dizabilității
• Procentul de copii cu un IEP
• Procentul de copii din medii de program specifice, cum ar fi Head Start și programele preșcolare bazate pe școală
• Procentul de copii proveniți din familii cu statut socioeconomic scăzut (SES)

11. Aspecte statistice și analitice

Studiile RCT cu o rată de abandon scăzută nu trebuie să utilizeze controale statistice în analiză, deși ajustarea statistică pentru RCT-urile bine implementate este permisă și poate contribui la generarea unor estimări mai precise ale mărimii efectului. În cazul studiilor RCT, estimările privind mărimea efectului vor fi ajustate pentru diferențele în ceea ce privește caracteristicile pre-intervenție la momentul inițial (dacă sunt disponibile) utilizând o metodă de diferență în diferențe dacă autorii nu au ajustat pentru pretest (a se vedea apendicele B din manual). Dincolo de caracteristicile pre-intervenție cerute de standardul de echivalență, se pot face ajustări statistice și pentru alte măsuri în cadrul analizei, deși acestea nu sunt obligatorii.

Pentru analiza WWC, preferința este să se raporteze și să se calculeze dimensiunile efectului pentru mediile post-intervenție ajustate pentru măsura pre-intervenție. În cazul în care un studiu raportează atât mediile post-intervenție neajustate, cât și cele ajustate, analiza WWC va raporta mediile ajustate și abaterile standard neajustate. Dacă mediile post-intervenție ajustate nu sunt raportate, acestea vor fi solicitate de la autori.

Semnificația statistică a diferențelor dintre grupuri va fi recalculată dacă (1) autorii studiului nu au calculat semnificația statistică, (2) autorii studiului nu au ținut cont de grupare atunci când a existat o neconcordanță între unitatea de repartizare și unitatea de analiză sau (3) autorii studiului nu au ținut cont de comparațiile multiple atunci când a fost cazul. În caz contrar, echipa de revizuire va accepta calculele furnizate în studiu.

Când este raportată o analiză nepotrivită (de exemplu, unitatea de analiză nu este aceeași cu unitatea de repartizare) și autorii nu sunt în măsură să furnizeze o analiză corectată, dimensiunile efectului calculate de WWC vor încorpora o ajustare statistică pentru clusterizare. Corelațiile intra-clasă implicite utilizate pentru această analiză sunt de 0,20 pentru rezultatele cognitive, de limbaj, de alfabetizare și de matematică și de 0,10 pentru rezultatele privind dezvoltarea socio-emoțională și comportamentul, abilitățile funcționale și dezvoltarea motorie. Pentru o explicație cu privire la corecția de grupare, consultați Apendicele C din Manualul de proceduri și standarde al WWC.

Când se fac comparații multiple (de exemplu, mai multe măsuri de rezultat sunt evaluate în cadrul unui domeniu de rezultat într-un studiu) și nu sunt luate în considerare de către autori, WWC ia în considerare această multiplicitate prin ajustarea semnificației statistice raportate a efectului folosind corecția Benjamini-Hochberg. A se vedea Anexa D a manualului pentru formulele pe care WWC le utilizează pentru a ajusta comparațiile multiple.

Toate standardele se aplică atât constatărilor globale, cât și analizelor de subeșantioane.

.