II. Konkrét témaparaméterek

1. A fogyatékossággal élő gyermekek kora gyermekkori nevelésére alkalmas beavatkozások jellemzői
2. A beavatkozás megismételhetőségének elemei
3. A fogyatékossággal élő gyermekek eredményei
4. A kimeneti mérések megbízhatósága és érvényessége
5. Az időintervallum, amelyben a vizsgálatokat el kellett volna végezni, hogy a beavatkozási jelentésnek megfelelő legyen

.

6. A vizsgálati populáció meghatározó jellemzői
7. A beavatkozás hatásossága a gyermekek alcsoportjai között
8. A beavatkozás hatásossága a különböző helyszíneken
9. A lemorzsolódás
10. A csoportok egyenértékűsége
11. Statisztikai és elemzési kérdések

A következő paraméterek határozzák meg, hogy mely tanulmányokat veszik figyelembe az elemzésekhez, és e tanulmányok mely szempontjait kódolják felülvizsgálatra.

1. A fogyatékossággal élő gyermekekre vonatkozó támogatható kora gyermekkori nevelési beavatkozások jellemzői

A támogatható beavatkozások elsődleges célja az óvodáskorú gyermekek iskolaérettségével kapcsolatos eredmények javítása. Támogatható beavatkozások

• Tartalmaznak átfogó és kiegészítő tanterveket, mint például a Kreatív tanterv, az Incredible Years és a Big Math for Little Kids; gyakorlatokat, mint például a Dialogic Reading és az időkésleltetés; és olyan terápiákat, amelyek célja a funkciók elősegítése és a másodlagos fogyatékosságok megelőzése, mint például a szenzoros integrációs terápia.
• Az iskolai vagy központban működő óvodai környezetben kell megvalósítani, vagy ha más helyszínen (például klinikai környezetben vagy családi otthonokban), akkor az IDEA által finanszírozott iskola, óvoda vagy program irányítása alatt vagy azzal együttműködve kell végrehajtani.
• 1986-ban (abban az évben, amikor elfogadták a PL 99-457-et, amely engedélyezte a C részt és a fogyatékossággal élő gyermekek számára a B rész szerinti óvodai szolgáltatásokat) vagy később került végrehajtásra.
• Megismételhetőnek és terjeszthetőnek kell lennie.

2. A beavatkozás megismételhetőségének elemei

A beavatkozás fontos jellemzői, amelyeket egy vizsgálatban dokumentálni kell ahhoz, hogy az megbízhatóan megismételhető legyen más résztvevőkkel, más környezetben és más időpontokban, a következők:

• Az, hogy a beavatkozás márkás vagy nem márkás.
• Ha márkás, rendelkezésre kell állnia a beavatkozás beszerzésének módjára vonatkozó információnak. A márkás beavatkozásoknak általában van egy külső fejlesztője, aki technikai segítséget nyújt, vagy értékesíti/terjeszti a beavatkozást. A márkás beavatkozások csomagolhatók vagy más módon elérhetők egyetlen helyszínen kívüli terjesztésre és használatra, elegendő dokumentációval ahhoz, hogy a tantervet vagy gyakorlatot a fejlesztőkön kívül más személyek is megvalósíthassák (pl. kézikönyvvel, tantervi útmutatóval vagy más, kellően részletes végrehajtási utasítással rendelkezik). A márkanévvel ellátott beavatkozások is lehetnek védjegyoltalom vagy szerzői jogvédelem alatt.
• A nem márkanévvel ellátott beavatkozásokról szóló tanulmányoknak le kell írniuk a beavatkozást, beleértve a megcélzott készség(ek)et, a készség(ek) fejlesztésének megközelítését, a célcsoportot, a beavatkozás megvalósított összetevőit vagy jellemzőit, a megvalósítás helyszínének jellemzőit, a beavatkozás időtartamát és intenzitását, valamint a beavatkozást alkalmazó személyek jellemzőit és képzését.

3. Fogyatékkal élő gyermekek eredményei

A felülvizsgálatba való bekerüléshez a tanulmánynak legalább egy olyan releváns gyermeki eredményt kell tartalmaznia, amelyet a beavatkozás szándékosan megcélzott, és amelyet közvetlenül a gyermek értékelésével vagy a gyermek megfigyelésével mérnek.

Releváns kimenetelek azok, amelyek a következő területekhez tartoznak:

• Kogníció
• Kommunikációs/nyelvi kompetenciák
• Az írástudás
• Matematikai teljesítmény
• Szociális-érzelmi fejlődés és viselkedés
• Funkcionális képességek
• Fizikai jólét

A felülvizsgálat során figyelembe vett másik tényező az eredmény és a beavatkozás közötti összhang. A beavatkozáshoz szorosan illeszkedő vagy ahhoz igazodó kimeneti mérések valószínűleg nagyobb hatásméretet mutatnak, mint a beavatkozáshoz kevésbé szorosan illeszkedő mérések. Ha a kimeneti mérőszám ugyanazokat az anyagokat (például könyveket vagy szövegeket) tartalmazza, mint amelyeket a beavatkozásban használnak, vagy a beavatkozás részeként adják be a beavatkozó csoportnak, akkor azt a beavatkozáshoz túlságosan igazítottnak tekintik. Ezekben a helyzetekben a beavatkozási csoport tisztességtelen előnyre tehet szert az összehasonlító csoporttal szemben, és a hatásméret nem tükrözi megfelelően a beavatkozás hatásait. A beavatkozással túlságosan összehangolt eredménymutatókat nem vesszük figyelembe a beavatkozás értékelésének meghatározásakor ebben a felülvizsgálatban.

A fogyatékossággal élő gyermekek számára a kora gyermekkori nevelési beavatkozások előnyei jóval a beavatkozás befejezése után is megmaradnak. Így a beavatkozás végén, valamint az azt követő bármely időpontban végzett mérések elfogadhatóak. A beavatkozás után több hónappal vagy évvel végzett mérések erős bizonyítékot szolgáltathatnak a beavatkozás hatékonyságára. Ez az áttekintés azonban a beavatkozás értékelésének és a javulási indexek kidolgozásához az azonnali, tesztelés utáni eredményeket helyezi előtérbe, mivel ezek az eredmények a legelterjedtebbek. A felülvizsgálat a jelentés függelékeiben további nyomonkövetési eredményeket is tartalmaz, amennyiben azok rendelkezésre állnak és megfelelőek.

4. A kimeneti mérések megbízhatósága és érvényessége

A vizsgálatnak legalább egy olyan gyermeki kimeneti mérést kell tartalmaznia, amely bizonyítékkal rendelkezik az arc érvényességére, és a tesztekből vagy skálákból álló kimenetek esetében a WWC által meghatározott, az itt felsorolt szabványok alapján értékelt megfelelő pontszám megbízhatóságára. Ha az egyes kimeneti mérőszámok pontmegbízhatósága nincs megadva a kutatási cikkben, a teszt vagy skála kiadójától vagy más forrásból származó adatok felhasználhatók a vizsgálati populációra vonatkozó kimeneti mérőszám pontmegbízhatóságának megállapításához. Ha a tanulmányok nem elemezték a kimeneti mérőszámok pontmegbízhatóságát vizsgálati adatok felhasználásával, és a tesztkiadók vagy más kutatók elemzései nem terjedtek ki a fogyatékossággal élő gyermekekre, akkor a mérőszámok pontmegbízhatóságára és érvényességére vonatkozó minden egyéb rendelkezésre álló bizonyítékot figyelembe kell venni a vizsgálati populációra vonatkozóan, és a szakértőkkel konzultálva, eseti alapon kell dönteni a kimeneti mérőszám megfelelőségéről. A szabványok a következők:

• Belső konzisztencia pontmegbízhatóság: legalább 0,60
• Időbeli stabilitás/visszateszt pontmegbízhatóság: legalább 0,40
• Belső értékelő pontmegbízhatóság: legalább 0.50 (százalékos egyezés, korreláció, Kappa)

Ha egy eredménymutató a mintában szereplő különböző gyermekek különböző tesztjeiből áll össze, akkor érvényes eredménynek tekinthető, ha a következő kritériumok teljesülnek:

• A tesztek állítólag hasonló konstrukciót mérnek, és hasonló populáción standardizálták őket, amint azt a teszt kézikönyve vagy a tesztre összpontosító empirikus vizsgálatok tükrözik.
• A teszteknek meg kell felelniük a fent leírt megbízhatósági küszöbértékeknek.
• Egyértelmű szabályoknak kell lenniük arra vonatkozóan, hogy melyik tesztet melyik gyermeknek adják be, és a szabályokat azonos módon kell alkalmazni a kezelési és a kontrollcsoportra.
• A kezelési és a kontrollcsoportnak a kiindulási és a nyomonkövetési időpontban beadott tesztek eloszlásának hasonlónak kell lennie.

Ha az e kritériumok alkalmazásához szükséges információk nem állnak rendelkezésre a cikkben, akkor szerzői lekérdezést kezdeményeznek az információk beszerzésére.

5. Időintervallum, amelyben a tanulmányokat el kellett végezni ahhoz, hogy megfelelőek legyenek a beavatkozási jelentéshez

A tanulmányoknak 1986-ban vagy később kellett megjelenniük.

6. A vizsgálati populáció jellemzőinek meghatározása

Az áttekintésben való részvételhez a tanulmány populációjának tartalmaznia kell

• 3 és 5 év közötti, óvodába még be nem íratott gyermekeket vagy óvodai programban részt vevő idősebb gyermekeket. Ha a szerzők mind az óvodáskorú, mind az óvodáskorú gyermekekről összesített adatokat szolgáltatnak, és nem állnak rendelkezésre bontott adatok, a felülvizsgálat akkor veszi fel a vizsgálatot, ha a gyermekek legalább 50%-a óvodáskorú.
• Fogyatékkal élő gyermekek, a korábbi meghatározás szerint. A fogyatékkal élő és nem fogyatékkal élő gyermekekre vonatkozó tanulmányok esetében a fogyatékkal élő gyermekek alcsoportjára vonatkozó eredmények élveznek elsőbbséget. Ha azonban a vizsgálati minta legalább 50%-a fogyatékossággal élő gyermekekből áll, az összesített eredmények is bevonhatók a felülvizsgálatba.
• Angolul beszélő vagy nem angol anyanyelvű, angolul tanuló gyermekek.
• Az Egyesült Államokban lakó gyermekek (beleértve az USA területeit és törzsi egységeit).

7. A beavatkozás hatékonysága a gyermekek alcsoportjaiban

A beavatkozás hatékonysága valószínűleg eltérő jellemzőkkel rendelkező gyermekek között változik, és a beavatkozás hatékonyságát vizsgáló tanulmány vizsgálhatja a beavatkozás hatásait a gyermekek fontos alcsoportjaiban. A fogyatékossággal élő gyermekek kora gyermekkori nevelési beavatkozásokkal kapcsolatos tanulmányok esetében, fontos alcsoportjellemzők:

• Kor (3-4 éves és 4-5 éves)
• nem
• szocioökonómiai státusz
• rassz/nemzetiség
• angol nyelvet tanulók státusza
• Fogyatékosság típusa

.

• Fogyatékosság súlyossága

Ha a WWC evidencia standardjainak megfelelő tanulmány a beavatkozás hatásairól számol be ezen alcsoporttípusok esetében, és az alcsoport-elemzések megfelelnek a teljes minta eredményeihez szükséges összes WWC-standardnak, ezeket a hatásokat és elemzéseket a beavatkozási jelentés függelékében fogják szerepeltetni.

8. A beavatkozás hatékonysága a különböző környezetekben

Az a vizsgálat, amely egy beavatkozás hatékonyságát kívánja tesztelni, különböző környezetekben vizsgálhatja a hatásokat. A fogyatékossággal élő óvodáskorú gyermekekre vonatkozó kora gyermekkori nevelési beavatkozásokkal kapcsolatos tanulmányok esetében ezeket a környezeteket a következők szerint lehet meghatározni:

• Település (városi, külvárosi vagy vidéki)
• Környezet (gyermekgondozási központ, iskolai óvoda, Head Start, egyéb)
• A környezet típusa (szegregált, inkluzív)
• A személyzet végzettsége, képzettsége vagy képzése (pl., minősítés, több éves tapasztalat)

Ha a WWC evidenciaszabványainak megfelelő tanulmány külön-külön számol be a beavatkozás hatásairól ezekre a helyszínekre vonatkozóan, és az eredmények helyszínek szerinti elemzései megfelelnek a teljes minta eredményeihez szükséges valamennyi WWC-szabványnak, akkor ezeket a hatásokat és elemzéseket a beavatkozási jelentés függelékében fogják szerepeltetni.

9. Lemorzsolódás

A WWC Eljárások és szabványok kézikönyvében (2.0 verzió) leírtak szerint a WWC-t aggasztja az RCT-k esetében a beavatkozási és összehasonlító csoportokból való általános és differenciált lemorzsolódás, mivel mindkettő hozzájárul a beavatkozás becsült hatásának lehetséges torzításához. A WWC által kidolgozott lemorzsolódási torzítási modellt fogják használni annak meghatározásához, hogy egy vizsgálat megfelel-e a WWC evidencia standardjainak (lásd a kézikönyv A. függelékét).

Ha az általános és a differenciált lemorzsolódási arányok kombinációja miatt egy RCT-vizsgálat az alábbi ábrán látható zöld területre esik, a lemorzsolódás “alacsonynak” és a torzítás mértéke elfogadhatónak tekinthető. Ez azt a feltételezést tükrözi, hogy a fogyatékossággal élő gyermekek kora gyermekkori nevelési beavatkozásokkal kapcsolatos vizsgálatokban a lemorzsolódás nagy része olyan exogén tényezőknek tudható be, mint például a szülők mobilitása és távolléte azokon a napokon, amikor a vizsgálatokat végezték. Az olyan RCT-k esetében azonban, amelyeknél az általános és a differenciált lemorzsolódási arányok kombinációja a piros területen van, a lemorzsolódás “magasnak” minősül, és potenciálisan magas szintű torzítással jár, ezért az egyenértékűséget kell bizonyítani.

A WWC által áttekintett számos vizsgálat többszintű elrendezésen alapul. Nemcsak a klaszterek (például iskolák), hanem a klasztereken belüli mintatagok (például diákok) elvesztése is okozhat torzítást, ha ezek a mintatagok a kezelési státuszuk következtében lemorzsolódnak. A lemorzsolódási standard mindkét szintre vonatkozik. A standardnak való megfeleléshez a vizsgálatnak először a klaszterek szintjén kell megfelelnie, a fent meghatározott lemorzsolódási határértéket alkalmazva. Másodszor, a vizsgálatnak az alklaszterek szintjén kell megfelelnie, szintén a fent meghatározott lemorzsolódási határértéket alkalmazva, a lemorzsolódás csak a még a mintában lévő klasztereken alapul. Ez azt jelenti, hogy az alklaszterek lemorzsolódásának számításánál a nevező csak azon iskolák vagy osztálytermek mintatagjait tartalmazza, amelyek a klaszterek lemorzsolódása után a vizsgálatban maradnak.

10. A csoportok egyenértékűsége

Ha a vizsgálati terv egy nagymértékű lemorzsolódással járó RCT vagy egy QED, a vizsgálatnak bizonyítania kell a beavatkozási és az összehasonlító csoportok kiindulási egyenértékűségét az elemzett minta esetében. Az egyenértékűség bizonyítása ezekben a vizsgálatokban a szerzőt terheli. A vizsgálati jelentésnek elegendő jelentést kell tartalmaznia a beavatkozás előtti adatokról (vagy a vizsgálat szerzőjétől kell beszerezni) ahhoz, hogy a felülvizsgálati csoport következtetéseket vonhasson le a beavatkozási és az összehasonlító csoport egyenértékűségére vonatkozóan. A beavatkozás előtti jellemzők közé tartozhat(nak) a beavatkozás előtt alkalmazott kimeneti mérőszám(ok), vagy más olyan mérőszámok, amelyek nem azonosak a kimeneti mérőszám(ok)kal, de nagymértékben kapcsolódnak azokhoz.

Ebben a témakörben lehetséges, hogy egy vizsgálat egy vagy több területen megfelel a bizonyítási követelményeknek, míg más területeken nem. Ezért a kiindulási egyenértékűség megállapítására vonatkozó szabályokat minden egyes területen belül alkalmazni kell.

A csoportok akkor tekinthetők egyenértékűnek, ha a csoportok beavatkozás előtti jellemzőiben jelentett különbségek kisebbek vagy egyenlőek a minta összesített standard eltérésének egynegyedével, függetlenül a statisztikai szignifikanciától. Ha azonban a különbségek nagyobbak, mint 0,05 standard eltérés és kisebbek vagy egyenlőek a mintában az összevont standard eltérés egynegyedével, az elemzésnek analitikusan kontrollálnia kell az egyéni szintű, beavatkozás előtti jellemző(ke)t, amelyekben a csoportok különböznek. Ha a beavatkozás előtti különbségek 0,25-nél nagyobbak a felsorolt jellemzők bármelyike tekintetében, a vizsgálat nem felel meg az előírásoknak.

A QED-kben a szelekciós torzítás lehetősége miatt az a lehetőség is aggodalomra ad okot, hogy a beavatkozási és az összehasonlító csoportokat különböző populációkból választották ki. A QED-vizsgálatokban a beavatkozási és az összehasonlító csoportok kiválasztásának helyszínei közötti alapvető különbségek, valamint a beavatkozási és az összehasonlító csoportok jellemzőinek kiindulási különbségei azt jelezhetik, hogy a két csoportba tartozó gyermekek különböző populációkból kerültek ki, még akkor is, ha az előzetes tesztek alapján azonosak voltak. A statisztikailag szignifikáns vagy nagy (fél standard eltérés vagy annál nagyobb) különbségek a beavatkozási és az összehasonlító csoportba tartozó gyermekek jellemzőiben és beállításaiban azt bizonyítják, hogy a csoportok különböző populációkból kerültek ki, és a vizsgálat nem felel meg a WWC evidencia standardjainak. Fontos jellemzők és beállítások, amelyeket figyelembe kell venni, ha ezekről beszámolnak:

• A fogyatékossággal vagy késéssel élő gyermekek aránya
• A fogyatékosság egy bizonyos típusával vagy súlyosságával rendelkező gyermekek aránya
• A IEP-pel rendelkező gyermekek aránya
• A meghatározott programkörnyezetből származó gyermekek aránya, mint például Head Start és iskolai óvodai programok
• az alacsony társadalmi-gazdasági státuszú (SES) családokból származó gyermekek aránya

11. Statisztikai és elemzési kérdések

Az alacsony lemorzsolódással rendelkező RCT-vizsgálatokban nem szükséges statisztikai kontrollokat alkalmazni az elemzésben, bár a jól megvalósított RCT-k esetében a statisztikai kiigazítás megengedett, és segíthet pontosabb hatásnagyság-becslések létrehozásában. Az RCT-k esetében a hatásnagyság-becsléseket kiigazítják a beavatkozás előtti, kiindulási időpontban fennálló jellemzők közötti különbségekkel (ha rendelkezésre állnak), a különbség a különbségekben módszerrel, ha a szerzők nem igazították ki az előzetes vizsgálatot (lásd a kézikönyv B. függelékét). Az egyenértékűségi szabvány által megkövetelt, a beavatkozás előtti jellemzőkön túlmenően az elemzésben statisztikai kiigazítást lehet végezni más mérések tekintetében is, bár ez nem kötelező.

A WWC felülvizsgálata esetében a preferencia az, hogy a hatásméretekről a beavatkozás utáni, a beavatkozás előtti méréssel korrigált átlagokra vonatkozóan számoljanak be és számítsák ki a hatásméreteket. Ha egy vizsgálat kiigazítatlan és kiigazított beavatkozás utáni átlagokat is közöl, a WWC felülvizsgálat a kiigazított átlagokat és a kiigazítatlan standard eltéréseket fogja közölni. Ha a beavatkozás utáni korrigált átlagokat nem közlik, akkor azokat a szerzőktől kérik.

A csoportkülönbségek statisztikai szignifikanciáját újraszámítják, ha (1) a tanulmány szerzői nem számították ki a statisztikai szignifikanciát, (2) a tanulmány szerzői nem vették figyelembe a klaszteresedést, ha a hozzárendelési egység és az elemzési egység között eltérés volt, vagy (3) a tanulmány szerzői nem vették figyelembe a többszörös összehasonlításokat, ha szükséges. Ellenkező esetben a felülvizsgálati csoport elfogadja a tanulmányban megadott számításokat.

Ha hibásan illeszkedő elemzésről számolnak be (azaz az elemzési egység nem azonos a hozzárendelési egységgel), és a szerzők nem tudnak korrigált elemzést benyújtani, a WWC által kiszámított hatásméretek a klaszterezéssel kapcsolatos statisztikai kiigazítást tartalmazzák. Az ebben a felülvizsgálatban használt alapértelmezett osztályon belüli korreláció 0,20 a kognitív, nyelvi, műveltségi és matematikai eredmények esetében, és 0,10 a szociális-érzelmi fejlődés és viselkedés, funkcionális képességek és motoros fejlődés eredményei esetében. A klaszterkorrekcióra vonatkozó magyarázatért lásd a WWC Eljárások és szabványok kézikönyvének C. függelékét.

Ha többszörös összehasonlítás történik (azaz egy vizsgálatban egy eredménytartományon belül több kimeneti mérést értékelnek), és ezt a szerzők nem veszik figyelembe, a WWC a Benjamini-Hochberg-korrekció segítségével a hatás jelentett statisztikai szignifikanciájának kiigazításával veszi figyelembe ezt a többszörösséget. A WWC által a többszörös összehasonlítások kiigazítására használt képleteket lásd a kézikönyv D. függelékében.

Minden szabvány az általános eredményekre és a részminták elemzéseire egyaránt vonatkozik.

A többszörös összehasonlítások kiigazítására használt képleteket lásd a kézikönyv D. függelékében.