II. Erityiset aiheparametrit

1. Vammaisille lapsille suunnattujen soveltuvien varhaiskasvatusinterventioiden ominaisuudet
2. Intervention toistettavuuden osatekijät
3. Vammaisten lasten tulokset
4. Tulosmittareiden luotettavuus ja validiteetti
5. Aikaväli, jolla tutkimukset olisi pitänyt tehdä, jotta ne olisivat soveltuneet interventiosta laadittavaan raporttiin

.

6. Tutkimusjoukon ominaisuuksien määrittely
7. Toimenpiteen vaikuttavuus lasten alaryhmissä
8. Toimenpiteen vaikuttavuus eri toimintaympäristöissä
9. Häviäminen
10. Ryhmien vastaavuus
11. Statistiset ja analyyttiset kysymykset

Seuraavissa parametreissa täsmennetään, mitkä tutkimukset otetaan huomioon analyysejä tehtäessä ja mitkä näkökohdat näissä tutkimuksissa koodataan tarkastelua varten.

1. Vammaisille lapsille suunnattujen tukikelpoisten varhaiskasvatusinterventioiden ominaisuudet

Kelpoisten interventioiden ensisijaisena tavoitteena on esiopetusikäisten lasten kouluvalmiuteen liittyvien tulosten parantaminen. Tukikelpoisiin interventioihin

• kuuluvat kattavat ja täydentävät opetussuunnitelmat, kuten Creative Curriculum, Incredible Years ja Big Math for Little Kids; käytännöt, kuten Dialogic Reading ja aikaviive; ja terapiat, joilla pyritään edistämään toimintakykyä ja ehkäisemään toissijaisia vammoja, kuten sensorinen integraatiohoito.
• Toteutuksen on tapahduttava koulussa tai esiopetuskeskuksessa, tai jos se tapahtuu muissa tiloissa (kuten kliinisissä tiloissa tai perhekodeissa), se on toteutettava IDEA:n kautta rahoitetun koulun, esiopetuksen tai ohjelman johdolla tai yhteistyössä sen kanssa.
• On oltava toteutettu vuonna 1986 (jolloin hyväksyttiin PL 99-457, jolla hyväksyttiin C-osa ja B-osan mukaiset vammaisten lasten esikoulupalvelut) tai myöhemmin.
• On oltava toistettavissa ja levitettävissä.

2. Intervention toistettavuuden osatekijät

Tutkimuksessa on dokumentoitava intervention tärkeät ominaisuudet, jotta se voidaan luotettavasti toistaa eri osallistujilla, muissa ympäristöissä ja muina ajankohtina, muun muassa seuraavat:

• Onko interventio brändätty vai ei.
• Jos se on brändätty, on oltava saatavilla tietoa siitä, miten interventio on saatavilla. Tuotemerkillä varustetuilla interventioilla on yleensä ulkopuolinen kehittäjä, joka tarjoaa teknistä apua tai myy/jakelee interventiota. Tuotemerkillä varustetut interventiot voidaan joko paketoida tai ne ovat muulla tavoin saatavilla jakelua ja käyttöä varten yksittäisen toimipisteen ulkopuolella, ja niillä on riittävä dokumentaatio, jonka avulla muutkin kuin kehittäjät voivat toteuttaa opetussuunnitelman tai käytännön (esim. käsikirja, opetussuunnitelmaopas tai muut riittävän yksityiskohtaiset ohjeet toteutusta varten). Tuotemerkillä varustetut interventiot voivat olla myös suojattuja tavaramerkillä tai tekijänoikeudella.
• Tutkimuksissa interventioista, jotka eivät ole tuotemerkillä varustettuja, on kuvattava interventio, mukaan lukien tavoiteltu(t) taito(t), lähestymistapa taidon (taitojen) parantamiseen, kohderyhmä, toteutetun intervention osatekijät tai ominaispiirteet, niiden olosuhteiden ominaispiirteet, joissa interventio toteutettiin, intervention kesto ja intensiteetti sekä interventiota hallinnoivien yksilöiden ominaisuudet ja koulutus.

3. Vammaisten lasten tulokset

Voidakseen olla mukana katsauksessa tutkimuksen on sisällettävä vähintään yksi asiaankuuluva lapsen tulos, johon interventio on tarkoituksellisesti kohdistettu ja jota on mitattu suoraan tekemällä lapselle arviointi tai havainnoimalla lasta.

Relevantteja tuloksia ovat ne, jotka kuuluvat seuraaviin osa-alueisiin:

• Kognitio
• Kommunikaatio/kielitaidot
• Lukutaito
• Matemaattiset taidot
• Sosiaalis-emotionaalinen kehitys ja käyttäytyminen
• Toiminnalliset kyvyt
• Kehollinen hyvinvointi

Tuloksen ja toimenpiteen yhteensovittaminen toisiinsa kuuluu myös tarkastelussa huomioon otettavaan seikkaan. Tulosmittarit, jotka ovat läheisesti linjassa tai räätälöityjä intervention kanssa, osoittavat todennäköisesti suurempia vaikutuskokoja kuin ne, jotka ovat vähemmän läheisesti linjassa intervention kanssa. Jos lopputulosmittari sisältää joitakin samoja materiaaleja (kuten kirjoja tai tekstejä), joita käytetään interventiossa, tai jos se annetaan interventioryhmälle osana interventiota, sen katsotaan olevan liian lähellä interventiota. Näissä tilanteissa interventioryhmällä voi olla epäoikeudenmukainen etu vertailuryhmään nähden, eikä vaikutuskoko anna oikeudenmukaista kuvaa intervention vaikutuksista. Tulosmittareita, jotka ovat liikaa sidoksissa interventioon, ei oteta huomioon määriteltäessä intervention luokituksia tässä katsauksessa.

Vammaisille lapsille suunnattujen varhaiskasvatusinterventioiden hyötyjen on tarkoitus säilyä pitkälle intervention päättymisen jälkeen. Näin ollen toimenpiteet intervention lopussa sekä milloin tahansa sen jälkeen voidaan ottaa huomioon. Useiden kuukausien tai vuosien kuluttua toimenpiteestä tehdyt mittaukset voivat antaa vahvaa näyttöä toimenpiteen tehokkuudesta. Tässä katsauksessa asetetaan kuitenkin etusijalle välittömästi testin jälkeen tehdyt havainnot interventioarviointien ja parannusindeksien kehittämiseksi, koska nämä havainnot ovat yleisimpiä. Katsaukseen sisältyy raportin liitteinä muita seurantatuloksia, jos niitä on saatavilla ja jos ne ovat tarkoituksenmukaisia.

4. Tulosmittareiden luotettavuus ja validiteetti

Tutkimukseen on sisällyttävä vähintään yksi lasta koskeva tulosmittari, jolla on näyttöä kasvotusten validiteetista, ja testejä tai asteikkoja sisältävien tulosmittareiden kohdalla on oltava riittävä pistemäärän reliabiliteetti, joka on arvioitu tässä luetelluilla standardeilla, sellaisina kuin se on määritetty Maailman ympäristö- ja vesiviljelykeskuksessa (WWC). Jos kunkin lopputulosmittarin pisteytysluotettavuutta ei ole eritelty tutkimusartikkelissa, voidaan käyttää testin tai asteikon julkaisijalta tai muista lähteistä saatuja tietoja lopputulosmittarin pisteytysluotettavuuden määrittämiseksi tutkimuspopulaation osalta. Jos tutkimuksissa ei ole analysoitu lopputulosmittareiden pistemäärän luotettavuutta tutkimusaineiston avulla ja jos testien julkaisijoiden tai muiden tutkijoiden tekemissä analyyseissä ei ole ollut mukana vammaisia lapsia, kaikki muu saatavilla oleva näyttö mittarin pistemäärän luotettavuudesta ja pätevyydestä tutkimuspopulaation osalta otetaan huomioon, ja päätös lopputulosmittarin riittävyydestä tehdään tapauskohtaisesti asiantuntijoita kuullen. Standardit ovat:

• Pisteytyksen sisäisen johdonmukaisuuden reliabiliteetti: vähintään 0,60
• Pisteytyksen ajallinen stabiilisuus/test-retest reliabiliteetti: vähintään 0,40
• Pisteytyksen reliabiliteetti sisäisen johdonmukaisuuden välillä: vähintään 0,60
• Pisteytyksen reliabiliteetti: vähintään 0.50 (prosentuaalinen yhteisymmärrys, korrelaatio, Kappa)

Jos lopputulosmittari koostuu eri testeistä otoksen eri lapsille, sitä pidetään validina lopputuloksena, jos seuraavat kriteerit täyttyvät:

• Testien väitetään mittaavan samankaltaista konstruktiota, ja ne on standardoitu samankaltaisella populaatiolla, mikä käy ilmi testin käsikirjasta tai testiin keskittyneistä empiirisistä tutkimuksista.
• Testien on täytettävä edellä kuvatut luotettavuuden raja-arvot.
• On oltava selkeät säännöt sille, mikä testi annetaan millekin lapselle, ja sääntöjä on sovellettava samalla tavalla hoito- ja kontrolliryhmiin.
• Hoito- ja kontrolliryhmille lähtötilanteessa ja seurannassa annettujen testien jakauman on oltava samanlainen.

Jos näiden kriteerien soveltamiseen tarvittavia tietoja ei ole saatavissa artikkelista, aloitetaan kirjoittajakysely tietojen saamiseksi.

5. Aikaväli, jolla tutkimukset on pitänyt tehdä, jotta ne soveltuisivat toimenpidekatsaukseen

Tutkimukset on pitänyt julkaista vuonna 1986 tai sen jälkeen.

6. Tutkimuspopulaation ominaisuuksien määrittely

Tutkimuksen populaatioon on kuuluttava

• 3-5-vuotiaita lapsia, jotka eivät ole vielä päiväkodissa, tai vanhempia esikouluohjelmaan osallistuvia lapsia. Jos kirjoittajat toimittavat koottuja tietoja sekä esikoulu- että päiväkotilapsista eikä eriteltyjä tietoja ole saatavilla, katsaukseen sisällytetään tutkimus, jos vähintään 50 % lapsista on esikoulussa.
• Vammaiset lapset, kuten edellä on määritelty. Vammaisia ja ei-vammaisia lapsia koskevissa tutkimuksissa etusijalle asetetaan vammaisten lasten alaryhmää koskevat tulokset. Jos kuitenkin vähintään 50 % tutkimuksen otoksesta koostuu vammaisista lapsista, kokonaistulokset voidaan sisällyttää tarkasteluun.
• Lapset, jotka puhuvat englantia tai ovat englantia äidinkielenään puhumattomia englanninoppijoita.
• Lapset, jotka asuvat Yhdysvalloissa (mukaan lukien Yhdysvaltojen alueet ja heimoyksiköt).

7. Intervention vaikuttavuus lasten alaryhmissä

Intervention vaikuttavuus vaihtelee todennäköisesti lapsilla, joilla on erilaisia ominaispiirteitä, ja tutkimuksessa, jossa testataan intervention vaikuttavuutta, voidaan tarkastella intervention vaikutuksia tärkeiden lasten alaryhmien osalta. Vammaisille lapsille suunnattuja varhaiskasvatusinterventioita koskevat tutkimukset, tärkeitä alaryhmien ominaisuuksia ovat muun muassa

• Ikä (3-4 vuotta ja 4-5 vuotta)
• Sukupuoli
• Sosioekonominen asema
• Rotu/etnisyys
• Englannin kielen oppijan asema
• Vammaisuuden tyyppi

.

• Vammaisuuden vaikeusaste

Kun tutkimus, joka täyttää WWC:n näyttöön liittyvät standardit, raportoi interventiovaikutukset näiden alaryhmätyyppien osalta ja alaryhmäanalyysit täyttävät kaikki WWC:n standardit, jotka vaaditaan koko otoksen tuloksilta, nämä vaikutukset ja analyysit sisällytetään toimenpideraportin liitteeseen.

8. Intervention vaikuttavuus eri toimintaympäristöissä

Tutkimuksessa, jossa pyritään testaamaan intervention vaikuttavuutta, voidaan tarkastella vaikutuksia eri toimintaympäristöissä. Tutkimuksissa, jotka koskevat vammaisille esikouluikäisille lapsille suunnattuja varhaiskasvatusinterventioita, nämä ympäristöt voidaan määritellä

• sijaintipaikan (kaupunki, esikaupunki tai maaseutu)
• ympäristön (päiväkoti, koulupohjainen esikoulu, Head Start, muu)
• ympäristön tyyppi (erilliset, inklusiiviset tilat)
• henkilöstön koulutus, pätevyys tai ammatillinen pätevyys (esim, sertifiointi, kokemusvuodet)

Kun tutkimus, joka täyttää WWC:n näyttöön liittyvät standardit, raportoi interventiovaikutukset erikseen näissä toimintaympäristöissä ja tulosten analyysit toimintaympäristöittäin täyttävät kaikki WWC:n standardit, joita edellytetään koko otoksen tuloksilta, nämä vaikutukset ja analyysit sisällytetään interventioraportin liitteeseen.

9. Häviäminen

Kuten WWC:n menettelyjen ja standardien käsikirjassa (versio 2.0) on kuvattu, WWC on huolissaan RCT-tutkimusten interventio- ja vertailuryhmien yleisestä ja eriytyneestä häviämisestä, sillä kumpikin vaikuttaa osaltaan intervention arvioidun vaikutuksen mahdolliseen harhaan. WWC:n kehittämää hukkamallia käytetään määriteltäessä, täyttääkö tutkimus WWC:n näyttöstandardit (ks. käsikirjan liite A).

Kun RCT-tutkimuksen kokonaishäviämisasteen ja eriytetyn häviämisasteen yhdistelmä saa aikaan sen, että RCT-tutkimus sijoittuu vihreälle alueelle alla olevassa kaaviossa, häviämistä pidetään ”vähäisenä” ja harhan tasoa hyväksyttävänä. Tämä kuvastaa oletusta, jonka mukaan suurin osa vammaisille lapsille suunnattuja varhaiskasvatusinterventioita koskevissa tutkimuksissa tapahtuvasta poistumasta johtuu ulkoisista tekijöistä, kuten vanhempien liikkuvuudesta ja poissaoloista arvioinnin suorittamispäivinä. Niiden RCT-tutkimusten osalta, joissa kokonaishäviö- ja eroavaisuusasteiden yhdistelmät ovat punaisella alueella, häviö katsotaan kuitenkin ”korkeaksi” ja niissä on mahdollisesti suuri harha, minkä vuoksi niiden on osoitettava vastaavuus.

Monet WWC:n tarkastamat tutkimukset perustuvat monitasoisiin konstruktioihin. Harhaa voi syntyä paitsi klustereiden (kuten koulujen) häviämisestä myös klustereiden sisällä olevista otoksen jäsenistä (kuten oppilaista), jos nämä otoksen jäsenet hukkuvat hoitotilanteen seurauksena. Häviämisstandardia sovelletaan molempiin tasoihin. Täyttääkseen standardin tutkimuksen on ensin läpäistävä klusteritaso käyttäen edellä esitettyä poistuman rajaa. Toiseksi tutkimuksen on läpäistävä alaryhmätasolla käyttäen jälleen edellä määriteltyä poistuman rajaa, ja poistuman on perustuttava vain otoksessa jäljellä oleviin klustereihin. Toisin sanoen alaklusterien poistuman laskennan nimittäjä sisältää vain niiden koulujen tai luokkahuoneiden otoksen jäsenet, jotka jäävät tutkimukseen klusterien poistuman jälkeen.

10. Ryhmien vastaavuus

Jos tutkimusasetelma on RCT, jossa on suuri poistuma, tai QED, tutkimuksen on osoitettava interventio- ja vertailuryhmien lähtötilanteen vastaavuus analysoitavan otoksen osalta. Vastuu vastaavuuden osoittamisesta näissä tutkimuksissa on tekijällä. Tutkimusraporttiin on sisällytettävä (tai se on saatava tutkimuksen tekijältä) riittävä raportointi interventiota edeltävistä tiedoista, jotta arviointiryhmä voi tehdä johtopäätöksiä interventio- ja vertailuryhmien vastaavuudesta. Toimenpidettä edeltäviin ominaisuuksiin voi kuulua ennen toimenpidettä suoritettu(t) lopputulosmittari(t) tai muita mittareita, jotka eivät ole samoja kuin lopputulosmittari(t), mutta jotka liittyvät läheisesti siihen (niihin).

Tässä aihepiirissä on mahdollista, että tutkimus täyttää näyttöä koskevat vaatimukset yhdellä tai useammalla osa-alueella mutta ei muilla. Näin ollen perustason vastaavuuden määrittämistä koskevia sääntöjä olisi sovellettava kullakin osa-alueella.

Ryhmiä pidetään samanarvoisina, jos raportoidut erot ryhmien interventiota edeltävissä ominaisuuksissa ovat enintään neljäsosa otoksen yhdistetystä keskihajonnasta riippumatta tilastollisesta merkitsevyydestä. Jos erot ovat kuitenkin suurempia kuin 0,05 keskihajontaa ja pienempiä tai yhtä suuria kuin yksi neljäsosa otoksen yhdistetystä keskihajonnasta, analyysissä on kontrolloitava analyyttisesti yksilötason interventiota edeltävä(t) ominaisuus(t), jonka suhteen ryhmät eroavat toisistaan. Jos interventiota edeltävät erot ovat yli 0,25 jonkin luetellun ominaisuuden osalta, tutkimus ei täytä standardeja.

Valintavirheiden mahdollisuus QED-tutkimuksissa huomioon ottaen huolenaiheena on myös mahdollisuus, että interventio- ja vertailuryhmät on poimittu eri populaatioista. Peruserot toimintaympäristöissä, joista QED-tutkimuksen interventio- ja vertailuryhmät poimittiin, sekä interventio- ja vertailuryhmien ominaisuuksien lähtötasoerot voivat viitata siihen, että lapset näissä kahdessa ryhmässä poimittiin erilaisista populaatioista, vaikka ne olisivatkin olleet samanarvoisia ennakkotestien perusteella. Tilastollisesti merkitsevät tai suuret (puoli keskihajontaa tai enemmän) erot interventio- ja vertailuryhmään kuuluvien lasten ominaisuuksissa ja asetuksissa ovat osoitus siitä, että ryhmät on poimittu eri populaatioista, eikä tutkimus täytä WWC:n näyttöön liittyviä standardeja. Tärkeitä ominaisuuksia ja olosuhteita, jotka on otettava huomioon, kun niitä raportoidaan, ovat

• Vammaisten tai viivästyneiden lasten osuus
• Prosentti lapsista, joilla on tietyntyyppinen tai -asteinen vamma
• Prosentti lapsista, joilla on IEP
• Prosentti lapsista, jotka ovat peräisin tietyistä ohjelmaympäristöistä, kuten Head Start ja koulupohjaiset esikouluohjelmat
• Matalan sosioekonomisen aseman (SES) perheistä tulevien lasten osuus

11. Tilastolliset ja analyyttiset kysymykset

RCT-tutkimuksissa, joissa poistuma on vähäinen, ei tarvitse käyttää tilastollisia kontrolleja analyysissä, vaikka tilastollinen oikaisu hyvin toteutetuissa RCT-tutkimuksissa on sallittua, ja se voi auttaa tuottamaan tarkempia vaikutuksen koon estimaatteja. RCT-tutkimusten osalta vaikutuksen koon estimaatit oikaistaan lähtötilanteessa ennen interventiota vallinneiden ominaisuuksien eroilla (jos ne ovat saatavilla) käyttäen difference-in-differences-menetelmää, jos tekijät eivät ole tehneet oikaisua ennakkotestien osalta (ks. käsikirjan liite B). Ekvivalenssistandardin edellyttämien interventiota edeltävien ominaisuuksien lisäksi analyysissä voidaan tehdä tilastollisia mukautuksia myös muiden toimenpiteiden osalta, vaikka niitä ei vaadita.

WWC:n katsauksen osalta on suositeltavaa raportoida ja laskea vaikutuskoot interventiota edeltävällä toimenpiteellä oikaistuille interventiota edeltävälle toimenpiteelle oikaistuille toimenpiteen jälkeisille keskiarvoille. Jos tutkimus raportoi sekä sopeuttamattomat että sopeutetut intervention jälkeiset keskiarvot, WWC-arvioinnissa raportoidaan sopeutetut keskiarvot ja sopeuttamattomat keskihajonnat. Jos toimenpiteen jälkeisiä oikaistuja keskiarvoja ei ilmoiteta, ne pyydetään tekijöiltä.

Ryhmien välisten erojen tilastollinen merkitsevyys lasketaan uudelleen, jos (1) tutkimuksen tekijät eivät ole laskeneet tilastollista merkitsevyyttä, (2) tutkimuksen tekijät eivät ole ottaneet huomioon klusteroitumista, kun määritys- ja analyysiyksikkö eivät ole sopusoinnussa keskenään, tai (3) tutkimuksen tekijät eivät ole ottaneet huomioon moninkertaisia vertailuja tarvittaessa. Muussa tapauksessa arviointiryhmä hyväksyy tutkimuksessa esitetyt laskelmat.

Jos raportoidaan virheellinen analyysi (eli analyysiyksikkö ei ole sama kuin osoitusyksikkö) eivätkä tekijät pysty toimittamaan korjattua analyysia, WWC:n laskemiin vaikutussuureisiin sisällytetään tilastollinen mukautus klusterointia varten. Tässä katsauksessa käytetyt oletusarvoiset luokkien sisäiset korrelaatiot ovat 0,20 kognitiivisten, kielellisten, luku- ja kirjoitustaidon ja matematiikan tulosten osalta ja 0,10 sosiaalis-emotionaalisen kehityksen ja käyttäytymisen, toiminnallisten kykyjen ja motorisen kehityksen tulosten osalta. Selitys klusterointikorjauksesta on WWC Procedures and Standards Handbook -käsikirjan liitteessä C.

Kun tehdään moninkertaisia vertailuja (eli arvioidaan useita lopputulosmittareita yhdellä tulosalueella samassa tutkimuksessa), joita kirjoittajat eivät ole ottaneet huomioon, WWC:ssä otetaan huomioon tämä moninkertaisuus mukauttamalla raportoitua vaikutuksen tilastollista merkitsevyyttä Benjamini-Hochbergin korjauksen avulla. Katso käsikirjan liitteestä D kaavat, joita WWC käyttää moninkertaisten vertailujen korjaamiseen.

Kaikki standardit koskevat sekä kokonaistuloksia että osaotosten analyysejä.