II. Specifické tematické parametry

1. Charakteristika způsobilých intervencí v oblasti předškolního vzdělávání dětí s postižením
2. Elementy opakovatelnosti intervencí
3. Výsledky pro děti s postižením
4. Spolehlivost a platnost měření výsledků
5. Časový interval, ve kterém měly být studie provedeny, aby byly vhodné pro zprávu o intervenci

.

6. Vymezení charakteristik studované populace
7. Účinnost intervence napříč podskupinami dětí
8. Účinnost intervence napříč prostředími
9. Attrition
10. Rovnocennost skupin
11. Statistické a analytické otázky

Následující parametry specifikují, které studie jsou zvažovány pro analýzy a které aspekty těchto studií jsou kódovány pro přezkum.

1. Charakteristika způsobilých intervencí v oblasti předškolního vzdělávání dětí se zdravotním postižením

Způsobilé intervence mají za primární cíl zlepšení výsledků souvisejících se školní připraveností předškolních dětí. Mezi způsobilé intervence

• patří komplexní a doplňkové vzdělávací programy, jako jsou Creative Curriculum, Incredible Years a Big Math for Little Kids; postupy, jako je Dialogické čtení a časový odklad; a terapie určené k podpoře funkčnosti a prevenci sekundárních postižení, jako je terapie smyslové integrace.
• Musí probíhat ve škole nebo v předškolním centru, nebo pokud probíhají na jiných místech (např. v klinických zařízeních nebo v rodinných domovech), musí být realizovány pod vedením nebo ve spolupráci se školou, předškolním zařízením nebo programem financovaným prostřednictvím IDEA.
• Musí být realizovány v roce 1986 (rok přijetí zákona PL 99-457, který schválil část C a předškolní služby pro děti se zdravotním postižením v rámci části B) nebo později.
• Musí být replikovatelné a musí být schopné šíření.

2. Prvky replikovatelnosti intervence

Důležité charakteristiky intervence, které musí být ve studii doloženy, aby ji bylo možné spolehlivě replikovat s jinými účastníky, v jiných prostředích a jindy, zahrnují následující:

• Je-li intervence značková nebo neznačková
• Je-li značková, musí být k dispozici informace o tom, jak intervenci získat. Značkové intervence mají obvykle externího vývojáře, který poskytuje technickou pomoc nebo intervenci prodává/distribuuje. Značkové intervence mohou být buď zabaleny, nebo jsou jinak k dispozici pro distribuci a použití mimo jedno místo s dostatečnou dokumentací, která umožňuje, aby učební plán nebo postup implementovaly i jiné osoby než vývojáři (např. má manuál, průvodce učebním plánem nebo jiný dostatečně podrobný návod k implementaci). Také značkové intervence mohou být chráněny ochrannou známkou nebo autorskými právy.
• Studie intervencí, které nejsou značkové, musí popisovat intervenci, včetně cílové dovednosti (dovedností), přístupu ke zlepšení dovednosti (dovedností), cílové populace, složek nebo prvků intervence, které byly realizovány, charakteristik prostředí, ve kterém byla intervence realizována, doby trvání a intenzity intervence a charakteristik a školení osob, které intervenci prováděly.

3. Výsledky u dětí s postižením

Pro zařazení do přehledu musí studie obsahovat alespoň jeden relevantní výsledek u dítěte, na který je intervence záměrně zaměřena a který se měří přímo zadáním hodnocení dítěti nebo provedením pozorování dítěte.

Relevantní výsledky jsou ty, které spadají do následujících oblastí:

• Poznávání
• Komunikační/jazykové kompetence
• Čtenářská gramotnost
• Matematické výsledky
• Sociálně-emocionální vývoj a chování
• Funkční schopnosti
• Fyzická pohoda

Dalším faktorem, který se při přezkumu zohledňuje, je soulad mezi výsledkem a intervencí. Měření výsledků, která jsou úzce sladěna nebo přizpůsobena intervenci, pravděpodobně vykazují větší velikost účinku než ta, která jsou s intervencí méně sladěna. Pokud výsledkové měření obsahuje některé stejné materiály (např. knihy nebo pasáže), které jsou použity v intervenci, nebo je podáváno intervenční skupině jako součást intervence, je považováno za příliš sladěné s intervencí. V těchto situacích může mít intervenční skupina nespravedlivou výhodu oproti srovnávací skupině a velikost účinku není spravedlivým ukazatelem účinků intervence. Výsledková opatření, která jsou nadměrně sladěna s intervencí, nebudou zahrnuta do stanovení hodnocení intervence pro tento přehled.

Přínosy intervencí v oblasti předškolního vzdělávání pro děti s postižením mají být zachovány i po skončení intervence. Proto jsou přípustná opatření na konci intervence i kdykoli poté. Měření provedená několik měsíců nebo let po intervenci mohou poskytnout pádné důkazy o účinnosti intervence. Tento přehled však upřednostňuje zjištění bezprostředně po skončení testu pro vypracování hodnocení intervence a indexů zlepšení, protože tato zjištění jsou nejčastější. Přehled zahrnuje další následná zjištění, jsou-li k dispozici a je-li to vhodné, v přílohách zprávy.

4. Spolehlivost a platnost výsledkových měřítek

Studie musí obsahovat alespoň jedno výsledkové měřítko pro dítě s důkazem o nominální validitě a u výsledkových měřítek, která jsou testy nebo škálami, dostatečnou spolehlivost skóre posouzenou pomocí zde uvedených standardů, jak je určila WWC. Pokud není ve výzkumném článku uvedena skórovací spolehlivost každého výsledkového měřítka, lze ke stanovení skórovací spolehlivosti výsledkového měřítka pro studovanou populaci použít údaje od vydavatele testu nebo škály nebo z jiných zdrojů. Pokud studie neanalyzovaly skórovací spolehlivost výsledkových měřítek pomocí údajů ze studie a analýzy vydavatelů testů nebo jiných výzkumníků nezahrnovaly děti se zdravotním postižením, budou zváženy všechny další dostupné důkazy o skórovací spolehlivosti a platnosti měřítka pro studovanou populaci a rozhodnutí o přiměřenosti výsledkového měřítka bude učiněno případ od případu po konzultaci s odborníky. Standardy jsou následující:

• Spolehlivost skóre vnitřní konzistence: minimálně 0,60
• Spolehlivost skóre časové stability/test-retest: minimálně 0,40
• Spolehlivost skóre mezi posuzovateli: minimálně 0.50 (procentuální shoda, korelace, kappa)

Pokud je výsledné měřítko složeno z různých testů pro různé děti ve vzorku, bude považováno za validní výsledek, pokud jsou splněna následující kritéria:

• Testy mají měřit podobný konstrukt a byly standardizovány na podobné populaci, což se odráží v manuálu testu nebo empirických studiích zaměřených na daný test.
• Testy musí splňovat výše popsané prahové hodnoty spolehlivosti.
• Musí existovat jasná pravidla pro to, který test je podáván kterému dítěti, a tato pravidla musí být aplikována stejným způsobem na léčebnou a kontrolní skupinu.
• Rozložení testů podávaných na začátku a v následném sledování léčebné a kontrolní skupině musí být podobné.

Pokud informace potřebné k aplikaci těchto kritérií nejsou v článku k dispozici, bude iniciován autorský dotaz s cílem získat tyto informace.

5. Časový interval, ve kterém měly být studie provedeny, aby byly vhodné pro zprávu o intervenci

Studie musí být publikovány v roce 1986 nebo později.

6. Vymezení charakteristik studované populace

Pro zařazení do přehledu musí populace studie zahrnovat

• Děti ve věku od 3 do 5 let, které ještě nejsou zapsány do mateřské školy, nebo starší děti navštěvující předškolní program. Pokud autoři poskytnou souhrnné údaje za děti v předškolním věku i za děti v mateřské škole a nejsou k dispozici členěné údaje, bude studie do přehledu zařazena, pokud je alespoň 50 % dětí v předškolním věku.
• Děti se zdravotním postižením, jak byly definovány dříve. Ve studiích dětí s postižením a bez postižení budou upřednostněny výsledky pro podskupinu dětí s postižením. Pokud však alespoň 50 % vzorku studie tvoří děti s postižením, mohou být do přehledu zahrnuty celkové výsledky.
• Děti, které hovoří anglicky nebo jsou nerodilí mluvčí angličtiny, kteří se učí anglicky.
• Děti s bydlištěm ve Spojených státech (včetně amerických teritorií a kmenových celků).

7. Účinnost intervence v podskupinách dětí

Účinnost intervence se pravděpodobně liší u dětí s různými charakteristikami a studie, která testuje účinnost intervence, může zkoumat účinky intervence pro důležité podskupiny dětí. Pro studie intervencí v oblasti předškolního vzdělávání dětí se zdravotním postižením, důležité charakteristiky podskupin patří

• Věk (3 až 4 roky a 4 až 5 let)
• Pohlaví
• Socioekonomický status
• Rasa/etnická příslušnost
• Stav studenta angličtiny
• Typ postižení

.

• Závažnost postižení

Když studie, která splňuje standardy důkazů WWC, uvádí účinky intervence pro tyto typy podskupin a analýzy podskupin splňují všechny standardy WWC požadované pro výsledky celého vzorku, budou tyto účinky a analýzy zahrnuty do přílohy zprávy o intervenci.

8. Účinnost intervence v různých prostředích

Studie, která se snaží ověřit účinnost intervence, může zkoumat účinky v různých prostředích. U studií intervencí v oblasti předškolního vzdělávání dětí s postižením mohou být tato prostředí vymezena

• Místo (městské, příměstské nebo venkovské)
• Zařízení (centrum péče o děti, školní předškolní zařízení, Head Start, jiné)
• Typ prostředí (segregované, inkluzivní)
• Vzdělání, kvalifikace nebo školení personálu (např, certifikace, roky praxe)

Pokud studie, která splňuje standardy WWC pro důkazy, uvádí účinky intervence odděleně pro tato prostředí a analýzy výsledků podle prostředí splňují všechny standardy WWC požadované pro výsledky celého vzorku, budou tyto účinky a analýzy zahrnuty do přílohy zprávy o intervenci.

9. Úbytek respondentů

Jak je popsáno v Příručce postupů a standardů WWC (verze 2.0), WWC se u RCT obává celkového a rozdílného úbytku respondentů z intervenční a srovnávací skupiny, protože obojí přispívá k možnému zkreslení odhadovaného účinku intervence. Při určování, zda studie splňuje standardy WWC pro důkazy, se použije model zkreslení úbytku vyvinutý WWC (viz příloha A příručky).

Když kombinace celkové a diferenční míry úbytku způsobí, že RCT studie spadá do zelené oblasti na níže uvedeném diagramu, bude úbytek považován za „nízký“ a úroveň zkreslení za přijatelnou. To odráží předpoklad, že většina úbytků ve studiích intervencí v oblasti předškolního vzdělávání dětí s postižením je způsobena exogenními faktory, jako je mobilita rodičů a absence ve dnech, kdy se hodnocení provádí. Nicméně u RCT s kombinací celkové a rozdílné míry úbytku v červené oblasti bude úbytek považován za „vysoký“ a potenciálně s vysokou mírou zkreslení, a proto musí být prokázána rovnocennost.

Mnoho studií přezkoumávaných WWC je založeno na designech s více úrovněmi. Zkreslení může být generováno nejen ztrátou shluků (např. škol), ale také členů vzorku v rámci shluků (např. studentů), pokud tito členové vzorku odcházejí v důsledku statusu léčby. Standard úbytku se vztahuje na obě úrovně. Aby studie splnila standard, musí nejprve projít na úrovni shluku, přičemž se použije výše stanovená hranice úbytku. Za druhé musí studie vyhovět na úrovni podskupin, opět s použitím výše stanovené hranice úbytku, přičemž úbytek je založen pouze na skupinách, které jsou stále ve vzorku. To znamená, že jmenovatel pro výpočet úbytku dílčích klastrů zahrnuje pouze členy vzorku ve školách nebo třídách, které zůstávají ve studii po úbytku klastrů.

10. Ekvivalence skupin

Je-li plánem studie RCT s vysokou mírou úbytku nebo QED, musí studie prokázat základní ekvivalenci intervenční a srovnávací skupiny pro analytický vzorek. Povinnost prokázat ekvivalenci v těchto studiích leží na autorovi. Ve zprávě o studii by mělo být uvedeno dostatečné množství údajů před intervencí (nebo by měly být získány od autora studie), aby mohl hodnotící tým vyvodit závěry o rovnocennosti intervenční a srovnávací skupiny. Předintervenční charakteristiky mohou zahrnovat výsledný(é) ukazatel(e) podávaný(é) před intervencí nebo jiné ukazatele, které nejsou stejné jako výsledný(é) ukazatel(e), ale mají s ním(nimi) velký vztah.

Pro tuto tematickou oblast je možné, že studie splňuje standardy důkazů v jedné nebo více oblastech a v jiných ne. Proto by měla být v rámci každé domény použita pravidla pro stanovení rovnocennosti výchozího stavu.

Skupiny jsou považovány za ekvivalentní, pokud jsou uváděné rozdíly v předintervenčních charakteristikách skupin menší nebo rovny jedné čtvrtině souhrnné směrodatné odchylky ve vzorku, bez ohledu na statistickou významnost. Pokud jsou však rozdíly větší než 0,05 směrodatné odchylky a menší nebo rovny jedné čtvrtině sdružené směrodatné odchylky ve vzorku, musí analýza analyticky kontrolovat charakteristiku (charakteristiky) na individuální úrovni před intervencí, ve které se skupiny liší. Pokud jsou rozdíly před intervencí u některé z uvedených charakteristik větší než 0,25, studie nesplňuje standardy.

Vzhledem k potenciálnímu zkreslení výběru v QED je obavou také možnost, že intervenční a srovnávací skupina byly vybrány z různých populací. Zásadní rozdíly v prostředí, z něhož byly vybrány intervenční a srovnávací skupiny ve studii QED, a základní rozdíly v charakteristikách intervenční a srovnávací skupiny mohou naznačovat, že děti v obou skupinách byly vybrány z různých populací, i když byly na základě předběžných měření rovnocenné. Statisticky významné nebo velké (půl směrodatné odchylky nebo více) rozdíly v charakteristikách a nastavení dětí v intervenční a srovnávací skupině jsou důkazem, že skupiny byly vybrány z různých populací, a studie nesplňuje standardy důkazů WWC. Důležité charakteristiky a nastavení, které je třeba vzít v úvahu, pokud jsou uváděny, zahrnují

• Podíl dětí s postižením nebo opožděním
• Podíl dětí s určitým typem nebo závažností postižení
• Podíl dětí s IEP
• Podíl dětí z určitého programového prostředí, jako jsou programy Head Start a školní předškolní programy
• Podíl dětí z rodin s nízkým socioekonomickým statusem (SES)

11. Statistické a analytické otázky

Studie RCT s nízkým úbytkem osob nemusí v analýze používat statistické kontroly, ačkoli statistická úprava u dobře provedených RCT je přípustná a může pomoci získat přesnější odhady velikosti účinku. U RCT budou odhady velikosti účinku upraveny o rozdíly v charakteristikách před intervencí na počátku studie (pokud jsou k dispozici) pomocí metody rozdílu v rozdílech, pokud autoři neprovedli úpravu před intervencí (viz příloha B příručky). Kromě charakteristik před intervencí, které vyžaduje standard ekvivalence, lze v analýze provést statistické úpravy i pro další ukazatele, i když nejsou povinné.

Pro přehled WWC se upřednostňuje podávání zpráv a výpočet velikosti účinku pro postintervenční prostředky upravené o předintervenční míru. Pokud studie uvádí neupravené i upravené postintervenční průměry, bude WWC review uvádět upravené průměry a neupravené směrodatné odchylky. Pokud upravené postintervenční průměry nebudou uvedeny, budou si je autoři vyžádat.

Statistická významnost skupinových rozdílů bude přepočítána, pokud (1) autoři studie neprovedli výpočet statistické významnosti, (2) autoři studie nezohlednili seskupení, pokud došlo k nesouladu mezi jednotkou přiřazení a jednotkou analýzy, nebo (3) autoři studie nezohlednili vícenásobná srovnání, pokud to bylo vhodné. V opačném případě bude hodnotící tým akceptovat výpočty uvedené ve studii.

Pokud je uvedena chybná analýza (tj. jednotka analýzy není stejná jako jednotka přiřazení) a autoři nejsou schopni poskytnout opravenou analýzu, budou velikosti účinků vypočtené WWC zahrnovat statistickou úpravu pro shlukování. Výchozí vnitrotřídní korelace použité pro tento přehled jsou 0,20 pro výsledky v oblasti kognitivních funkcí, jazyka, gramotnosti a matematiky a 0,10 pro výsledky v oblasti sociálně-emočního rozvoje a chování, funkčních schopností a motorického rozvoje. Vysvětlení o korekci na shlukování naleznete v příloze C Příručky k postupům a standardům WWC.

Pokud je provedeno vícenásobné srovnání (tj. v rámci jedné výsledkové oblasti je hodnoceno více výsledkových měření v jedné studii), které autoři nezohlednili, WWC tuto vícenásobnost zohledňuje úpravou uváděné statistické významnosti účinku pomocí Benjaminiho-Hochbergovy korekce. Vzorce, které WWC používá k úpravě vícenásobných srovnání, jsou uvedeny v příloze D příručky.

Všechny standardy se vztahují na celková zjištění i na analýzy dílčích vzorků.