II.

Definiowanie charakterystyki badanej populacji

Efektywność interwencji w podgrupach dzieci

Efektywność interwencji w różnych środowiskach

Przetrwanie

Równoważność grup

Kwestie statystyczne i analityczne

Następujące parametry określają, które badania są brane pod uwagę w analizach i jakie aspekty tych badań są kodowane do przeglądu.

1. Charakterystyka kwalifikujących się interwencji w zakresie wczesnej edukacji dzieci niepełnosprawnych

Kwalifikujące się interwencje mają za główny cel poprawę wyników związanych z gotowością szkolną dzieci w wieku przedszkolnym. Kwalifikujące się interwencje

• Obejmują kompleksowe i uzupełniające programy nauczania, takie jak Creative Curriculum, Incredible Years i Big Math for Little Kids; praktyki, takie jak czytanie dialogowe i opóźnienie czasowe; oraz terapie mające na celu promowanie funkcji i zapobieganie wtórnej niepełnosprawności, takie jak terapia integracji sensorycznej.
• Muszą odbywać się w szkole lub ośrodku przedszkolnym, lub jeśli w innych miejscach (takich jak ośrodki kliniczne lub domy rodzinne), muszą być realizowane pod kierunkiem lub we współpracy ze szkołą, przedszkolem lub programem finansowanym przez IDEA.
• Muszą być wdrożone w 1986 r. (rok uchwalenia PL 99-457, który zatwierdził część C i usługi przedszkolne dla dzieci niepełnosprawnych w części B) lub później.
• Muszą być powtarzalne i możliwe do upowszechniania.

2. Elementy replikowalności interwencji

Ważne cechy interwencji, które muszą być udokumentowane w badaniu, aby można ją było niezawodnie replikować z innymi uczestnikami, w innych warunkach i w innym czasie, obejmują następujące elementy:

• Czy interwencja jest markowa czy niemarkowa.
• Jeśli jest markowa, musi być dostępna informacja o sposobie jej uzyskania. Interwencje markowe mają zazwyczaj zewnętrznego twórcę, który zapewnia pomoc techniczną lub sprzedaje/dystrybuuje interwencję. Interwencje markowe mogą być pakowane lub w inny sposób dostępne do dystrybucji i wykorzystania poza jednym miejscem, z wystarczającą dokumentacją umożliwiającą realizację programu lub praktyki przez osoby inne niż twórcy (np. posiada podręcznik, przewodnik po programie nauczania lub inne wystarczająco szczegółowe instrukcje dotyczące realizacji). Badania interwencji, które nie są firmowane marką, muszą zawierać opis interwencji, w tym umiejętności, podejście do doskonalenia umiejętności, populację docelową, składniki lub cechy interwencji, które były realizowane, charakterystykę środowiska, w którym interwencja była realizowana, czas trwania i intensywność interwencji oraz charakterystykę i szkolenie osób prowadzących interwencję.

3. Wyniki dla dzieci niepełnosprawnych

Aby badanie mogło być włączone do przeglądu, musi zawierać co najmniej jeden istotny wynik dla dziecka, który jest celowo ukierunkowany przez interwencję i mierzony bezpośrednio poprzez ocenę dziecka lub obserwację dziecka.

Istotne wyniki to te, które należą do następujących dziedzin:

• Poznanie
• Kompetencje komunikacyjne/językowe
• Umiejętności czytania i pisania
• Osiągnięcia matematyczne
• Rozwój społeczno-emocjonalny i zachowanie
• Umiejętności funkcjonalne
• Dobrostan fizyczny

Kolejnym czynnikiem branym pod uwagę w przeglądzie jest dopasowanie wyników do interwencji. Mierniki wyników, które są ściśle dopasowane lub dostosowane do interwencji, prawdopodobnie wykażą większą wielkość efektu niż te, które są mniej dopasowane do interwencji. Jeżeli do pomiaru wyników zastosowano te same materiały (np. książki lub fragmenty książek), które są wykorzystywane w interwencji lub są one podawane grupie interwencyjnej w ramach interwencji, to uznaje się, że są one zbytnio powiązane z interwencją. W takich sytuacjach grupa interwencyjna może mieć niesprawiedliwą przewagę nad grupą porównawczą, a wielkość efektu nie jest rzetelnym wskaźnikiem efektów interwencji. Pomiary wyników, które są zbytnio związane z interwencją nie będą brane pod uwagę przy ustalaniu oceny interwencji w tym przeglądzie.

Korzyści z interwencji w edukacji wczesnoszkolnej dla dzieci niepełnosprawnych mają być zachowane po zakończeniu interwencji. Dlatego dopuszczalne są pomiary na zakończenie interwencji, jak również w dowolnym czasie po jej zakończeniu. Pomiary dokonane kilka miesięcy lub lat po zakończeniu interwencji mogą dostarczyć mocnych dowodów na jej skuteczność. W niniejszym przeglądzie priorytetowo potraktowano wyniki badań bezpośrednio po zakończeniu interwencji, ponieważ są one najbardziej rozpowszechnione. Przegląd zawiera dodatkowe wyniki, jeśli są dostępne i właściwe, w załącznikach do raportu.

4. Wiarygodność i rzetelność miar wyników

Badanie musi zawierać co najmniej jedną miarę wyników dla dzieci z dowodami na wiarygodność bezpośrednią, a w przypadku wyników, które są testami lub skalami, wystarczającą rzetelność punktową ocenianą przy użyciu standardów wymienionych tutaj, określonych przez WWC. Jeśli rzetelność punktowa każdej miary wyników nie jest określona w artykule badawczym, można wykorzystać dane od wydawcy testu lub skali lub z innych źródeł, aby ustalić rzetelność punktową miary wyników dla badanej populacji. Jeśli badania nie analizowały rzetelności punktowej miary wyników przy użyciu danych z badań, a analizy wydawców testów lub innych badaczy nie obejmowały dzieci niepełnosprawnych, zostaną rozważone wszelkie inne dostępne dowody rzetelności punktowej i ważności miary dla badanej populacji, a decyzja o adekwatności miary wyników zostanie podjęta indywidualnie dla każdego przypadku w porozumieniu z ekspertami. Normy te są następujące

• Wiarygodność wyniku spójności wewnętrznej: minimum 0,60
• Wiarygodność wyniku stabilności czasowej/test-retest: minimum 0,40
• Wiarygodność wyniku w ocenie interpersonalnej: minimum 0.50 (zgodność procentowa, korelacja, Kappa)

Jeśli miara wyniku składa się z różnych testów dla różnych dzieci w próbie, będzie uznana za ważny wynik, jeśli spełnione są następujące kryteria:

• Testy rzekomo mierzą podobny konstrukt i były standaryzowane na podobnej populacji, co znajduje odzwierciedlenie w podręczniku testu lub badaniach empirycznych skoncentrowanych na teście.
• Testy muszą spełniać progi rzetelności opisane powyżej.
• Muszą istnieć jasne zasady dotyczące tego, który test jest podawany któremu dziecku, a zasady te muszą być stosowane w ten sam sposób do grupy leczonej i kontrolnej.
• Rozkład testów podawanych na poziomie podstawowym i kontrolnym w grupie leczonej i kontrolnej musi być podobny.

Jeśli informacje niezbędne do zastosowania tych kryteriów nie są dostępne w artykule, zostanie zainicjowane zapytanie autora w celu uzyskania tych informacji.

5. Przedział czasowy, w którym powinny być przeprowadzone badania, aby były odpowiednie dla raportu z interwencji

Badania muszą być opublikowane w 1986 roku lub później.

6. Określenie charakterystyki populacji badanej

Aby badanie zostało włączone do przeglądu, populacja badana musi obejmować

• dzieci w wieku od 3 do 5 lat, które nie są jeszcze zapisane do przedszkola lub starsze dzieci uczęszczające do programu przedszkolnego. Jeśli autorzy podają dane zbiorcze zarówno dla dzieci w wieku przedszkolnym, jak i przedszkolnym, a dane zdezagregowane są niedostępne, przegląd obejmie badanie, jeśli co najmniej 50% dzieci uczęszcza do przedszkola.
• Dzieci z niepełnosprawnością, zgodnie z wcześniejszą definicją. W badaniach dotyczących dzieci z niepełnosprawnością i bez niepełnosprawności, pierwszeństwo będą miały wyniki dla podgrupy dzieci z niepełnosprawnością. Jednakże, jeśli co najmniej 50% próby badawczej stanowią dzieci niepełnosprawne, ogólne wyniki mogą być włączone do przeglądu.
• Dzieci, które mówią po angielsku lub są nierodzimymi użytkownikami języka angielskiego, które uczą się języka angielskiego.
• Dzieci zamieszkałe w Stanach Zjednoczonych (łącznie z terytoriami USA i plemionami).

7. Efektywność interwencji w podgrupach dzieci

Efektywność interwencji może być różna dla dzieci o różnych cechach, a w badaniach, w których testuje się efektywność interwencji, można zbadać jej efekty w ważnych podgrupach dzieci. W badaniach interwencji w edukacji wczesnoszkolnej dla dzieci niepełnosprawnych, ważne cechy podgrupy obejmują

• Wiek (3 do 4 i 4 do 5)
• Płeć
• Status społeczno-ekonomiczny
• Rasa/pochodzenie etniczne
• Status osoby uczącej się języka angielskiego
• Typ niepełnosprawności
• Szerokość niepełnosprawności

Gdy badanie spełniające standardy dowodów WWC zgłasza efekty interwencji dla tych typów podgrup, a analizy podgrup spełniają wszystkie standardy WWC wymagane dla wyników z pełnej próby, te efekty i analizy zostaną dołączone do raportu z interwencji w formie załącznika.

8. Skuteczność interwencji w różnych środowiskach

Badania, które mają na celu sprawdzenie skuteczności interwencji, mogą badać jej efekty w różnych środowiskach. W badaniach nad interwencjami w edukacji wczesnoszkolnej dla niepełnosprawnych dzieci w wieku przedszkolnym, miejsca te mogą być zdefiniowane przez

• Lokalizację (miejska, podmiejska lub wiejska)
• Sytuację (centrum opieki nad dzieckiem, przedszkole w szkole, Head Start, inne)
• Rodzaj miejsca (segregowane, integracyjne)
• Wykształcenie, kwalifikacje lub szkolenie personelu (np, certyfikaty, lata doświadczenia)

Gdy badania, które spełniają standardy dowodów WWC, podają efekty interwencji oddzielnie dla tych miejsc, a analizy wyników w podziale na miejsca spełniają wszystkie standardy WWC wymagane dla wyników pełnej próby, te efekty i analizy będą zawarte w załączniku do raportu z interwencji.

9. Wypadanie

Jak opisano w podręczniku procedur i standardów WWC (wersja 2.0), WWC jest zaniepokojona ogólnym i zróżnicowanym wypadaniem z grupy interwencyjnej i porównawczej w RCT, ponieważ oba te czynniki przyczyniają się do potencjalnego błędu oszacowania efektu interwencji. Do określenia, czy dane badanie spełnia standardy dowodowe WWC, będzie wykorzystywany opracowany przez WWC model atrition bias (patrz załącznik A do podręcznika).

Gdy kombinacja ogólnego i zróżnicowanego wskaźnika rezygnacji powoduje, że badanie RCT znajduje się w zielonym obszarze na diagramie poniżej, wskaźnik rezygnacji będzie uważany za „niski”, a poziom błędu systematycznego za dopuszczalny. Odzwierciedla to założenie, że większość nieobecności w badaniach nad interwencjami we wczesnej edukacji dzieci niepełnosprawnych jest spowodowana czynnikami egzogenicznymi, takimi jak mobilność rodziców i nieobecności w dniach, w których przeprowadzane są oceny. Jednak w przypadku RCT z kombinacją ogólnego i zróżnicowanego wskaźnika nieobecności w czerwonym obszarze, wskaźnik nieobecności będzie uważany za „wysoki” i potencjalnie będzie miał wysoki poziom błędu systematycznego, a zatem musi wykazać równoważność.

Wiele badań przejrzanych przez WWC opiera się na projektach z wieloma poziomami. Bias może być generowany nie tylko z powodu utraty klastrów (takich jak szkoły), ale również z członków próby w ramach klastrów (takich jak studenci), jeśli ci członkowie próby odchodzą w wyniku ich statusu leczenia. Standard odchodzenia ma zastosowanie do obu poziomów. Aby spełnić ten standard, badanie musi najpierw uzyskać pozytywny wynik na poziomie klastra, przy użyciu granicy nieobecności określonej powyżej. Po drugie, badanie musi przejść na poziomie podklastra, ponownie wykorzystując granicę eliminacji ustaloną powyżej, z eliminacją opartą tylko na klastrach pozostających w próbie. Oznacza to, że w mianowniku dla obliczeń dotyczących atrycji w podklastrach znajdują się tylko członkowie próby w szkołach lub klasach, które pozostają w próbie po atrycji w klastrach.

10. Równoważność grup

Jeżeli projekt badania to RCT z wysokim poziomem frekwencji lub QED, badanie musi wykazać wyjściową równoważność grupy interwencyjnej i porównawczej dla próby analitycznej. Obowiązek wykazania równoważności w tych badaniach spoczywa na autorze. W raporcie z badania (lub uzyskanym od autora badania) należy zamieścić wystarczającą ilość danych przedinterwencyjnych, aby umożliwić zespołowi oceniającemu wyciągnięcie wniosków dotyczących równoważności grupy interwencyjnej i porównawczej. Charakterystyka przed interwencją może obejmować miarę (miary) wyniku podawaną przed interwencją lub inne miary, które nie są takie same jak miara (miary) wyniku, ale są z nią silnie związane.

W tym obszarze tematycznym możliwe jest, aby badanie spełniało standardy dowodowe w jednej lub więcej domenach, a w innych nie. W związku z tym zasady ustalania równoważności linii podstawowej powinny być stosowane w obrębie każdej dziedziny.

Grupy uważa się za równoważne, jeżeli zgłaszane różnice w charakterystyce grup przed interwencją są mniejsze lub równe jednej czwartej połączonego odchylenia standardowego w próbie, niezależnie od istotności statystycznej. Jednakże, jeśli różnice są większe niż 0,05 odchylenia standardowego i mniejsze lub równe jednej czwartej łącznego odchylenia standardowego w próbie, analiza musi kontrolować analitycznie indywidualną cechę (cechy) przed-interwencyjną, na której grupy się różnią. Jeśli różnice przed interwencją są większe niż 0,25 dla którejkolwiek z wymienionych cech, badanie nie spełnia standardów.

Zważywszy na możliwość wystąpienia błędu selekcji w badaniach QED, możliwość, że grupa interwencyjna i porównawcza zostały wylosowane z różnych populacji, jest również powodem do niepokoju. Podstawowe różnice w otoczeniu, z którego pochodziły grupy interwencyjna i porównawcza w badaniu QED oraz różnice w charakterystyce wyjściowej grup interwencyjnej i porównawczej mogą wskazywać, że dzieci w obu grupach pochodziły z różnych populacji, nawet jeśli były takie same w testach wstępnych. Istotne statystycznie lub duże (pół odchylenia standardowego lub więcej) różnice w charakterystyce i otoczeniu dzieci w grupie interwencyjnej i porównawczej świadczą o tym, że grupy pochodzą z różnych populacji, a badanie nie spełnia standardów WWC Evidence Standards. Ważne cechy i ustawienia, które należy rozważyć, gdy są podawane, to

• Odsetek dzieci z niepełnosprawnością lub opóźnieniem
• Odsetek dzieci z określonym rodzajem lub stopniem niepełnosprawności
• Odsetek dzieci z IEP
• Odsetek dzieci z określonych programów, takich jak Head Start i szkolne programy przedszkolne
• Odsetek dzieci z rodzin o niskim statusie społeczno-ekonomicznym (SES)

11. Zagadnienia statystyczne i analityczne

Badania RCT z niską frekwencją nie wymagają stosowania kontroli statystycznych w analizie, chociaż korekta statystyczna dla dobrze zrealizowanych RCT jest dopuszczalna i może pomóc w wygenerowaniu bardziej precyzyjnych szacunków wielkości efektu. W przypadku RCT, szacunki wielkości efektu będą skorygowane o różnice w charakterystyce sprzed interwencji na poziomie podstawowym (jeśli jest dostępna) przy użyciu metody difference-in-differences, jeśli autorzy nie skorygowali pre-testu (patrz Dodatek B do podręcznika). Poza charakterystyką sprzed interwencji wymaganą przez standard równoważności, w analizie można dokonać korekty statystycznej również dla innych miar, chociaż nie są one wymagane.

W przeglądzie WWC preferuje się raportowanie i obliczanie wielkości efektów dla środków po interwencji skorygowanych o miarę sprzed interwencji. Jeśli badanie przedstawia zarówno nieskorygowane, jak i skorygowane średnie po interwencji, w przeglądzie WWC zostaną przedstawione skorygowane średnie i nieskorygowane odchylenia standardowe. Jeśli nie podano skorygowanych średnich po interwencji, autorzy będą o nie proszeni.

Nazwa statystyczna różnic między grupami zostanie ponownie obliczona, jeśli (1) autorzy badania nie obliczyli istotności statystycznej, (2) autorzy badania nie uwzględnili grupowania, gdy wystąpiło niedopasowanie między jednostką przypisania a jednostką analizy, lub (3) autorzy badania nie uwzględnili wielokrotnych porównań, gdy było to właściwe. W przeciwnym razie zespół dokonujący przeglądu zaakceptuje obliczenia przedstawione w badaniu.

Gdy zgłoszono błędnie dopasowaną analizę (tzn. jednostka analizy nie jest taka sama jak jednostka przypisania), a autorzy nie są w stanie dostarczyć poprawionej analizy, wielkości efektu obliczone przez WWC będą uwzględniały statystyczną korektę z tytułu grupowania. Domyślne korelacje wewnątrzklasowe zastosowane w tym przeglądzie wynoszą 0,20 dla wyników dotyczących rozwoju poznawczego, języka, umiejętności czytania i pisania oraz matematyki, oraz 0,10 dla wyników dotyczących rozwoju społeczno-emocjonalnego i zachowania, zdolności funkcjonalnych i rozwoju motorycznego. Wyjaśnienie dotyczące korekty grupowania znajduje się w Dodatku C podręcznika procedur i standardów WWC.

Gdy dokonuje się wielokrotnych porównań (tzn. w jednym badaniu ocenia się wiele miar wyników w ramach jednej dziedziny wyników) i autorzy nie uwzględniają tej wielości, WWC uwzględnia ją, korygując zgłoszoną istotność statystyczną efektu za pomocą poprawki Benjamini-Hochberga. Wzory stosowane przez WWC do korygowania wielokrotnych porównań można znaleźć w dodatku D do podręcznika.

Wszystkie standardy dotyczą zarówno ogólnych wyników, jak i analiz podprób.

.