II. Specifika ämnesparametrar

1. Kännetecken för stödberättigade insatser inom småbarnspedagogik för barn med funktionsnedsättning
2. Element av insatsens replikerbarhet
3. Resultat för barn med funktionsnedsättning
4. Pålitlighet och validitet av utfallsmått
5. Tidsintervall som studierna bör ha utförts under för att vara lämpliga för insatsrapporten

.

6. Definierande egenskaper hos studiepopulationen
7. Interventionens effektivitet i olika undergrupper av barn
8. Interventionens effektivitet i olika miljöer
9. Attrition
10. Gruppsekvivalens
11. Statistiska och analytiska frågor

Följande parametrar specificerar vilka studier som ska beaktas för analyser och vilka aspekter av dessa studier som ska kodas för granskning.

1. Egenskaper hos stödberättigade insatser inom småbarnspedagogik för barn med funktionsnedsättning

De stödberättigade insatserna har som främsta mål att förbättra resultat som är förknippade med skolmognad hos barn i förskoleåldern. Stödberättigade insatser

• Inkluderar omfattande och kompletterande läroplaner, t.ex. Creative Curriculum, Incredible Years och Big Math for Little Kids; metoder, t.ex. dialogisk läsning och tidsfördröjning; och terapier som är utformade för att främja funktion och förebygga sekundära funktionsnedsättningar, t.ex. sensorisk integrationsterapi.
• Måste äga rum i en skol- eller centrumbaserad förskolemiljö, eller om det sker på andra platser (t.ex. kliniska miljöer eller familjehem), måste det genomföras under ledning av eller i samarbete med en skola, en förskola eller ett program som finansieras genom IDEA.
• Måste ha genomförts 1986 (det år då PL 99-457, som godkände del C och förskoletjänster för barn med funktionshinder enligt del B, antogs) eller senare.
• Måste kunna upprepas och spridas.

2. Element av interventionens replikerbarhet

De viktiga egenskaper hos en intervention som måste dokumenteras i en studie så att den kan replikeras på ett tillförlitligt sätt med olika deltagare, i andra miljöer och vid andra tidpunkter omfattar följande:

• Om interventionen är märkesmärkt eller inte.
• Om den är märkesmärkt måste det finnas information om hur man kan få tag på interventionen. Interventioner med varumärke har vanligtvis en extern utvecklare som tillhandahåller tekniskt stöd eller säljer/distribuerar interventionen. Märkesinterventioner kan antingen paketeras eller är på annat sätt tillgängliga för distribution och användning utanför en enskild plats med tillräcklig dokumentation för att läroplanen eller praktiken ska kunna genomföras av andra personer än utvecklarna (t.ex. har en handbok, en läroplansguide eller andra tillräckligt detaljerade instruktioner för genomförandet). Dessutom kan interventioner som är märkta vara varumärkesskyddade eller upphovsrättsskyddade.
• Studier av interventioner som inte är märkta måste beskriva interventionen, inklusive de färdigheter som är målinriktade, tillvägagångssättet för att förbättra färdigheterna, målpopulationen, komponenter eller egenskaper hos interventionen som genomfördes, egenskaper hos de miljöer där interventionen genomfördes, interventionens varaktighet och intensitet, samt egenskaper och utbildning hos de personer som administrerade interventionen.

3. Utfall för barn med funktionsnedsättning

För att inkluderas i granskningen måste en studie innehålla minst ett relevant utfall för barn som avsiktligt riktas mot interventionen och som mäts direkt genom att administrera en bedömning till barnet eller genomföra en observation av barnet.

Relevanta resultat är sådana som faller inom följande områden:

• Kognition
• Kommunikation/språkskompetens
• Litteracitet
• Matematisk prestation
• Social-emotionell utveckling och beteende
• Funktionella förmågor
• Fysiskt välbefinnande

Att utfallet är anpassat till interventionen är en annan faktor som beaktas i granskningen. Utfallsmått som är nära anpassade eller skräddarsydda till interventionen kommer sannolikt att uppvisa större effektstorlekar än de som är mindre nära anpassade till interventionen. När utfallsmåttet innehåller en del av samma material (t.ex. böcker eller texter) som används i interventionen eller administreras till interventionsgruppen som en del av interventionen, anses det vara alltför väl anpassat till interventionen. I dessa situationer kan interventionsgruppen ha en orättvis fördel gentemot jämförelsegruppen, och effektstorleken är inte en rättvisande indikation på interventionens effekter. Utfallsmått som är överinriktade med interventionen kommer inte att tas med vid fastställandet av en interventions betyg för denna granskning.

Fördelarna med interventioner inom småbarnspedagogik för barn med funktionsnedsättning är avsedda att bibehållas långt efter det att interventionen har avslutats. Därför är mätningar i slutet av en insats, liksom när som helst därefter, tillåtliga. Mätningar som görs flera månader eller år efter interventionen kan ge starka bevis för en interventions effektivitet. I den här översynen prioriteras dock resultat från testet omedelbart efteråt för att utveckla bedömningar av interventioner och förbättringsindex, eftersom dessa resultat är vanligast. Granskningen inkluderar ytterligare uppföljningsresultat, när de är tillgängliga och lämpliga, i bilagor till rapporten.

4. Utfallsmåttens tillförlitlighet och validitet

Studien måste inkludera minst ett utfallsmått för barn med bevis för ansiktsvaliditet och för utfallsmått som är tester eller skalor, tillräcklig poängtillförlitlighet som bedöms med hjälp av de standarder som listas här, enligt WWC:s bedömning. Om poängtillförlitligheten för varje utfallsmått inte anges i forskningsartikeln kan uppgifter från testets eller skalans utgivare eller andra källor användas för att fastställa poängtillförlitligheten för ett utfallsmått för studiepopulationen. Om studierna inte analyserade resultatmåttens tillförlitlighet med hjälp av studiedata, och om analyser från testutgivare eller andra forskare inte omfattade barn med funktionshinder, kommer alla andra tillgängliga bevis för resultatmåttets tillförlitlighet och validitet för studiepopulationen att beaktas, och ett beslut om resultatmåttets lämplighet kommer att fattas från fall till fall i samråd med experter. Standarderna är

• Intern konsistens och poängs tillförlitlighet: minst 0,60
• Temporal stabilitet/test-retest poängs tillförlitlighet: minst 0,40
• Inter-rater poängs tillförlitlighet: minst 0,40
• Inter-rater poängs tillförlitlighet: minst 0,40
• .50 (procentöverensstämmelse, korrelation, Kappa)

Om ett utfallsmått består av olika test för olika barn i urvalet anses det vara ett giltigt utfall om följande kriterier är uppfyllda:

• Testerna avser att mäta en liknande konstruktion och har standardiserats på en liknande population, vilket återspeglas i testmanualen eller i empiriska studier med fokus på testet.
• Testerna måste uppfylla de tröskelvärden för tillförlitlighet som beskrivs ovan.
• Det måste finnas tydliga regler för vilket test som administreras till vilket barn, och reglerna måste tillämpas på samma sätt på behandlings- och kontrollgrupperna.
• Fördelningen av de test som administreras vid baseline och uppföljning till behandlings- och kontrollgrupperna måste vara likartad.

Om den information som är nödvändig för att tillämpa dessa kriterier inte finns tillgänglig i artikeln, kommer en författarförfrågan att initieras för att få informationen.

5. Tidsintervall inom vilket studierna ska ha genomförts för att vara lämpliga för interventionsrapporten

Studierna ska ha publicerats 1986 eller senare.

6. Definition av studiepopulationens egenskaper

För att inkluderas i granskningen måste en studies population inkludera

• Barn i åldrarna 3-5 år som ännu inte är inskrivna på dagis eller äldre barn som deltar i ett förskoleprogram. När författarna tillhandahåller aggregerade data för både förskole- och dagisbarn och uppdelade data inte finns tillgängliga, kommer granskningen att inkludera studien om minst 50 % av barnen går i förskola.
• Barn med funktionsnedsättning, enligt tidigare definition. I studier av barn med och utan funktionshinder kommer resultaten för undergruppen barn med funktionshinder att prioriteras. Om minst 50 % av studiens urval består av barn med funktionshinder kan dock de övergripande resultaten ingå i granskningen.
• Barn som talar engelska eller är barn som inte har engelska som modersmål och som är inlärare av engelska.
• Barn som är bosatta i USA (inklusive amerikanska territorier och stammesenheter).

7. Interventionens effektivitet i olika undergrupper av barn

En interventions effektivitet varierar troligen bland barn med olika egenskaper, och en studie som prövar effektiviteten av en intervention kan undersöka interventionens effekter för viktiga undergrupper av barn. För studier av insatser inom småbarnspedagogik för barn med funktionshinder, Viktiga undergruppsegenskaper är

• Ålder (3-4 år och 4-5 år)
• Kön
• Socioekonomisk status
• Race/etnicitet
• Status som inlärare av engelska språket
• Typ av funktionshinder
• Handikappets svårighetsgrad

När en studie som uppfyller WWC:s evidensstandarder rapporterar interventionseffekter för dessa undergruppstyper och undergruppsanalyserna uppfyller alla de WWC-standarder som krävs för resultaten från hela urvalet, Dessa effekter och analyser kommer att ingå i en bilaga till interventionsrapporten.

8. Interventionens effektivitet i olika miljöer

En studie som syftar till att testa effektiviteten av en intervention kan undersöka effekter i olika miljöer. För studier av insatser inom småbarnspedagogik för förskolebarn med funktionshinder kan dessa miljöer definieras genom

• Ställe (stad, förort eller landsbygd)
• Inställning (barnomsorgscentral, skolbaserad förskola, Head Start, annat)
• Inställningstyp (segregerad, inkluderande)
• Personalens utbildning, kvalifikationer eller träning (t.ex, certifiering, år av erfarenhet)

När en studie som uppfyller WWC:s evidensstandarder rapporterar interventionseffekter separat för dessa miljöer, och analyserna av resultaten per miljö uppfyller alla de WWC-standarder som krävs för resultaten från hela urvalet, kommer dessa effekter och analyser att ingå i en bilaga till interventionsrapporten.

9. Bortfall

Som beskrivs i WWC:s handbok för förfaranden och standarder (version 2.0) är WWC oroad över det totala och differentiella bortfallet från interventions- och jämförelsegrupperna för RCT:er, eftersom båda bidrar till den potentiella snedvridningen av den uppskattade effekten av en intervention. Den modell för bias av bortfall som WWC har utvecklat kommer att användas för att avgöra om en studie uppfyller WWC:s evidensstandarder (se bilaga A i handboken).

När kombinationen av totala och differentiella bortfallsfrekvenser gör att en RCT-studie hamnar i det gröna området i diagrammet nedan anses bortfallet vara ”lågt” och biasnivån acceptabel. Detta återspeglar antagandet att det mesta av bortfallet i studier av utbildningsinsatser för barn med funktionshinder i tidig ålder beror på exogena faktorer, t.ex. föräldrars rörlighet och frånvaro de dagar då bedömningarna genomförs. För RCT:er med kombinationer av totala och differentiella bortfallsfrekvenser i det röda området kommer bortfallet dock att betraktas som ”högt” och potentiellt ha höga nivåer av bias och måste därför visa att de är likvärdiga.

Många studier som granskats av WWC bygger på utformningar med flera nivåer. Bias kan genereras inte bara från förlusten av kluster (t.ex. skolor) utan även från urvalsmedlemmar inom klustren (t.ex. elever), om dessa urvalsmedlemmar avgår som ett resultat av deras behandlingsstatus. Standarden för bortfall gäller för båda nivåerna. För att uppfylla standarden måste en undersökning först godkännas på klusternivå med hjälp av den gräns för bortfall som fastställts ovan. För det andra måste studien godkännas på subklusternivå, återigen med hjälp av den gräns för bortfall som fastställts ovan, där bortfallet endast baseras på de kluster som fortfarande ingår i urvalet. Det vill säga, nämnaren för beräkningen av bortfallet i subklustren omfattar endast urvalsmedlemmar i skolor eller klassrum som är kvar i studien efter bortfallet i klustren.

10. Gruppekvivalens

Om studiedesignen är en RCT med höga nivåer av bortfall eller en QED, måste studien visa att interventions- och jämförelsegrupperna är likvärdiga vid baslinjen för det analytiska urvalet. Ansvaret för att påvisa likvärdighet i dessa studier vilar på författaren. Tillräcklig rapportering av data före interventionen bör ingå i studierapporten (eller erhållas från författaren till studien) för att granskningsgruppen ska kunna dra slutsatser om interventions- och jämförelsegruppernas likvärdighet. Egenskaper före interventionen kan innefatta de resultatmått som administrerats före interventionen eller andra mått som inte är desamma som, men som i hög grad är relaterade till, resultatmåtten.

För detta ämnesområde är det möjligt att en studie uppfyller evidensstandarderna inom ett eller flera områden och inte inom andra. Därför bör regler för att fastställa likvärdighet av baslinjen tillämpas inom varje område.

Grupper anses likvärdiga om de rapporterade skillnaderna i gruppernas egenskaper före intervention är mindre än eller lika med en fjärdedel av den poolade standardavvikelsen i urvalet, oavsett statistisk signifikans. Om skillnaderna är större än 0,05 standardavvikelser och mindre än eller lika med en fjärdedel av den sammanlagda standardavvikelsen i urvalet, måste analysen dock analytiskt kontrollera den eller de egenskaper på individnivå före intervention som grupperna skiljer sig åt på. Om skillnaderna före interventionen är större än 0,25 för någon av de angivna egenskaperna uppfyller studien inte normerna.

Med tanke på potentialen för selektionsbias i QEDs är möjligheten att interventions- och jämförelsegrupperna har tagits från olika populationer också ett problem. Grundläggande skillnader i de miljöer från vilka interventions- och jämförelsegrupperna i en QED-studie hämtades och grundläggande skillnader i interventions- och jämförelsegruppernas egenskaper kan tyda på att barnen i de två grupperna hämtades från olika populationer, även om de var likvärdiga på förtestmått. Statistiskt signifikanta eller stora (en halv standardavvikelse eller mer) skillnader i egenskaper och inställningar hos barnen i interventions- och jämförelsegrupperna tyder på att grupperna hämtades från olika populationer, och studien uppfyller inte WWC:s evidensstandarder. Viktiga egenskaper och miljöer att ta hänsyn till när de rapporteras är

• Procentandel barn med en funktionsnedsättning eller försening
• Procentandel barn med en specifik typ av funktionsnedsättning eller svårighetsgrad av funktionsnedsättning
• Procentandel barn med en IEP
• Procentandel barn från specifika programmiljöer, såsom Head Start och skolbaserade förskoleprogram
• Procentandel barn från familjer med låg socioekonomisk status (SES)

11. Statistiska och analytiska frågor

RCT-studier med lågt bortfall behöver inte använda statistiska kontroller i analysen, även om statistisk justering för väl genomförda RCT-studier är tillåten och kan bidra till att generera mer exakta skattningar av effektstorleken. För RCT-studier kommer skattningarna av effektstorleken att justeras för skillnader i egenskaper före interventionen vid baslinjen (om de finns tillgängliga) med hjälp av en differens-i-differens-metod om författarna inte justerat för pretest (se bilaga B i handboken). Utöver de egenskaper före intervention som krävs enligt likvärdighetsstandarden kan statistisk justering även göras för andra mått i analysen, även om de inte är obligatoriska.

För WWC-granskningen är det att föredra att rapportera om och beräkna effektstorlekar för medelvärden efter interventionen justerade för måttet före interventionen. Om en studie rapporterar både ojusterade och justerade medelvärden efter interventionen, kommer WWC:s granskning att rapportera de justerade medelvärdena och de ojusterade standardavvikelserna. Om justerade medelvärden efter interventionen inte rapporteras kommer de att begäras från författarna.

Den statistiska betydelsen av gruppskillnader kommer att räknas om om om (1) studiens författare inte har beräknat statistisk signifikans, (2) studiens författare inte har tagit hänsyn till klusterbildning när det fanns en bristande överensstämmelse mellan tilldelningsenheten och analysenheten, eller (3) studiens författare inte har tagit hänsyn till multipla jämförelser när det är lämpligt. I annat fall kommer granskningsgruppen att acceptera de beräkningar som anges i studien.

När en felanpassad analys rapporteras (dvs. analysenheten är inte densamma som tilldelningsenheten) och författarna inte kan tillhandahålla en korrigerad analys, kommer de effektstorlekar som beräknats av WWC att innehålla en statistisk justering för klusterbildning. De standardkorrelationer inom klassen som används för denna granskning är 0,20 för kognitiva, språkliga, läs- och skrivmässiga och matematiska resultat och 0,10 för social-emotionell utveckling och beteende, funktionella förmågor och motorisk utveckling. För en förklaring om klusterkorrigeringen, se bilaga C i WWC Procedures and Standards Handbook.

När flera jämförelser görs (dvs. flera utfallsmått bedöms inom en utfallsdomän i en studie) och inte redovisas av författarna, tar WWC hänsyn till denna mångfald genom att justera den rapporterade statistiska signifikansen av effekten med hjälp av Benjamini-Hochberg-korrigeringen. Se bilaga D i handboken för de formler som WWC använder för att justera för multipla jämförelser.

Alla standarder gäller för övergripande resultat såväl som för analyser av delprov.