WWC｜障害児のための幼児教育エビデンスレビュープロトコル
II. 特定のトピックパラメーター
- 障害児に対する適格な幼児教育介入の特徴
- 介入の再現性の要素
- 障害児の成果
- 介入報告にふさわしい研究が行われるべき時間間隔
- 子どものサブグループ間での介入の効果
- 設定間での介入の効果
- 消耗
- グループの同等性
- 統計・分析の問題
結果指標の信頼性と妥当性
研究集団の特徴の定義
以下のパラメータは、どの研究が分析の対象となり、それらの研究のどの側面をレビュー用にコード化するかについて指定しています。
1. 障害児に対する適格な幼児教育介入の特徴
適格な介入は，就学前の子どもの就学準備に関連する成果を高めることを主要な目標としている。 適格な介入
- Creative Curriculum、Incredible Years、Big Math for Little Kidsなどの包括的および補足的カリキュラム、Dialogic Readingやタイムラグなどの実践、感覚統合療法などの機能促進および二次障害の予防を目的とした治療が含まれる。
- 学校またはセンターを基盤とした就学前の環境で行われること、またはその他の場所（臨床現場や家庭など）の場合は、学校、就学前、またはIDEAを通じて資金提供されるプログラムの指示のもと、またはそれらと協力して実施されることが条件となります。
- 1986年（パートCとパートBの障害児就学前サービスを許可したPL 99-457が可決された年）以降に実施されたものでなければならない。
- 複製可能で普及させることができなければならない
2. 介入再現性の要素
異なる参加者、他の環境、他のタイミングで確実に再現できるように、研究で記録されなければならない介入の重要な特性には、以下のようなものがある。
- 介入がブランド化されているか、されていないか。
- ブランド化されている場合、その介入を入手する方法に関する情報が入手可能でなければならない。 ブランド化された介入には、通常、技術支援を提供する外部の開発者がいるか、介入を販売/配布している。 ブランド化された介入は，カリキュラムや実践を開発者以外の個人が実施できるように十分な文書（例えば，マニュアル，カリキュラムガイド，または実施のための他の十分に詳細な指示書）を用いて，パッケージ化されるか，または単一のサイトを越えて配布および使用できるようにすることが可能である。 また、ブランド化された介入は商標または著作権で保護されている場合がある。
- ブランド化されていない介入に関する研究では、対象となる技能、技能を高めるためのアプローチ、対象集団、実施された介入の要素または特徴、実施された環境の特徴、介入の期間と強度、介入を行う個人の特徴および訓練など、介入を記述する必要がある。
3.障害を持つ子どもの成果
レビューに含まれるには、介入によって意図的に対象とされ、子どもに評価を行うか子どもの観察を行うことによって直接測定される、少なくとも一つの関連する子どもの成果を研究が含まなければならない。
関連する成果とは、以下の領域に分類されるものである。
- 認知
- コミュニケーション/言語能力
- 読み書き
- 数学の達成
- 社会性と情動の発達と行動
- 機能的能力
- 身体の健康
結果と介入の間の整合性も審査で考慮する要素である。 介入と密接に整合しているか，または介入に合わせて調整されている結果指標は，介入とあまり整合していない結果指標よりも大きな効果量を示す可能性が高い。 結果指標に介入で使用されるものと同じ教材（本や文章など）が含まれていたり、介入の一部として介入群に投与されていたりする場合は、介入と過剰に整合していると考えられる。 このような状況では，介入群が比較群に対して不当に優位に立つ可能性があり，効果の大きさは介入の効果を公正に示すものではない．
障害のある子どもに対する幼児教育介入の利点は，介入の終了後にも保持されることが意図されている。 したがって，介入終了時の測定はもちろん，その後のいかなる時点でも認められる。 介入の数ヵ月後あるいは数年後に行われた測定は、介入の有効性を示す強力な証拠となりうる。 しかし、このレビューでは、介入評価および改善指標を開発するために、試験直後の所見を優先している。なぜなら、これらの所見は最も一般的であるからである。 9321>
4.結果指標の信頼性と妥当性
研究では、少なくとも1つの子どもの結果指標に、表面妥当性の証拠があり、テストや尺度である結果については、WWCが決定したここに挙げた基準で評価した十分な得点信頼性が含まれている必要がある。 各アウトカム測定の得点信頼性が研究論文に明記されていない場合、テストや尺度の発行元などからのデータを用いて、研究集団に対するアウトカム測定の得点信頼性を確立することができる。 研究データを用いたアウトカム指標の得点信頼性の分析が行われておらず、テストの出版社や他の研究者による分析に障害児が含まれていない場合は、研究集団に対する指標の得点信頼性と妥当性に関する他の入手可能な証拠を検討し、専門家と協議の上、アウトカム指標の妥当性について個別に決定する。 基準は、
- 内部一貫性スコア信頼性：0.60以上
- 時間的安定性・テストリテストスコア信頼性：0.40以上
- 評価者間スコア信頼性：0.0以上。50（一致率、相関、カッパ）
結果指標がサンプル内の異なる子どもに対する異なるテストで構成されている場合、以下の基準を満たせば有効な結果とみなされる：
- テストマニュアルやテストに焦点を当てた経験的研究に反映されているように、テストは同様の構成要素を測定すると称し、同様の集団で標準化されている。
- テストは、上記の信頼性の閾値を満たしていなければならない。
- どのテストをどの子どもに実施するかについて明確なルールがあり、そのルールは治療群と対照群に同じ方法で適用されていなければならない。
- 治療群と対照群にベースラインとフォローアップで行われるテストの分布は同様でなければならない。
これらの基準を適用するための情報が記事で利用できなければ、著者によるクエリーが開始されて情報が得られることになります。
5. 介入報告にふさわしい研究が実施されるべき時間間隔
研究は1986年以降に発表されたものでなければならない
6. 研究集団の特徴の定義
レビューに含めるには、研究の集団には
- まだ幼稚園に入園していない3歳から5歳の子ども、またはプリスクールプログラムに通う年長児を含めなければならない。 著者が就学前と幼稚園の両方の集計データを提供し、集計データが入手できない場合、レビューでは、少なくとも50％の子どもが就学前であれば研究を含める。
- 先に定義したように、障害を持つ子どもたち。 障害のある子どもと障害のない子どもの研究では、障害のある子どものサブグループの結果を優先する。 ただし、研究サンプルの50％以上が障害のある子どもで構成されている場合は、全体の結果をレビューに含めることができる。
- 英語を話す子ども、または英語を母語としない子どもで英語学習者である子ども。
- 米国に居住する子ども（米国の領土および部族組織を含む）
7. 子どものサブグループにわたる介入の効果
介入の効果は異なる特徴を持つ子どもの間で異なる可能性が高く、介入の効果を検証する研究は子どもの重要なサブグループについて介入の効果を調べることができる。 障害のある子どもに対する幼児教育の介入に関する研究については 重要なサブグループの特徴は以下の通りです
- 年齢（3～4歳と4～5歳）
- 性別
- 社会経済状況
- 人種/民族
- 英語学習者状況
- 障害の種類
障害の重さ
WWCのエビデンス基準を満たす研究が、これらのサブグループのタイプに対する介入効果を報告し、サブグループ分析がフルサンプル結果に求められるWWC基準をすべて満たしている場合。 これらの効果や分析は、介入報告書の付録に含まれることになる。
8.設定間での介入の効果
介入の効果を検証しようとする研究は、異なる設定間での効果を調べるかもしれない。 障害のある就学前の子どもに対する幼児教育介入の研究では、これらの設定は、
- 場所（都市、郊外、または農村）
- 設定（保育所、学校ベースの幼稚園、ヘッドスタート、その他）
- 設定のタイプ（隔離、包括）
- スタッフの教育、資格、または訓練（例． WWCのエビデンス基準を満たす研究が、これらの設定について個別に介入効果を報告し、設定別の結果の分析が全標本の結果に求められるWWC基準をすべて満たす場合、これらの効果および分析は介入報告の付録に含まれることになる。
9. WWC Procedures and Standards Handbook (version 2.0)に記載されているように、WWCはRCTの介入群および比較群からの全体的および差分的な減少を懸念しており、これらは介入の推定効果にバイアスをもたらす可能性があるためである。 WWCが開発した減少バイアスモデルは、研究がWWCのエビデンス基準に合致しているかどうかを判断する際に使用される（ハンドブックの付録A参照）。
全体の減少率と差分減少率の組み合わせで、RCT研究が下図の緑の領域に入る場合、減少率は「低い」とみなされ、バイアスのレベルは許容範囲となる。 これは、障害児の幼児教育介入の研究における減少のほとんどは、親の移動、評価実施日の欠席などの外生的な要因によるものであるという仮定を反映しています。 ただし、全体的な減少率と差分的な減少率の組み合わせが赤色の領域にあるRCTについては、減少率が「高い」とみなされ、高いレベルのバイアスを持つ可能性があるため、同等性を実証する必要があります。
WWCがレビューした多くの研究は、複数のレベルを持つデザインに基づいている。 バイアスは、クラスタ（学校など）の損失からだけでなく、クラスタ内のサンプルメンバー（学生など）が治療状況の結果として減少した場合にも発生する可能性があります。 減少基準は、両方のレベルに適用されます。 この基準を満たすには、まず、上記の減少境界線を用いて、クラスターレベルで合格しなければなりません。 次に、サブクラスターレベルで、やはり上記の減少境界線を用いて、まだ標本に含まれるクラスターのみに基づく減少を行い、合格しなければならない。 つまり、サブクラスタ減少の計算の分母は、クラスタ減少後も研究に残っている学校または教室のサンプルメンバーのみを含む。
10. グループの同等性
研究デザインが高いレベルの消耗を伴うRCTまたはQEDである場合、研究は分析対象サンプルについて介入群と比較群のベースラインの同等性を証明しなければならない。 これらの研究で同等性を証明する責任は著者にある。 審査チームが介入群と比較群の同等性について結論を出せるように、介入前のデータについて十分な報告を研究報告書に含める（または研究著者から入手する）必要がある。 介入前の特性には、介入前に実施された結果指標や、結果指標とは異なるが関連性の高い他の指標を含めることができる。
このテーマ領域では、ある研究が一つ以上の領域でエビデンス基準を満たし、他の領域では満たさないということがあり得る。 したがって、ベースラインの同等性を確立するためのルールは、各領域内で適用されるべきである。
群の介入前特徴における報告された差が、統計的有意性にかかわらず、サンプルにおけるプールされた標準偏差の4分の1以下であれば、群は同等とみなされる。 しかし、差が0.05標準偏差より大きく、プールされた標準偏差の4分の1以下である場合、分析は、群間で差がある個人レベルの介入前の特性について分析的に制御する必要がある。 もし介入前の差がリストにある特性のいずれかで0.25より大きい場合、その研究は基準を満たさない。
QEDにおける選択バイアスの可能性を考慮すると、介入群と比較群が異なる集団から抽出された可能性も懸念される。 QED研究の介入群と比較群が抽出された環境における根本的な違い、および介入群と比較群の特性におけるベースラインの違いは、たとえテスト前の測定で同等であったとしても、2群の子どもが異なる集団から抽出されたことを示す場合がある。 介入群と比較群の子どもの特性や環境に統計的に有意または大きな（標準偏差の半分以上）差がある場合、両群が異なる集団から抽出された証拠となり、その研究はWWCエビデンススタンダードを満たしていない。 報告される際に考慮すべき重要な特性や設定には、
- 障害や遅れを持つ子どもの割合
- 特定の種類や重症度の障害を持つ子どもの割合
- IEPを持つ子どもの割合
- 特定のプログラム環境からの子どもの割合、がある。 ヘッド・スタートや学校単位の就学前プログラムなど
- 社会経済的地位（SES）の低い家庭の子どもの割合
11. 統計・分析上の課題
減少率の低いRCT研究では、分析に統計的対照を用いる必要はないが、よく実施されたRCTでは統計的調整が許され、より正確な効果量の推定値を生み出すのに役立つ。 RCTについては、著者が試験前の調整を行わなかった場合、ベースライン時の介入前特徴の差について（可能であれば）差分法で効果量推定値を調整する（ハンドブックの付録Bを参照）。 同等性基準で要求される介入前の特性以外にも、統計的な調整は必要ないが、分析において他の測定値についても行うことができる。
WWCのレビューでは、介入前の指標で調整した介入後の平均値について報告し、効果量を計算することが望ましいとされています。 もし研究が未調整と調整の両方の介入後平均を報告した場合、WWCレビューでは調整後の平均と未調整の標準偏差を報告する。 (1)研究者が統計的有意性を計算していない、(2)割付単位と分析単位が不一致の場合に研究者がクラスタリングを考慮していない、(3)適切な場合に研究者が多重比較を考慮していない場合、群間差の統計的有意性は再計算される。 それ以外の場合、審査チームは研究で提供された計算を受け入れる。
不整合な分析が報告され（すなわち、分析単位が割り当て単位と同じではない）、著者が修正した分析を提供できない場合、WWCが計算した効果量には、クラスタリングの統計的調整が組み込まれることになる。 このレビューで使用されたデフォルトのクラス内相関は、認知、言語、読み書き、数学のアウトカムでは0.20、社会性と情動の発達と行動、機能的能力、運動発達のアウトカムでは0.10である。 クラスタリング補正についての説明は、WWC Procedures and Standards Handbookの付録Cを参照のこと。
著者によって説明されていない多重比較（すなわち、1つの研究のアウトカム領域で複数の結果指標が評価されている）が行われた場合、WWCはこの多重性を、Benjamini-Hochberg補正を用いて報告された効果の統計的有意を調節することで説明する。 WWCが多重比較の調整に用いる公式については、ハンドブックの付録Dを参照のこと。
すべての基準は、サブサンプルの分析だけでなく、全体の所見にも適用される。