効くものが、現場で効かない——実装科学
この連載は47本にわたって、「何が効くか」を問うてきました。
しかし、効くと分かった方法が現場に持ち込まれると、しばしば効かなくなります。
これは失敗談ではなく、規則的に起きる現象です。そして、それを研究する分野があります。
一言でいうと(この記事の結論)
大規模な教育実験141件・122万人で、効果量の平均は 0.06 標準偏差でした [1]。
効果量は、公刊されたもの・小規模・自作尺度で、それぞれ約2倍になります [2]。
教員コーチングは、小規模の効能試験では大きく、大規模の有効性試験では「そのごく一部」でした [5]。
そして——あるプログラムの大規模試験では、53%の学校が意図どおりに実施していませんでした [4]。
ただし反証。縮小の理由は、実装だけではありません [6]。
結論を先に9点書きます。
- 「大規模な社会プログラムの正味の効果の期待値はゼロ」——ロッシの評価の鉄則 [15]。
- 141の大規模試験・1,222,024人。平均効果量 0.06 SD [1]。
- 645研究の分析。公刊/未公刊、小規模/大規模、自作尺度/独立尺度で、効果量は約2倍違う [2]。
- 開発者が実施・委託した評価は、独立評価より効果量が実質的に大きい [3]。
- コーチング——授業実践 0.49 SD、学力 0.18 SD。大規模では「ごく一部」 [5]。
- 忠実度は成果と関係します [8]。
- 逆説。質が十分なとき、忠実度は関係しませんでした [9]。
- 反証。有望な試験の効果量は平均52%以上誇張されており、実装だけが理由ではありません [6]。
- そして——実装科学は10年たっても、戦略と成果の関係をほとんど検証できていません [11]。
1. 評価の鉄則
社会政策の分野に、有名な言い回しがあります。
ロッシの「評価の鉄則」——「いかなる大規模な社会プログラムであれ、その正味の効果の期待値はゼロである」 [15]。
2025年の論文は、この鉄則を引きながらこう書いています。「政策介入への期待が、現実世界での実施を生き延びることは、めったにない」
一言でいうと(誇張ではあるが、方向は正しい)
「期待値はゼロ」は言い過ぎです。実際にはゼロではありません。
——しかし「試験で出た効果が、そのまま現場で出る」と期待するのは間違いである、という点では正確です。
この記事は、その「ずれ」の大きさを数字で見ます。
実装科学(implementation science)は、この問題を扱う分野です。定義は「根拠に基づく実践の取り込みを高め、それによって公衆衛生上の影響を増やすために発展した、比較的新しい分野」 [16]。
臨床研究と厳密さを共有しますが、違いがあります——「臨床的な革新そのものの有効性に加えて、その取り込みを妨げる要因と促す要因を特定し、対処することに注意を払う」 [16]。
2. 0.06——大規模試験で実際に出ている数字
まず、規模の感覚を作ります。
2019年、『Educational Researcher』に掲載された論文(158引用)が、英国 Education Endowment Foundation と米国 NCEE が委託したK–12の学力向上を目的とする大規模無作為化比較試験141件(1,222,024人)を分析しました [1]。
| 指標 | 結果 |
|---|---|
| 平均効果量 | 0.06 標準偏差 |
| 信頼区間の平均幅 | 0.30 SD |
| ベイズ因子の中央値 | 0.56(=情報量に乏しい) |
著者らの結論は率直です。「我々の分野は、優先事項として、教育の無作為化比較試験がなぜしばしば小さく情報量に乏しい効果を見出すのかを理解する必要がある」 [1]。
一言でいうと(0.06と0.30の関係)
平均効果 0.06 に対して、信頼区間の幅が 0.30。
——効果が0.09かもしれないし、−0.09かもしれないということです。
「効いた/効かなかった」の判定すらできていない試験が多い、というのがこの論文の指摘です。
低中所得国の234研究でも、学習成果への効果量の中央値は0.10 SDでした。そして「効果は小規模研究のほうが大きく、ばらつきも大きい」 [20]。
なお、0.06が「意味がない」という意味ではありません。コーエンの目安(小=0.2)は教育介入には厳しすぎる、という指摘があります [21]——「コーエンの基準では小さい効果が、現場ベースの介入の影響としては大きい」。費用と拡張可能性を含めて読むべきだ、というのが著者の主張です。
3. 効果量は「測り方」で2倍になる
では、なぜ小規模試験では大きく出るのでしょうか。
2016年、『Educational Researcher』に掲載された論文(428引用)が、就学前・読解・算数・理科の12のレビューから645研究を集めて分析しました [2]。
| 比較 | 効果量の差 |
|---|---|
| 公刊された論文 vs 未公刊の文書 | およそ2倍 |
| 小規模試験 vs 大規模試験 | およそ2倍 |
| 実験者が作った尺度 vs 独立した尺度 | およそ2倍 |
| 準実験 vs 無作為化実験 | 準実験のほうが有意に大きい |
そして「回帰分析の結果、これらすべての要因の効果は、他のすべての要因を統制しても維持された」 [2]。
一言でいうと(3つが重なると)
「公刊された、小規模の、自作尺度による研究」は、条件が3つ重なっています。
——それぞれ約2倍なら、掛け算で相当な開きになりえます。
そして、そういう研究がいちばん引用されやすいのが、この問題の厄介なところです。
尺度についてはさらに詳しい分析があります。What Works Clearinghouse のデータで、尺度を作った側が介入に利害を持ちうるか(非独立)否か(独立)で分けたところ——非独立の尺度のほうが平均効果量が大きく、その差は実装忠実度・研究の質・介入や標本の特性の違いでは説明されませんでした [22]。
4. 開発者効果
もう一つ、構造的な偏りがあります。
2020年、同じく What Works Clearinghouse のデータを用いた研究が、開発者が実施または委託した評価と独立した第三者による評価を比較しました [3]。
「我々は『開発者効果』の証拠を見出した。開発者が実施または委託したプログラム評価は、独立した当事者による評価で特定されたものより実質的に大きい平均効果量を生んでいた」
そして、重要な補足があります。
「開発者によって評価された介入が、単に独立した当事者によって評価されたものより効果的だった、というわけではない証拠を提供する」 [3]。
一言でいうと(「良いものを作った人が測った」では説明できない)
「開発者が作ったものは実際に良いから、効果量も大きいのだ」という説明は、否定されています。
——測る側が誰かで、数字が変わっています。
47本目の再現性の危機で見た「著者が重なると再現成功率が上がる」と同じ構図です。
5. 実例——効能では効き、有効性では効かなかった
ここからが本題です。同じプログラムが、規模を変えると結果が変わる例があります。
用語を整理します。
| 効能試験(efficacy) | 有効性試験(effectiveness) | |
|---|---|---|
| 規模 | 小さい | 大きい |
| 実施 | 綿密に監視・統制される | 現実の条件で行われる |
| 問い | 理想的な条件なら効くか | 普通の学校で効くか |
英国 Education Endowment Foundation の試験から、3つの例が挙げられています [4]——Philosophy for Children、Switch-on(Reading Recovery)、Accelerated Reader。いずれも効能試験では学習成果への有益な効果を示し、より大規模な有効性試験では効果がありませんでした。
Philosophy for Children の有効性試験では——
53%の学校が、介入を意図されたとおりに実施していませんでした [4]。
Switch-on でも「学校は必要な回数のセッションを実施したが、介入の内容と提供形式を改変していた」 [4]。
ただし、著者は実装だけが違いではなかったことも記録しています。効能試験は中学1年生、有効性試験は小学生。使われたテストも異なりました(GL New Group Reading Test と Hodder Group Reading Test)。
一言でいうと(3つの変化が同時に起きている)
規模が変わり、対象が変わり、測る道具が変わっています。
——「どれが原因で効果が消えたか」を切り分けられません。
著者の結論は「どちらかの評価が間違っているに違いない、と結論する人もいるかもしれない。しかし重要なのは、これらすべての例で、文脈と実装の忠実度が異なっていたと認識することだ」 [4]。
6. コーチングの縮小——具体的な数字
より直接的な数字があります。
2018年、『Review of Educational Research』に掲載された論文(1,176引用)が、因果推論の設計を用いた60研究を統合し、教員コーチングの効果を推定しました [5]。
- 授業実践への効果——0.49 標準偏差
- 学力への効果——0.18 標準偏差
そして、この論文の最も重要な一文です。
「より大規模なプログラムの有効性試験からの平均効果は、より小規模なプログラムの効能試験で見出された効果のごく一部にすぎない」 [5]。
一言でいうと(コーチングは「効く」方の介入です)
0.49 と 0.18 は、教育介入としては大きい部類です。コーチングは有望な方法です。
——それでも規模を拡大すると縮む。
「効くか効かないか」ではなく「どの規模で効くか」が問いなのだ、というのがこの分野の主張です。
7. 実装忠実度とは何か
中心概念を定義します。
実装忠実度(fidelity of implementation)とは——介入を提供したが、意図されたとおりには提供しなかった状態を測るための概念です [22]。
2008年の大規模レビュー(1,096引用)は、K–12のカリキュラム介入研究における忠実度の定義・概念化・測定を検討しました [7]。
結論は厳しいものでした。「このレビューの結果は、中核的なカリキュラム介入への実装忠実度がどう測定され、成果と関連づけられるかについて研究者を導くには、研究が少なすぎることを示している。とりわけ、忠実度の測定に対する要件が異なる効能研究と有効性研究のなかでは」
2017年の論文(168引用)も、同じ問題を指摘しています [18]。
「根拠に基づく指導実践が学生の成果に与える影響の調査は、典型的に、指導者がその実践にどれだけ忠実であったかを特徴づけていない。しばしば、実装が開発者の意図どおりであったと仮定している」
一言でいうと(測っていないのに、原因だと言えるのか)
「この方法は効かなかった」という結論には、前提があります。その方法が実際に行われたこと。
——その前提を測っていない研究が多い、というのがこの指摘です。
著者らは「この方法論上の欠陥により、肯定的または否定的な成果が誤って帰属されうる」と書いています [18]。
実際に何が起きるかを整理した論文もあります [19]。「理論と研究に根ざしたこれらの介入は、なぜ良い成果に翻訳されないのか」という問いから始まり、The Incredible Years と PATHS(代替的思考方略の促進)という2つの著名なプログラムを例に、実装の質が持続可能性を直接左右した経緯を追っています。
一言でいうと(現場で何が起きるか)
根拠のあるプログラムが期待どおりの結果を出さないと、教員はそれを「効果がない」と判断して脇に置きます [19]。
——「実装が不十分だった」のか「方法が悪い」のかを区別しないまま、方法のほうが捨てられます。
そして一度捨てられた方法は、二度と試されません。
8. 忠実度は成果と関係する——そして、しない
ここから、結果が分かれます。
関係する証拠
2019年、最近のクラスター無作為化試験で忠実度がどう報告・測定されているかを調べた研究があります [8]。著者らは、報告された忠実度の水準を表す指標と、無効な結果かどうかを表す指標を作り、対応を検討しました。
「予想どおり、忠実度の水準は生徒の成果と関係していた」。そして「新しいカリキュラム教材の存在が、忠実度の水準を正に予測した」 [8]。
関係しない場合(逆説)
2023年、いじめ防止介入の無作為化比較試験(ベルギー、教員34名、児童747名)が、忠実度と質を独立した2名の観察者が直接観察して測りました [9]。
- 忠実度が高いほど、また質が高いほど、道徳的離脱の減少が大きく、いじめも減った
- しかし——質が十分であったとき、忠実度は問題にならなかった
- 一方、忠実度が高ければ、質の低さを補償できた
一言でいうと(2つは代替可能だった)
「決められたとおりにやること(忠実度)」と「うまくやること(質)」は別の軸です。
——どちらか一方が十分なら、成果は出ました。
「マニュアルどおりにやらせる」ことの意味は、担い手の質によって変わります。
なお同じ研究で、クラスの規範に対する生徒の認識は、理想的な実装条件下でも有意に変化しませんでした [9]。著者らは別の媒介変数を検討すべきとしています。
9. 忠実度か、適応か——答えは「順序」
実務上、最も有用な結果です。
効果的な実践を広げるとき、2つの考え方が対立します。
| 立場 | 主張 |
|---|---|
| 忠実度重視 | 根拠のあるプログラムは、そのとおりに実施すべきだ |
| 適応重視 | プログラムは、それぞれの現場に合わせて変えるべきだ |
2017年、『American Educational Research Journal』に掲載された読解介入の無作為化試験は、「足場かけ型の順序」を検証しました——学校はまず忠実に実施して習熟し、そのあとで構造化された適応を行う [10]。
- 忠実度重視の方法は、介入に不慣れな教員において、学習と指導の変化をより促した
- 構造化された適応の方法は、介入に経験のある教員においてより効果的だった
- 生徒は構造化された適応の方法からより多く恩恵を受けた——ただし、担当教員が忠実度重視版の経験を先に持っていた場合に限る
一言でいうと(「型どおり」と「工夫」の順番)
どちらが正しいかではなく、どちらが先かでした。
——先に型どおりにやって慣れる。そのあとで工夫する。この順序のときだけ、生徒の成果が最も大きくなりました。
経験のない担い手にいきなり「現場に合わせて工夫して」と言うのは、逆効果です。
10. 反証——実装だけが理由ではない
ここまでの話には、有力な反論があります。
2020年、有望な結果を示した22の教育試験について、事後の設計分析を行った研究があります [6]。
問題設定はこうです。検出力の低い試験は、有望な結果を示した一部の介入について、効果量を系統的に誇張する——これは統計的に予測される現象です。
結果——「推定された効果量は、平均して52%以上誇張されている」。
そして、この記事にとって決定的な一文です。
「我々の結果はまた、実装忠実度をめぐる課題が、見かけ上成功した介入がその後しばしば規模拡大に失敗する唯一の理由ではないことを示唆する。むしろ、当初の有望な試験からの効果が、単に誇張されていた可能性がある」 [6]。
一言でいうと(実装のせいにするのは、都合がよすぎる)
「現場の実施が悪かったから効かなかった」は、開発者にとって都合のよい説明です。
——元の効果が最初から過大だったのなら、現場は何も悪くありません。
そして52%という数字は、実装の問題を持ち出す前に考えるべき大きさです。
11. 実装科学は、いま何ができているか
この分野自身の到達点も見ておきます。
2023年、実装アウトカムの10年を検討した文献レビュー(343引用)が、400本の実証論文を分析しました [11]。
| 検討されたアウトカム | 割合 |
|---|---|
| 受容性(acceptability) | 52.1% |
| 忠実度(fidelity) | 39.3% |
| 実行可能性(feasibility) | 38.6% |
| 採用(adoption) | 26.5% |
| 持続可能性(sustainability) | 15.8% |
| 費用(cost) | 7.8% |
そして著者らの結論です。
「実装戦略と実装アウトカムとの関係を検証することについての進展は、ほとんど見出されなかった。そのため我々は、どうすれば実装の成功が得られるかを知る準備ができていない」 [11]。
一言でいうと(分野自身が、まだ答えを持っていない)
実装科学は「なぜ効かないか」を説明する語彙を作りました。
——しかし「どうすれば効くようにできるか」の検証は、まだ進んでいません [11]。
そして費用を測った研究は7.8%。塾にとって最も重要な変数が、最も測られていません。
学校現場に限ると、さらに手前の段階です。学校での介入の規模拡大に実装科学を用いた研究を対象とした2024年のスコーピング・レビューは、101研究を特定しました [12]。
- 実装科学の枠組み・モデル・理論を指針として挙げていたのは、5本に4本
- 実装アウトカムを報告していたのは3本に2本(66%)。そのうち3本に1本は単一のアウトカムのみ
- 用いられた概念道具は47種類。用語も一貫していなかった
著者らは「教育の実装研究には、現在、断片化した状況が存在する」と結論し、少数の枠組みを、できれば2年以上にわたって用いることを提言しています [12]。
12. それでも、分かっていること
手がかりが無いわけではありません。
2021年、一般学級の教員が根拠に基づく実践を守る度合いを高める実装戦略のメタ分析が行われました。単一事例実験計画を用いた28論文・122の効果量が対象です [13]。
- 実装戦略は、ベースラインおよび集団向けの事前研修のみと比べて、教員の遵守を高めた(g = 2.32、tau = 0.77)
- 調整変数の分析——用いた行動変容技法の種類が多いほど、効果は大きかった(p < .001)
- 15種類の実装戦略が分類された
一言でいうと(研修だけでは足りない)
「集団向けの事前研修のみ」が比較対象です。
——研修を1回やっただけでは、実践は定着しません。
そして、手を変え品を変えるほど効果が大きい——単一の仕掛けでは足りない、ということです。
保健・対人サービス分野の129研究を分析したレビューでも、方向は同じです [14]。1研究あたり平均6.73の戦略が用いられ、最も頻繁だったのは「教材の配布」「教育的会合の実施」「監査とフィードバックの提供」「外部からの促進」。これらはしばしば組み合わせて使われていました。
19の実装戦略が、成果の有意な改善と関連していました。ただし——「多くの戦略は、結論を導くのに十分なだけ検証されていない」 [14]。
なお、効能と実装を同時に調べる設計もあります。ハイブリッド型1(効果重視・実装は探索)、型2(両方)、型3(実装重視・効果も測る)の3種です [17]。
13. 塾にとって、何が言えるか
ここからは当塾の実務判断です。研究がそう述べているわけではありません。
塾は、教育研究の結果を導入する側です。つまり「実装する側」にいます。
この記事の内容を、塾の場面に落とすと次のようになります。
| 研究で分かっていること | 塾での意味 |
|---|---|
| 効果量は小規模・自作尺度で約2倍 [2] | 導入前に、期待値を半分に見積もる |
| 有望な試験は平均52%以上誇張 [6] | 「劇的な成果」の報告ほど、割り引く |
| 忠実度は成果と関係する [8] | やり方を決めたら、実際にそうしているか見る |
| 質が十分なら忠実度は不要 [9] | 熟練講師にマニュアルを強いる必要はない |
| 忠実度が高ければ質を補償できる [9] | 経験の浅い講師には、型を渡す |
| 型どおり→構造化された適応の順 [10] | 新人にいきなり「工夫して」と言わない |
| 新しい教材の存在が忠実度を予測 [8] | 口頭の指示より、物を渡す |
| 研修のみでは定着しない [13] | 1回の研修で終わらせない |
| 行動変容技法の種類が多いほど効く [13] | 複数の仕掛けを重ねる |
一言でいうと(塾は「効くもの」を選ぶ側ではなく、実装する側です)
どの方法を選ぶかより、選んだ方法が実際に行われているかのほうが、成果を左右します。
——そして、それを測っている塾はほとんどありません。当塾も、体系的には測っていません。
14. この記事で言えないこと
- 「教育介入は効かない」とは言えません。平均0.06 SDは、費用と拡張性を含めて読むべき数字です [21]。
- 「縮小の原因は実装である」とも言えません [6]。元の効果が誇張されていた可能性が、平均52%以上あります。
- Philosophy for Children の例では、規模・対象・測定尺度が同時に変わっており、原因を切り分けられません [4]。
- 忠実度と質の代替関係は、いじめ防止介入での34教員・747児童の結果であり、他の介入で同じかは不明です [9]。
- g = 2.32 は単一事例研究のメタ分析であり、集団比較の効果量と同じ尺度ではありません [13]。
- 実装科学は、戦略と成果の関係をまだ十分に検証できていません [11]。
- 費用を測った研究は7.8%。塾にとって最重要の変数の証拠が、最も薄いままです [11]。
- 13節は当塾の実務判断であり、研究水準の推奨ではありません。
当塾の立場
先に、この記事が当塾にとって不都合な部分を書きます。
当塾は、実装忠実度を体系的に測っていません。方針を決め、講師に伝え、そのあと実際にそうなっているかを観察していません。
7節のとおり、忠実度を測らない研究は「実装が意図どおりだったと仮定している」 [18]。当塾も同じ仮定を置いています。
そして——この連載が47本にわたって紹介してきた方法のほとんどは、効能試験の数字です。小規模で、統制された条件で出た数字です。
それが当塾の教室で同じように効く保証は、ありません。3節のとおり、規模が変われば効果量はおよそ半分になりうる [2]。10節のとおり、元の数字が52%以上誇張されている可能性もあります [6]。
この記事の内容は、塾に来なくても実行できます
家庭で新しい方法を試すときの手順を書きます。費用はかかりません。
- 期待値を半分にしてから始める——小規模研究の効果量は約2倍です [2]
- 「決めたとおりにやれているか」を、週1回だけ確認する——忠実度は成果と関係します [8]
- 最初は型どおりにやる。工夫は慣れてから——この順序のときに成果が最大でした [10]
- 言葉で決めず、物で決める——新しい教材の存在が忠実度を予測しました [8]
- 一度の説明で終わらせない——研修のみでは定着しません [13]
- 効かなかったとき、「やり方が悪かった」と「元々効かない」の両方を疑う [6]
これを読んで、塾に通わずに実行する方がいるなら、それでいいと考えています。これらはどれも、家庭で回せます。
それでも塾に通いたい方へ
塾に通いたい、通わせたいという方には、武蔵野個別指導塾を勧めます。理由を3つ書きます。
- 「何を導入したか」ではなく「実際にそうなっているか」を問うこと。6節・8節のとおりです。「最新の学習科学を取り入れています」は、導入の宣言にすぎません。当塾が重んじるのは、決めたことが実際に教室で起きているかのほうです。
- 講師の経験に応じて、型と裁量を切り替えること。9節のとおり [10]、順序が結果を決めます。経験の浅い講師には型を渡し、経験を積んだ講師には裁量を渡す——逆にしません。
- 期待値を先に下げて伝えること。3節・10節のとおりです。「この方法で成績が上がります」と言う塾は多くあります。当塾は「研究では0.4と報告されていますが、実際には半分程度を見込んでください」と言う側でいたいと考えています。
塾を検討する際は、次のように聞いてみてください。
- その方法は、実際に毎回行われていますか。どうやって確認していますか
- 経験の浅い講師と、経験のある講師で、やり方は違いますか
- 効果はどれくらいを見込めばよいですか
3つ目に「大幅に上がります」と答える塾は、この記事の内容を知らないか、知っていて言っていません。当塾がお答えできるようにしておくのが、こちらの仕事だと考えています。
まとめ
- ロッシの評価の鉄則——「大規模な社会プログラムの正味の効果の期待値はゼロ」 [15]。誇張だが方向は正しい。
- 141の大規模試験・1,222,024人。平均効果量 0.06 SD、信頼区間の幅 0.30 SD [1]。
- 低中所得国234研究でも、学習成果の効果量の中央値は 0.10 SD [20]。
- 645研究——公刊/未公刊、小規模/大規模、自作尺度/独立尺度で、効果量は約2倍違う [2]。
- 開発者効果。開発者による評価は実質的に大きく、それは介入の優秀さでは説明されない [3]。
- Philosophy for Children の有効性試験——53%の学校が意図どおりに実施しなかった [4]。
- コーチング 0.49 / 0.18 SD。大規模の効果は小規模の「ごく一部」 [5]。
- 忠実度を測らない研究は、実装が意図どおりだったと仮定している [18]。
- 忠実度は成果と関係し、新しい教材の存在が忠実度を予測した [8]。
- 逆説。質が十分なら忠実度は問題にならず、忠実度が高ければ質を補償できた [9]。
- 型どおり→構造化された適応、の順序のときに生徒の成果が最大だった [10]。
- 反証。有望な試験の効果量は平均52%以上誇張。実装だけが理由ではない [6]。
- 実装戦略は教員の遵守を高め、行動変容技法の種類が多いほど効果が大きい [13]。
- 実装科学の10年——戦略と成果の関係の検証は、ほとんど進んでいない [11]。
- そして——費用を測った研究は7.8%。塾にとって最重要の変数が、最も測られていません [11]。
出典
本文中の番号に対応します。抄録に直接あたって確認したものだけを挙げています。結論に反する研究も、同じ基準で載せています。
- 【141試験・122万人】Lortie-Forgues, H. & Inglis, M. (2019). Rigorous Large-Scale Educational RCTs Are Often Uninformative: Should We Be Concerned?. Educational Researcher. DOI: 10.3102/0013189×19832850
- 【効果量は約2倍】Cheung, A. C. K. & Slavin, R. E. (2016). How Methodological Features Affect Effect Sizes in Education(645研究). Educational Researcher. DOI: 10.3102/0013189×16656615
- 【開発者効果】Wolf, R. et al. (2020). Average Effect Sizes in Developer-Commissioned and Independent Evaluations. Journal of Research on Educational Effectiveness. DOI: 10.1080/19345747.2020.1726537
- 【53%が意図どおりに実施せず】Perry, T. et al. (2022). Replication study in education. Educational Research and Evaluation. DOI: 10.1080/13803611.2021.2022307
- 【コーチングの縮小】Kraft, M. A. et al. (2018). The Effect of Teacher Coaching on Instruction and Achievement: A Meta-Analysis of the Causal Evidence(60研究). Review of Educational Research. DOI: 10.3102/0034654318759268
- 【反証・52%以上の誇張】Sims, S. et al. (2020). Quantifying “Promising Trials Bias” in Randomized Controlled Trials in Education. Journal of Research on Educational Effectiveness. DOI: 10.1080/19345747.2022.2090470
- O’Donnell, C. L. (2008). Defining, Conceptualizing, and Measuring Fidelity of Implementation and Its Relationship to Outcomes in K–12 Curriculum Intervention Research. Review of Educational Research. DOI: 10.3102/0034654307313793
- 【忠実度と成果】Hill, H. C. & Erickson, A. (2019). Using Implementation Fidelity to Aid in Interpreting Program Impacts: A Brief Review. Educational Researcher. DOI: 10.3102/0013189×19891436
- 【忠実度と質の代替関係】Tolmatcheff, C. et al. (2023). Examining the Link Between Implementation Fidelity, Quality, and Effectiveness of Teacher-Delivered Anti-Bullying Interventions in a Randomized Controlled Trial. Prevention Science. DOI: 10.1007/s11121-023-01580-8
- 【順序が結果を決める】Quinn, D. M. & Kim, J. S. (2017). Scaffolding Fidelity and Adaptation in Educational Program Implementation: Experimental Evidence From a Literacy Intervention. AERJ. DOI: 10.3102/0002831217717692
- 【反証・分野の到達点】Proctor, E. et al. (2023). Ten years of implementation outcomes research: a scoping review(400論文). Implementation Science. DOI: 10.1186/s13012-023-01286-z
- 【学校での実態・101研究】Ryan, A. et al. (2024). What can implementation science tell us about scaling interventions in school settings? A scoping review. Educational Research Review. DOI: 10.1016/j.edurev.2024.100620
- 【実装戦略のメタ分析】Merle, J. L. et al. (2021). Investigating strategies to increase general education teachers’ adherence to evidence-based social-emotional behavior practices(28論文・122効果量). Journal of School Psychology. DOI: 10.1016/j.jsp.2021.11.005
- Ashcraft, L. E. et al. (2024). A systematic review of experimentally tested implementation strategies across health and human service settings(129研究). Implementation Science. DOI: 10.1186/s13012-024-01369-5
- 【評価の鉄則】Veltri, G. A. (2025). From evidence to delivery: an Implementation-Science blueprint for behavioural policy. Behavioural Public Policy. DOI: 10.1017/bpp.2025.10018
- Bauer, M. S. & Kirchner, J. (2020). Implementation science: What is it and why should I care?. Psychiatry Research. DOI: 10.1016/j.psychres.2019.04.025
- Landes, S. J. et al. (2019). An Introduction to Effectiveness-Implementation Hybrid Designs. Psychiatry Research. DOI: 10.1016/j.psychres.2019.112513
- 【「意図どおりと仮定している」】Stains, M. & Vickrey, T. (2017). Fidelity of Implementation: An Overlooked Yet Critical Construct to Establish Effectiveness of Evidence-Based Instructional Practices. CBE Life Sciences Education. DOI: 10.1187/cbe.16-03-0113
- Moir, T. (2018). Why Is Implementation Science Important for Intervention Design and Evaluation Within Educational Settings?. Frontiers in Education. DOI: 10.3389/feduc.2018.00061
- Evans, D. K. & Yuan, F. (2022). How Big Are Effect Sizes in International Education Studies?(234研究). Educational Evaluation and Policy Analysis. DOI: 10.3102/01623737221079646
- Kraft, M. A. (2020). Interpreting Effect Sizes of Education Interventions. Educational Researcher. DOI: 10.3102/0013189×20912798
- Wolf, B. & Harbatkin, E. (2022). Making Sense of Effect Sizes: Systematic Differences in Intervention Effect Sizes by Outcome Measure Type. Journal of Research on Educational Effectiveness. DOI: 10.1080/19345747.2022.2071364
この連載の他の記事
教育学・認知心理学・社会心理学・行動経済学・教育経済学の研究をもとにした連載です。
- 反転授業は何を変えるのか——「動画を家で見る」が本体ではない
- 「わかった気がする」と実際の学習量はなぜずれるのか
- 分散学習と交互学習——同じ時間の配り方で結果が変わる
- 認知負荷理論と「指導の最小化」論争
- 学習スタイル説はなぜ検証に耐えないのか
- マインドセット研究の現在——再現性の検証を経て何が残ったか
- 社会心理学的介入——短時間の介入が長期に効く条件
- 教育経済学——同じ費用で何が一番効くのか
- 行動経済学と教育——ナッジは何を変え、何を変えないか
- フィードバックはなぜ逆効果になりうるのか
- 読解は技能か知識か——背景知識が理解を決める
- リーディング・ウォーズ——初期の読み指導をめぐる論争
- 数学の概念理解と手続き習熟——どちらが先かという問いの誤り
- 作業記憶は訓練で増やせるか——「脳トレ」研究が示した転移の限界
- 能力別編成は誰の利益になるか——ピア効果と習熟度別指導の実証
- 睡眠は学習の一部である——記憶の定着、思春期の体内時計、始業時刻の実証
- 報酬は意欲を壊すのか——過剰正当化効果から大規模実験まで
- 「1万時間の法則」は何を言っていないか——意図的練習研究の実際
- 学歴は何の対価か——人的資本とシグナリングをめぐる実証
- 学んだことはなぜ別の場所で使えないのか——学習の転移をめぐる100年
- 「分かったつもり」はなぜ生じるか——メタ認知的モニタリングの研究
- 試験で実力が出ないという現象——テスト不安とステレオタイプ脅威
- 就学前教育の効果はなぜ「消えて、残る」のか
- 宿題は効くのか——学年・内容・家庭環境で符号が変わる
- ノートは何をしているのか——手書き優位説の再検証
- 教育に技術を入れると何が起きるか——60年分の評価
- 外国語は早いほどよいのか——臨界期をめぐる実証
- グループにすれば学ぶ、わけではない——協同学習の条件
- 教育研究をどう読むか——因果推論と効果量の作法
- 教師の「質」は測れるか——付加価値モデルの実証と限界
- 少人数学級は効くのか——テネシーSTAR実験から40年
- 1対1で教えると何が起きるか——チュータリング研究の効果量と、効かない条件
- 「非認知能力」は何を指しているか——自制心・やり抜く力・マシュマロ実験の再検証
- 夏休みに学力は下がるのか——測定が結論を左右した研究史
- 試験で学校を評価すると何が起きるか——説明責任政策の実証とキャンベルの法則
- 保護者の関与はどこまで効くか——宿題の手伝いより、一行の連絡が効く理由
- スマートフォンと注意——学校の持込禁止、「そこにあるだけ」の害、マルチタスクの実証
- 数学不安は成績を下げるのか——相関の大きさ、因果の向き、介入の再現性
- 教師の期待は生徒を変えるか——ピグマリオン効果の60年が残した結論
