同じ研究から、逆の結論が出るとき
この連載では、30回にわたって教育に関する実証研究を扱ってきました。反転授業、検索練習、学習スタイル、マインドセット、能力別編成、睡眠、報酬、意図的練習、学歴の収益率。
主題は異なりますが、読み進めるうちに同じ構造が繰り返し現れたはずです。最初に大きな効果が報告され、追試で縮小し、条件つきの小さな効果に収束する。あるいは、相関が因果として流通し、後から交絡が指摘される。
最終回は、個別の知見ではなく、知見を読むための道具を扱います。これが身につけば、今後出てくる新しい主張を、その都度調べ直さずに評価できます。
1. 因果とは「もし〜でなかったら」である
ある施策に効果があったと言うとき、比較されているのは何でしょうか。
厳密には、同じ対象が、その施策を受けなかった場合にどうなっていたかとの比較です。しかしこれは観測できません。一人の生徒について、施策を受けた場合と受けなかった場合の両方を見ることはできない。
この観測できない状態を、反実仮想と呼びます。因果推論の方法とは、観測できない反実仮想を、観測可能な何かで置き換える技法にほかなりません。
このとき置き換えの妥当性が、結論の妥当性を決めます。方法の違いは、この置き換えをどう正当化するかの違いです。
2. 無作為化比較試験
最も強い方法が、対象を無作為に二群へ割り当てるものです。
無作為であれば、二群は観測できる特性でも、観測できない特性でも、平均的に等しくなります。したがって、対照群の結果を、処置群の反実仮想として使えます。
この連載で扱った例としては、ケニアの能力別編成の実験、ヘッドスタートの評価、金銭誘因の実験、端末配布の評価があります。
ただし、無作為化にも限界があります。
外的妥当性。ある場所・ある集団で得られた効果が、別の条件で再現されるとは限りません。就学前介入の記事で扱ったとおり、対照群の環境が変われば効果量は変わります。
実施の忠実度。割り当てられた処置が実際に受けられたか。参加率が低ければ、推定されるのは意図した処置の効果になります。
対照群への影響。同じ学校内で割り当てると、対照群が処置の影響を受けます。
倫理と実行可能性。有害と分かっている条件に割り当てることはできません。宿題の記事で述べたとおり、実施できない主題が多くあります。
期間。多くの実験は短期です。長期の効果は、追跡が必要で、脱落が生じます。
3. 無作為化できないときの方法
教育では無作為化が難しい場面が多く、代替の方法が発達してきました。
差の差分析。施策を受けた群と受けない群を、施策の前後で比較します。両群の水準が違っても、施策がなければ同じように推移したはずだという仮定が成り立てば、差の変化を効果として読めます。この仮定は、施策前の推移が並行していたかで部分的に検証できます。
回帰不連続デザイン。ある基準値の前後で処置が決まる場合、基準のすぐ両側を比較します。基準の直前と直後の対象は、ほぼ同じだと考えられる。学歴の記事で扱った専攻配属の分析、就学年齢の分析がこの型です。基準の近傍でしか推定できない点が制約です。
操作変数法。処置を動かすが、結果には処置を通じてしか影響しない変数を使います。義務教育年限の引き上げや、出生月による就学時期の違いが用いられてきました。仮定が強く、検証が難しい方法です。
固定効果。同じ個人や同じ学校を繰り返し観察し、変化しない特性の影響を除去します。宿題の記事で扱った、同一生徒の科目間比較がこの型です。
いずれも、仮定の上に成り立っています。仮定が満たされない場合、推定値は因果を表しません。論文を読むときに確認すべきは、方法の名前ではなく、その仮定が納得できるかどうかです。
4. 相関を因果と読む誤り
最も頻繁に起きる誤りが、相関からの飛躍です。連載で扱った例を挙げます。
逆の因果。宿題をよくやる生徒の成績が高い。しかし、分かるからやる、という経路も同時にあります。保護者の関与と成績の関係も同様で、成績が低い子どもほど関与を受けます。
交絡。音楽を習う子どもの学力が高い。しかし、音楽を習わせる家庭には他の条件も伴います。学歴と賃金の関係も、能力と家庭の資源という交絡を含みます。
選抜。ある学校の卒業生の所得が高い。しかし、その学校に入る人は入る前から異なります。大学の選抜度の記事で扱った、同じ大学群に合格した学生どうしの比較は、この問題への対処でした。
生存者バイアス。成功した人の共通点を探しても、同じ特徴を持ちながら成功しなかった人が見えません。
平均への回帰。極端に悪い結果の後には、何もしなくても改善が観察されます。成績が急落した生徒に介入すれば、介入の有無にかかわらず戻ります。メタ認知の記事で扱った、能力の低い人ほど自己評価が過大になるという主張への批判も、この機構によるものでした。
5. 効果量をどう読むか
効果の大きさは、標準偏差を単位とした指標で報告されることが多い。この数値の解釈には、いくつかの注意が要ります。
第一に、0.2が小、0.5が中、0.8が大という慣例的な区分は、教育の文脈には適しません。提案した本人が、目安にすぎないと述べています。教育の大規模な無作為化研究では、0.1前後でも実務的に意味のある大きさとされることがあります。
第二に、比較の相手によって効果量が変わります。何もしない群との比較と、既存の指導との比較では、同じ介入でも数値が違います。
第三に、測定の範囲によって変わります。指導内容に近い課題で測れば効果は大きく、標準化されたテストで測れば小さくなります。研究者が作成した課題での効果量は、既存の標準テストより大きく出ることが知られています。
第四に、対象の分散によって変わります。標準偏差で割る以上、集団が均質なほど効果量は大きく出ます。
したがって、異なる研究の効果量を並べて順位をつける作業には、限界があります。連載の最初のほうで触れた、指導法を効果量で順位づけした一覧への批判も、主にこの点にありました。
6. 公表されない結果
個々の研究が妥当でも、公表される研究の集合に偏りがあれば、統合した結論は歪みます。
出版バイアスは、効果が確認されなかった研究が公表されにくい現象です。結果として、文献に残るのは効果を報告した研究に偏ります。
この偏りは統計的に検出できます。標本が小さい研究ほど効果量が大きいという関係が見られる場合、偏りの兆候とされます。連載で扱ったステレオタイプ脅威、二言語使用の利点、マインドセットのいずれでも、この兆候が報告されました。
関連する問題として、解析の自由度があります。どの変数を統制するか、どの外れ値を除くか、どの指標を主要な結果とするか。選択肢が多ければ、結果が出るまで試すことが可能になります。意図的でなくても起こりえます。
対処として普及したのが事前登録です。分析計画を、データを見る前に公表する。連載のステレオタイプ脅威の記事で扱った追試は、この形式で行われました。
7. 再現性の検証が示したこと
2010年代、心理学の大規模な追試プロジェクトが公表されました。主要誌に掲載された研究を独立の研究室が追試したところ、元の効果が再現された割合は半数を下回りました。再現された場合でも、効果量は元の報告より小さくなる傾向がありました。
教育に関わる知見も、この検証の対象になりました。連載で扱ったマインドセット、ステレオタイプ脅威、手書きの優位、二言語使用の利点は、いずれも効果量の縮小や再現の失敗が報告されています。
この事態をどう受け取るかについては、二つの極端を避ける必要があります。
一方の極端は、心理学や教育研究は信用できないという一般化です。しかし、この検証自体が研究者コミュニティによって行われたことは、自己修正の機能が働いた証拠でもあります。また、再現性の高い知見も存在します。連載で扱った分散学習、検索練習、認知負荷の基本的な所見は、多数の独立した追試を経ています。
もう一方の極端は、追試の失敗を条件の違いで説明し尽くす態度です。条件が違えば効果が出ないという説明は、常に可能です。反証可能性を失った主張は、実証の対象から外れます。
実務的な判断としては、知見を再現性の水準で区別して扱うのが妥当です。多数の独立追試を経た知見は、そのまま設計に組み込んでよい。一件の印象的な研究に基づく知見は、試す価値はあっても、制度の根拠にはしない。
連載を通じて、この区別を明示してきたのはそのためです。「研究によれば」という言い方は、証拠の強さを伝えません。何件の、どういう設計の研究によるのかまで述べなければ、情報になりません。
8. 証拠の強さには段階がある
医学の分野では、証拠の強さを段階で整理する枠組みが広く使われています。教育でも同様の整理が可能です。
弱い順に並べると、次のようになります。個人の経験と観察。事例の記述。横断的な相関研究。縦断的な相関研究。準実験。単一の無作為化試験。複数の無作為化試験のメタ分析。
ただし、この序列を機械的に適用することにも批判があります。質の低い無作為化試験より、設計の良い観察研究のほうが有用な場合があります。また、メタ分析は元の研究の質を超えられません。異質な研究を統合した平均値は、どの状況にも当てはまらない数値になることがあります。
実務で使いやすいのは、序列そのものより次の問いです。この主張が間違っていた場合、どのような観察が得られるはずか。その観察が行われていなければ、主張は検証されていません。
連載で扱った学習スタイル説が典型でした。この説が正しければ、好みに合った提示形式で成績が上がるはずです。その交互作用を測る研究が行われ、確認されなかった。検証可能な形に翻訳してから測るという手順が踏まれたために、決着がついた例です。
9. 新しい主張に出会ったときの確認項目
連載を通じて使ってきた確認の手順を、まとめておきます。
誰と比べたのか。対照群は何をしていたのか。何もしていない群なら、活動そのものの効果とは言えません。
何が測られたのか。指導内容に近い課題か、独立した指標か。主観的な評価か、行動の記録か。
いつまで続いたのか。直後の測定か、数か月後か。多くの効果は時間とともに縮小します。
誰に効いたのか。平均の効果か、特定の層での効果か。平均が小さくても、下位層で意味のある効果がある場合があります。
何人か。標本の規模。小さい標本での大きな効果は、偶然の可能性が高い。
追試されたか。独立した研究室で再現されているか。
誰が実施したか。方式の開発者や販売者による評価は、効果量が大きく出る傾向があります。
費用はいくらか。効果量だけでは実務の判断になりません。同じ予算で他に何ができるか。
この八つを確認するだけで、誇張された主張の大部分は輪郭がはっきりします。すべてに答えられる主張は、そう多くありません。
10. 証拠でできないこと
最後に、実証研究の限界について述べておきます。
目的を決めることはできません。研究が答えるのは「この方法でこの指標が動くか」であって、「どの指標を目指すべきか」ではありません。学力を上げるべきか、意欲を優先すべきか、公平性をどう重みづけるかは、価値の判断です。
測られていないものは評価できません。賃金は測りやすく、生活の質は測りにくい。測りやすさによる偏りが、何が重要かの議論を歪めます。
平均は個人の予測ではありません。集団で効果が確認された介入が、目の前の一人に効くとは限りません。逆も同じです。
効果がないことの証明はできません。確認されなかったことは、存在しないことを意味しません。測定が粗い、期間が短い、対象が違う、という可能性が常に残ります。
この四つを踏まえると、実証研究の使い方は自ずと定まります。証拠は、判断を置き換えるものではなく、判断の前提を絞り込むものです。
まとめ
因果を主張するとは、観測できない反実仮想を何かで置き換えることです。無作為化が最も強い置き換えですが、外的妥当性、実施の忠実度、期間という限界を持ちます。無作為化できない場合の方法は、いずれも仮定の上に成立しており、確認すべきは方法の名前ではなく仮定の妥当性です。
最も頻繁に起きる誤りは、相関からの飛躍です。逆の因果、交絡、選抜、生存者バイアス、平均への回帰。連載で扱った主題のほとんどに、これらのいずれかが関わっていました。
効果量は、比較の相手、測定の範囲、集団の均質さによって変わります。異なる研究の数値を並べて順位をつける作業には限界があります。加えて、公表される研究の集合そのものに偏りがあり、統合した結論も歪みます。
新しい主張に出会ったときは、八つを確認すれば足ります。誰と比べ、何を測り、いつまで続き、誰に効き、何人で、追試され、誰が実施し、いくらかかるのか。この手順は、どの分野の主張にも同じように使えます。
そして、証拠にできないこともあります。目的を決めること、測られていないものを評価すること、個人の結果を予測すること。証拠は判断の代わりにはなりませんが、判断の前提を絞り込むことはできる。この連載で扱ってきたのは、その絞り込みの作業でした。
主な参照研究
- Angrist, J. D., & Pischke, J.-S. (2009). Mostly Harmless Econometrics.
- Imbens, G. W., & Rubin, D. B. (2015). Causal Inference for Statistics, Social, and Biomedical Sciences.
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference.
- Kraft, M. A. (2020). Interpreting effect sizes of education interventions.
- Cheung, A. C. K., & Slavin, R. E. (2016). How methodological features affect effect sizes in education.
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis.
- Open Science Collaboration (2015). Estimating the reproducibility of psychological science.
- Deaton, A., & Cartwright, N. (2018). Understanding and misunderstanding randomized controlled trials.
- Ioannidis, J. P. A. (2005). Why most published research findings are false.
この連載の他の記事
教育学・認知心理学・社会心理学・行動経済学・教育経済学の研究をもとにした連載です。
- 反転授業は何を変えるのか——「動画を家で見る」が本体ではない
- 「わかった気がする」と実際の学習量はなぜずれるのか
- 検索練習——思い出す作業が記憶を作る
- 分散学習と交互学習——同じ時間の配り方で結果が変わる
- 認知負荷理論と「指導の最小化」論争
- 学習スタイル説はなぜ検証に耐えないのか
- マインドセット研究の現在——再現性の検証を経て何が残ったか
- 社会心理学的介入——短時間の介入が長期に効く条件
- 教育経済学——同じ費用で何が一番効くのか
- 行動経済学と教育——ナッジは何を変え、何を変えないか
- フィードバックはなぜ逆効果になりうるのか
- 読解は技能か知識か——背景知識が理解を決める
- リーディング・ウォーズ——初期の読み指導をめぐる論争
- 数学の概念理解と手続き習熟——どちらが先かという問いの誤り
- 作業記憶は訓練で増やせるか——「脳トレ」研究が示した転移の限界
- 能力別編成は誰の利益になるか——ピア効果と習熟度別指導の実証
- 睡眠は学習の一部である——記憶の定着、思春期の体内時計、始業時刻の実証
- 報酬は意欲を壊すのか——過剰正当化効果から大規模実験まで
- 「1万時間の法則」は何を言っていないか——意図的練習研究の実際
- 学歴は何の対価か——人的資本とシグナリングをめぐる実証
- 学んだことはなぜ別の場所で使えないのか——学習の転移をめぐる100年
- 「分かったつもり」はなぜ生じるか——メタ認知的モニタリングの研究
- 試験で実力が出ないという現象——テスト不安とステレオタイプ脅威
- 就学前教育の効果はなぜ「消えて、残る」のか
- 宿題は効くのか——学年・内容・家庭環境で符号が変わる
- ノートは何をしているのか——手書き優位説の再検証
- 教育に技術を入れると何が起きるか——60年分の評価
- 外国語は早いほどよいのか——臨界期をめぐる実証
- グループにすれば学ぶ、わけではない——協同学習の条件
