「良い先生」を数字にする試み
担任が変わった年に、子どもの成績が伸びた。あるいは落ちた。そのとき保護者や生徒は、先生の力量を思い浮かべます。しかし、成績の変化のうち、どこまでが先生の寄与で、どこまでが本人の成長や家庭の事情や偶然なのかは、印象だけでは分けられません。
この切り分けを統計で行おうとしたのが、付加価値モデルと呼ばれる手法です。米国では2010年代に教員評価の柱として導入が進み、同時に、教育研究で最も激しい論争を生んだ主題でもあります。
先に結論を述べます。付加価値は、教師の集団としての影響を捉える指標としては予想以上に頑健だが、個々の教師を1年の数値で判定する道具としては誤差が大きすぎる。研究が何を確かめ、何を確かめていないのかを順に整理します。
1. 付加価値モデルとは何か
付加価値モデルは、生徒の今年のテスト得点を、前年の得点やその他の属性から予測し、予測と実際の差を担当教師に帰属させる方法です。同じ出発点の生徒を受け持ったとき、平均してどれだけ上乗せしたかを推定するので、「付加価値」と呼ばれます。
学力の高い生徒ばかりを受け持つ教師が有利になる、という単純な問題は、前年得点の統制でかなり抑えられます。
一方で、二つの疑問がすぐに立ちます。第一に、前年得点で補正しても取り切れない偏りが残らないか。学級編成は無作為ではなく、意欲や家庭環境の違いが特定の教師に集まる可能性があります。第二に、推定値が年ごとにどれほど揺れるか。1学級の人数は限られており、数人の生徒の出来不出来で数値が動きます。研究史は、この二つの疑問に答える形で進んできました。
2. 追跡が示したもの——大人になってからの差
この分野で最も広く引用されるのが、Chetty、Friedman、Rockoffの一連の研究です。彼らは米国のある大規模学区の小学3年から中学2年（3〜8年生）のデータを、250万人分、税務記録と結びつけ、教師の付加価値が、子どもが大人になった後の指標とどう関係するかを調べました（Chetty et al., 2011）。
付加価値の高い教師に割り当てられた生徒は、大学進学率が高く、成人後の収入が高く、10代で親になる割合が低い。教師の付加価値が1標準偏差高いと、28歳時点の収入は約1%高くなると推定されました（Chetty et al., 2011; 2014）。
付加価値が下位5%の教師を平均的な教師に置き換えると、学級1つあたりで生徒の生涯所得の現在価値が約25万ドル増える、という試算も示されました（Chetty et al., 2014）。
1%という値は、1人の生徒にとっては小さい。25万ドルは、それを1学級分、生涯分として足し上げた数字です。効果が「大きい」と言えるかどうかは、個人の単位で見るか、制度の単位で見るかで変わります。研究が示したのは、教師の影響が将来まで薄く広く残ることであって、担任が変われば人生が変わることではありません。
3. 偏りは残っているか——10年に及ぶ論争
しかしその値は、本当に教師の力を映しているのか。生徒の割り当てに偏りがあれば、教師ではなく生徒の違いを測っているにすぎません。
Chettyらはこの点を二つの方法で検証しました。一つは、分析に使っていなかった親の所得などの情報を後から加え、推定値が動くかを見る方法。もう一つは、教師の異動を利用する方法です。ある学年に付加価値の高い教師が転入してきた年、その学年の生徒全体の得点が予測どおりに上がるかを見る。生徒側の事情とは無関係に起きる変化を使うので、準実験と呼ばれます。100万人を超える生徒のデータで、前年得点を統制した付加価値の推定には、ほとんど偏りが見られませんでした（Chetty et al., 2014）。
これに真正面から反論したのがRothsteinです。彼はノースカロライナ州のデータで同じ分析を再現し、結果がほぼ同じであることを確認したうえで、教師の異動は生徒側の準備状態の変化と相関しており、準実験の前提が成り立たないと論じました。この点を補正すると、付加価値の分散のうち10〜35%程度が偏りである可能性がある、というのが彼の推定です。また、大人になってからの指標との関係は、統制変数の取り方で結果が動き、強い結論を支えられないとしました（Rothstein, 2017）。
Chettyらは、Rothsteinの欠損値の扱いが偏りを生むこと、彼の「プラセボ検定」は妥当な研究設計をも棄却してしまうことを、シミュレーションと追加分析で示して反論しました（Chetty et al., 2017）。ロサンゼルスのデータで同じ設計を再現したBacher-Hicksらも、付加価値は妥当な予測指標であり、Rothsteinの検定は機械的な相関を拾っているにすぎないと報告しています（Bacher-Hicks et al., 2014）。
この論争を、どちらが勝ったかで読むのは適切ではありません。三つの州・学区で同じ分析が再現され、方向は一致した。争点は、偏りがゼロか、分散の1〜3割かという幅の問題です。この幅がそのまま「個々の教師の評価に使えるか」の答えに関わります。集団の傾向を見るなら3割の偏りは致命的ではない。個人の処遇を決めるなら、3割は大きすぎます。
Rothsteinは、それ以前にも重要な指摘をしています。まだ担当していない翌年の教師が、今年の得点の伸びを「説明」してしまうかを見る検定です。未来の教師が過去の成績に影響できるはずはないので、関係が出れば、生徒の割り当てに含まれる情報を教師の効果として拾っている証拠になります。ノースカロライナ州のデータでは、5年生の教師が4年生時の伸びに大きな「効果」を持つという結果が出ました（Rothstein, 2010）。
4. くじ引きで確かめる
統計的な補正の議論には、決着をつける方法があります。実際に無作為に生徒を割り当て、事前に推定した付加価値が、その後の得点を予測するかを見ればよい。KaneとStaigerは、ロサンゼルス統一学区でこの実験を行いました。前年得点を統制した推定値は、教師を学級に無作為に割り当てた後の生徒の成績に対しても、偏りのない予測を与えました（Kane & Staiger, 2008）。
彼らは別の事実も報告しています。教師の効果は、担当した翌年以降、年に約50%ずつ減衰する。ある年の担任の効果は、2年後にはかなり薄まる。これはRothsteinが指摘した「速い減衰」とも整合しており、論争の両陣営が認める所見です。
その後、Bacher-Hicksらは4学区の小学4・5年の算数、66学級で同様の無作為割当実験を行い、付加価値に加えて授業観察と生徒アンケートも検証しました。付加価値は、過去の実験と同様に偏りのない予測指標でした。授業観察の得点も無作為割当後の教師の成績を予測しましたが、生徒アンケートは予測しませんでした（Bacher-Hicks et al., 2019）。
無作為割当という最も強い設計でも、付加価値は平均的には教師の力を捉えている、という答えが繰り返し得られています。
5. 年ごとの揺れ——身長にも「教師効果」が出る
偏りの問題とは別に、精度の問題があります。付加価値の推定は、平均としては正しくても、個々の教師については大きく揺れます。McCaffreyらはフロリダ州の5つの大規模学区で、算数の教師の付加価値が年をまたいでどれだけ一致するかを調べました。年ごとの相関は、小学校で0.2〜0.5、中学校で0.3〜0.7でした。測定された教師の成績のばらつきのうち、およそ30〜60%は、生徒の得点に含まれる偶然の変動、つまり標本誤差によるものでした。偶然を除いた残りのうち、持続的な教師の効果が占める割合は、小学校で約50%、中学校で約70%でした（McCaffrey et al., 2009）。
相関0.2〜0.5という値は、今年上位の教師が来年も上位にいる保証がかなり弱いことを意味します。彼らは、2年分の推定を平均するだけで将来の予測がかなり改善するとも報告しています。
この揺れの正体を示した研究があります。Bitlerらは、ニューヨーク市のデータで、教師が影響を与えるはずのない結果、つまり生徒の身長に対して、標準的な付加価値モデルを当てはめました。すると、身長に対する「教師効果」の標準偏差は、算数や読解に対するものとほぼ同じ大きさで出てしまいました（Bitler et al., 2021）。
身長への効果は、年ごとの相関が無く、学力への効果とも相関しないため、その年その学級に固有の偶然の変動を拾っていることが分かります。持続的な効果と一時的な学級変動を分離するモデルを使うと、身長への効果は理論どおりゼロになりました。単年の単純な付加価値は、教師の力と学級の偶然を分けられていない。これが、この研究の教訓です。
学校単位でも同じ問題があります。Emslanderらはルクセンブルクの標準学力テストのデータ（151校、7,016人）で学校の付加価値の安定性を調べ、2017年と2019年の順位相関は算数で0.34、言語で0.37にとどまり、安定した値を示した学校は34〜38%だけだったと報告しています（Emslander et al., 2022）。
6. テストが測らないもの
ここまでの議論は、すべてテスト得点を土台にしています。Jacksonは、9年生（日本の中学3年に相当）の教師について、テスト得点への効果とは別に、欠席、停学、履修科目の成績、進級といった得点以外の指標への効果を推定しました。教師はこれらの指標にも影響を与えており、その効果は、高校卒業や大学進学の予測因子と、テスト得点への効果とは独立に関係していました。得点の効果だけを使う場合と比べ、得点以外の効果も含めると、長期の結果に対する教師効果の予測可能な部分は2倍以上になりました（Jackson, 2018）。
テスト得点で見た「良い教師」と、得点以外で見た「良い教師」は、部分的にしか重なりません。得点の付加価値が低い教師の中に、出席や進級を支えている教師がいる。得点だけで評価すれば、その貢献は制度から見えなくなります。
7. 賭け金を高くすると何が起こるか
測定の議論とは別に、その数値で処遇を決めたときに何が起こるかは、独立に検証が要る問いです。米国の首都ワシントンD.C.の公立学校では、IMPACTという教員評価制度が導入されました。複数回の構造化された授業観察とテストの成績を組み合わせた指標で、低評価が続けば解雇、高評価には大きな昇給が結びつく、際立って賭け金の高い制度でした。DeeとWyckoffは、評価の境界付近の教師を比較する設計で効果を推定しました。解雇の脅威は、低評価の教師の自発的離職を11ポイント（5割以上）増やし、残った教師の成績を教師レベルの標準偏差で0.27改善しました。高評価の教師への金銭的誘因も、成績を0.24改善しました（Dee & Wyckoff, 2015）。
制度の長期的な帰結を追ったJamesとWyckoffは、離職を通じた指導の質と生徒の学力の改善は続いているが、効果は小さくなってきていると報告しています。評価の高い教師が制度を嫌って離職しているという証拠は、ほとんど見られませんでした（James & Wyckoff, 2020）。
注意すべきは、IMPACTがテスト得点だけで評価する制度ではないことです。授業観察を主軸に据え、得点はその一部でした。この結果を「付加価値で解雇すれば学校は良くなる」と読むのは誤りです。複数の指標を組み合わせた制度で一定の効果が出た、というのが正確な読み方です。
8. 日本の文脈で
日本では、教師個人の付加価値を推定して評価に使う制度は、公立学校には存在しません。全国学力・学習状況調査は小学6年と中学3年を対象にした単年の調査で、同じ生徒を追跡する設計ではなく、担任教師との対応づけもされていません。埼玉県のように同一の児童生徒を複数年追跡する学力調査を行う自治体はありますが、それを教師の人事評価に結びつける運用にはなっていません。加えて、教員は数年で異動し、担任も毎年のように替わるため、同じ教師の複数年のデータがそもそも蓄積しにくい構造です。
この研究群が日本の読者に与えるのは、制度ではなく、判断の仕方に関わる示唆です。第一に、1年の成績の変化から先生の力量を推し量るのは、研究者が最も精密なモデルを使っても誤差が大きい作業だということです。年ごとの相関が0.2〜0.5という数値は、印象で判断する場合にはさらに悪くなると考えるのが自然です。担任が変わった年の成績の上下は、担任の力量以外の要因を先に疑うべきです。
第二に、教師の影響は確かに存在し、将来まで残るが、その大きさは1年あたりで見れば控えめだということです。特定の先生に当たらなかったことが決定的な損失になるという証拠はありません。効果は翌年以降に減衰し、次の年には次の教師の影響が重なります。
第三に、テスト得点に表れない影響が、得点に表れる影響と同じくらい将来と関係するということです。教師を得点の伸びだけで評価する習慣は、家庭の中でも起こります。研究は、それが半分しか見ていないことを示しています。
9. 証拠の限界
この領域の知見を使う際の留保を述べます。
第一に、証拠のほとんどは米国の公立学校の、算数と読解の標準テストから得られています。他の教科、他の国、標準テストのない場面に、数値をそのまま持ち込むことはできません。
第二に、長期の結果に関する主要な証拠は、一つの大規模学区に依存しています。Rothsteinの再現では、長期の結果は統制の取り方で動くと指摘されており、この点の決着はついていません。
第三に、無作為割当の実験は規模が小さい。66学級で「偏りがない」と言えるのは、大きな偏りが無いという意味であって、小さな偏りを排除できたわけではありません。
第四に、付加価値を高い賭け金で使ったとき、教師の行動がテスト対策に偏る、あるいは不正が起こるという懸念は、繰り返し指摘されています。指標が処遇に使われると、指標そのものが歪む。これは付加価値に限らない一般則です。
第五に、「教師の質」という言葉が、この研究群では「テスト得点を上げる力」に置き換えられている点です。測れるものを測ったのであって、教師の仕事の全体を測ったのではありません。
まとめ
付加価値モデルは、生徒の出発点を補正したうえで教師の寄与を推定する方法です。250万人規模の追跡で、付加価値の高い教師に当たった生徒は、大学進学率が高く、28歳時点の収入が約1%高いことが示されました。この関係は、無作為割当の実験でも、複数の州・学区の再現でも支持されています。
一方で、推定値の偏りをめぐる論争は、ゼロか分散の1〜3割かという幅で続いています。年ごとの相関は小学校で0.2〜0.5にとどまり、ばらつきの3〜6割は偶然です。教師が影響できないはずの身長にさえ、単年のモデルでは「効果」が出ます。得点に表れない教師の影響も、得点に表れる影響と同程度に将来と関係しています。
集団の傾向を知る道具としては信頼でき、個人を単年で判定する道具としては信頼できない。教師の質を測ろうとする試みは、教師の影響が実在することと、それを個別に測ることの難しさとを、同時に明らかにしました。
主な参照研究
- Chetty, R., Friedman, J. N., & Rockoff, J. E. (2011). The long-term impacts of teachers: Teacher value-added and student outcomes in adulthood. NBER Working Paper 17699.
- Chetty, R., Friedman, J. N., & Rockoff, J. E. (2014). Measuring the impacts of teachers I: Evaluating bias in teacher value-added estimates.
- Chetty, R., Friedman, J. N., & Rockoff, J. E. (2014). Measuring the impacts of teachers II: Teacher value-added and student outcomes in adulthood.
- Rothstein, J. (2010). Teacher quality in educational production: Tracking, decay, and student achievement.
- Rothstein, J. (2017). Measuring the impacts of teachers: Comment.
- Chetty, R., Friedman, J. N., & Rockoff, J. E. (2017). Measuring the impacts of teachers: Reply.
- Bacher-Hicks, A., Kane, T. J., & Staiger, D. O. (2014). Validating teacher effect estimates using changes in teacher assignments in Los Angeles. NBER Working Paper 20657.
- Kane, T. J., & Staiger, D. O. (2008). Estimating teacher impacts on student achievement: An experimental evaluation. NBER Working Paper 14607.
- Bacher-Hicks, A., Chin, M. J., Kane, T. J., & Staiger, D. O. (2019). An experimental evaluation of three teacher quality measures: Value-added, classroom observations, and student surveys.
- McCaffrey, D. F., Sass, T. R., Lockwood, J. R., & Mihaly, K. (2009). The intertemporal variability of teacher effect estimates.
- Bitler, M., Corcoran, S., Domina, T., & Penner, E. (2021). Teacher effects on student achievement and height: A cautionary tale.
- Emslander, V., Levy, J., Scherer, R., & Fischbach, A. (2022). Value-added scores show limited stability over time in primary school.
- Dee, T. S., & Wyckoff, J. (2015). Incentives, selection, and teacher performance: Evidence from IMPACT.
- James, J. K., & Wyckoff, J. (2020). Teacher evaluation and teacher turnover in equilibrium: Evidence from DC public schools.
- Jackson, C. K. (2018). What do test scores miss? The importance of teacher effects on non-test score outcomes.
この連載の他の記事
教育学・認知心理学・社会心理学・行動経済学・教育経済学の研究をもとにした連載です。
- 反転授業は何を変えるのか——「動画を家で見る」が本体ではない
- 「わかった気がする」と実際の学習量はなぜずれるのか
- 検索練習——思い出す作業が記憶を作る
- 分散学習と交互学習——同じ時間の配り方で結果が変わる
- 認知負荷理論と「指導の最小化」論争
- 学習スタイル説はなぜ検証に耐えないのか
- マインドセット研究の現在——再現性の検証を経て何が残ったか
- 社会心理学的介入——短時間の介入が長期に効く条件
- 教育経済学——同じ費用で何が一番効くのか
- 行動経済学と教育——ナッジは何を変え、何を変えないか
- フィードバックはなぜ逆効果になりうるのか
- 読解は技能か知識か——背景知識が理解を決める
- リーディング・ウォーズ——初期の読み指導をめぐる論争
- 数学の概念理解と手続き習熟——どちらが先かという問いの誤り
- 作業記憶は訓練で増やせるか——「脳トレ」研究が示した転移の限界
- 能力別編成は誰の利益になるか——ピア効果と習熟度別指導の実証
- 睡眠は学習の一部である——記憶の定着、思春期の体内時計、始業時刻の実証
- 報酬は意欲を壊すのか——過剰正当化効果から大規模実験まで
- 「1万時間の法則」は何を言っていないか——意図的練習研究の実際
- 学歴は何の対価か——人的資本とシグナリングをめぐる実証
- 学んだことはなぜ別の場所で使えないのか——学習の転移をめぐる100年
- 「分かったつもり」はなぜ生じるか——メタ認知的モニタリングの研究
- 試験で実力が出ないという現象——テスト不安とステレオタイプ脅威
- 就学前教育の効果はなぜ「消えて、残る」のか
- 宿題は効くのか——学年・内容・家庭環境で符号が変わる
- ノートは何をしているのか——手書き優位説の再検証
- 教育に技術を入れると何が起きるか——60年分の評価
- 外国語は早いほどよいのか——臨界期をめぐる実証
- グループにすれば学ぶ、わけではない——協同学習の条件
- 教育研究をどう読むか——因果推論と効果量の作法
- 少人数学級は効くのか——テネシーSTAR実験から40年
- 1対1で教えると何が起きるか——チュータリング研究の効果量と、効かない条件
- 「非認知能力」は何を指しているか——自制心・やり抜く力・マシュマロ実験の再検証
- 夏休みに学力は下がるのか——測定が結論を左右した研究史
- 試験で学校を評価すると何が起きるか——説明責任政策の実証とキャンベルの法則
- 保護者の関与はどこまで効くか——宿題の手伝いより、一行の連絡が効く理由
- スマートフォンと注意——学校の持込禁止、「そこにあるだけ」の害、マルチタスクの実証
- 数学不安は成績を下げるのか——相関の大きさ、因果の向き、介入の再現性
- 教師の期待は生徒を変えるか——ピグマリオン効果の60年が残した結論
