試験で学校を評価すると何が起きるか——説明責任政策の実証とキャンベルの法則

測ると、測られるものが変わる

学校の成果を試験で測り、結果の悪い学校に介入する。この仕組みは説明責任政策と呼ばれ、2000年代の米国で全国規模で実施されました。筋は通っているように見えます。

では、実際に何が起きたのか。20年以上にわたる研究の結論は、単純ではありません。数学の得点は確かに上がった。しかし、上がった得点の一部は学力ではなかった。そして、得点を上げる圧力は、教室の中で予想外の行動を引き起こしました。

この記事では、米国の説明責任政策をめぐる実証研究を整理します。何が効いたのか、何が歪んだのか、そして長期的に何が残ったのか。指標で組織を動かそうとする場面すべてに通じる話です。

1. キャンベルの法則

出発点は1976年に書かれた一本の論文です。社会心理学者のCampbell (1979) は、社会政策の評価について論じるなかで、次の趣旨の警告を残しました。ある量的な指標が意思決定に使われるほど、その指標は歪みの圧力にさらされ、本来測るはずだった過程そのものを歪めるようになる。

Campbellは教育の試験を例に挙げています。試験が教育の一般的な到達度を測るだけなら、試験は有用な指標です。しかし試験の得点が教育の目標そのものになると、教育は試験に合わせて変形し、得点は到達度の指標としての価値を失っていく。

これはキャンベルの法則と呼ばれています。重要なのは、この法則が悪意を前提にしていない点です。指標で評価される側が合理的に振る舞えば、指標は自然に歪む。説明責任政策の研究は、この予言がどこまで当たったかを検証する作業でもありました。

2. 州の説明責任政策とNCLB

米国では1990年代に、いくつかの州が独自に学校の説明責任制度を導入しました。2002年に施行された連邦法「落ちこぼれ防止法（NCLB）」は、これを全州に義務づけたものです。毎年の州テストで各学校の習熟率を測り、目標に届かない学校には段階的な介入を課します。

全国一斉に始まった政策には比較対象がありません。研究者たちは、連邦法以前から州独自の制度を持っていた州と、持っていなかった州の差を使いました。

Hanushek と Raymond (2005) は、全国学力調査（NAEP）の州別データから、1990年代に説明責任制度を導入した州で学力の伸びが明確に大きかったと報告しました。ただし、この制度は黒人と白人の学力差を縮めることはなかった。ヒスパニックと白人の差は縮まりましたが、政策の目標だった格差縮小は部分的にしか達成されていません。

Dee と Jacob (2011) は、NCLBそのものの効果を比較中断時系列という設計で推定しました。結果は、小学4年生の数学で効果量0.22（2007年時点）の上昇、下位層と上位層の双方で改善、中学2年生の数学でも下位層を中心に改善の証拠。一方で、読解については4年生でも8年生でも効果の証拠が見つかりませんでした。

この結果には反論もあります。Lee と Reeves (2012) は、1990年から2009年までの長い期間のデータを使い、政策以前の州の特性を統計的に調整すると、NCLBの効果は持続的でも一般化可能でもなかったと結論しました。学力の伸びと結びついていたのは、短期的な政策の実施ではなく、州が長期的に持っていた指導の体制と教員の資源だった、というのが彼らの見方です。

ここまでをまとめると、説明責任政策は数学の得点を上げた可能性が高い、読解には効かなかった、格差は縮まらなかった、そして効果の持続性は争われている、となります。しかし本当の問題は、その次にあります。上がった得点は、学力の上昇を意味していたのか。

3. シカゴの先行事例が示したこと

連邦法に先立ち、シカゴ公立学校は1996-97年度に独自の説明責任政策を始めました。Jacob (2005) は、この政策の前後で生徒個人のデータを追跡し、政策の効果を分解しました。

数学と読解の得点は、政策の導入後に急上昇しました。それ以前の傾向と比べても、中西部の他の大都市と比べても、明らかな伸びです。

しかしJacobは、伸びの中身を調べました。得点の上昇は、主に試験に特有の技能と生徒の努力の増加によるもので、州が実施する低利害の試験には同じ程度の伸びが見られませんでした。評価に使われる試験の得点は上がったが、評価に使われない試験の得点は上がっていない。

さらに、教師は制度の誘因に沿って戦略的に反応していました。特別支援教育への配置が増え、進級前に生徒を留年させる動きが出て、評価対象でない理科や社会科の時間が削られました。キャンベルの予言が、ほぼそのまま観察されたことになります。

4. 得点インフレとテスト対策

「評価に使われる試験の得点だけが上がる」現象は、得点インフレと呼ばれます。Koretz (2002) はこの概念を整理し、学力試験は測りたい領域の一部を標本として抽出しているにすぎないため、抽出された部分だけを教えれば得点は上がるが、領域全体の到達度は上がらない、と論じました。

では、教師は実際に「抽出された部分」を狙って教えていたのか。Jennings と Bearak (2014) は、3つの州の数学と読解の試験について、設問単位のデータを分析しました。州テストは、州の学習基準のうち一部を予測可能な形で繰り返し出題し、別の基準は一貫して出題していませんでした。少数の基準が配点の大きな割合を占めていたのです。

そして生徒は、過去に頻繁に出題された基準を測る設問で、より高い成績を示していました。教師が、予測可能な出題傾向に合わせて指導を集中させていたことを示唆する結果です。

この行動は不正ではありません。出題されやすい内容を重点的に教えるのは、教師として自然な判断です。しかし、その結果として得点は「州の基準全体の到達度」を表さなくなります。指標の妥当性が、指標を使うことによって損なわれる。

5. 「合格ライン付近の子」への集中

NCLBの評価指標は、習熟基準を超えた生徒の割合でした。この設計は、教師にとって特定の生徒に注力する誘因を生みます。すでに基準を超えている生徒に時間を使っても指標は動かない。基準から遠く離れた生徒に時間を使っても、短期では動かない。動くのは、基準のすぐ下にいる生徒です。

Neal と Schanzenbach (2010) は、この誘因が実際に働いたかをシカゴの小学5年生のデータで検証しました。1996年の市の改革でも2002年のNCLBでも、得点分布の中位にいる生徒の読解と数学は注目すべき上昇を示しました。しかし、最も学力の低い生徒たちは、政策の導入後も数学でも読解でも得点が上がりませんでした。最上位層についての証拠は混在していました。

論文の題名「Left Behind by Design（設計によって取り残される）」は法律の名前への皮肉です。誰も取り残さないと掲げた政策が、指標の設計によって、最も支援を要する生徒を後回しにする誘因を組み込んでいた。

ただし、全国規模の研究では別の側面も見えています。Reback、Rockoff、Schwartz (2014) は、州ごとに異なる基準の設定を利用して、似た学校の間で「不合格になる危険」の差を作り、その効果を推定しました。圧力を受けた学校では教師の雇用の安定感が低下し、授業時間が評価科目の専門教員へ移りましたが、生徒の学習の楽しさや、読解・数学・理科の成績には正または中立の効果が見られました。負の効果は検出されていません。

6. 不正と排除

指標を動かす最も直接的な方法は、指標そのものを操作することです。Jacob と Levitt (2003) は、シカゴ公立学校のデータに対して、得点の不自然な変動と解答パターンの類似を組み合わせた検出アルゴリズムを開発しました。推定では、教師または管理職による深刻な不正が、少なくとも小学校の4〜5%の教室で毎年起きていたとされています。不正の頻度は、比較的小さな誘因の変化に強く反応していました。

より穏やかな形の操作もあります。Figlio と Getzler (2006) は、フロリダ州で州テストが導入された1996年以降、学校が低所得で以前から成績の低い生徒を障害のある生徒として再分類する率が有意に上がったと報告しました。再分類された生徒の得点は学校の集計から外れます。この行動は、不合格の境界にある低所得の学校に集中していました。

もっとも、この種の反応が普遍的というわけではありません。Hanushek と Raymond (2005) の州レベルの分析では、特別支援教育への配置率は説明責任制度の導入に反応していませんでした。局所的な操作はあるが、全国の統計を動かすほどではない、というのが両者を合わせた解釈になります。

操作の帰結を追った研究もあります。Dee、Dobbie、Jacob、Rockoff (2019) は、ニューヨーク州の高校卒業試験で、合格基準のわずかに下の得点が組織的に引き上げられていたことを示しました。得点を引き上げられた生徒は高校を卒業する確率が約17ポイント上がる一方で、上級科目を履修する確率は約10ポイント下がっていました。中退の境界にいる生徒は助かり、基礎を固めるべき生徒は先送りにされる。同じ操作が、生徒によって逆の結果をもたらしていました。

7. 長期的に何が残ったか

得点インフレが起きるなら、政策の効果は試験得点だけでは測れません。生徒の後の人生で何が変わったかを見る必要があります。

Deming、Cohodes、Jennings、Jencks (2016) は、1990年代のテキサス州の高校について、行政データで生徒を成人まで追跡しました。「低成績校」と格付けされる危険にあった学校は、評価対象の試験の得点を上げていました。そしてその生徒たちは、数年後に大学へ進学する確率、4年制大学を卒業する確率が高く、25歳時点の所得も高くなっていました。

ただし、結果は一様ではありません。より高い格付けを目指す圧力には全体としての効果がなく、最も得点の低い生徒については、進学と所得に大きな負の影響が見られました。学校が格付けを守るために境界の生徒に集中した一方で、最下位の生徒は取り残された。Neal と Schanzenbach が得点で見た構図が、所得でも観察されたことになります。

8. 何が確かめられ、何が確かめられていないか

この表から見えるのは、説明責任政策が「効いた」か「効かなかった」かという二分法が成り立たないことです。政策は指標の設計どおりに効いた。数学の、合格ライン付近の、評価対象の試験の得点を上げた。指標に含まれなかったもの、つまり読解、最下位層、評価対象外の科目には、効かないか、害があった。

9. 日本の文脈で

日本では、全国学力・学習状況調査の結果が学校の評価に直結する制度は採られていません。米国の知見をそのまま当てはめることはできません。

ただし、構造は別の場所に現れます。入試という高利害の試験があり、模擬試験の偏差値が指導の指標として使われ、学校や教室が合格実績で比較される。この場面では、米国の研究が示した力学と同じものが働く条件がそろっています。出題されやすい範囲への集中、境界にいる生徒への注力、指標に現れない学力の後回し。これらは制度の名前が違っても起こります。

10. 証拠の限界

第一に、ここで挙げた研究の多くはシカゴとテキサスとフロリダという特定の地域のデータに基づいています。全国規模の研究は州単位の集計データを使っており、教室で何が起きたかは見えません。

第二に、政策の効果を推定する設計は、いずれも「政策を受けなかった比較対象」を工夫して作っています。比較の妥当性が結論を左右しており、Lee と Reeves の批判が示すように、調整の仕方で効果が消える場合があります。

第三に、長期追跡はDemingらのテキサス研究に依存しています。1件の研究から政策全体の長期便益を語るのは飛躍です。

第四に、不正の推定値は検出アルゴリズムの感度に依存します。「少なくとも4〜5%」は下限であり、真の値は分かりません。

まとめ

試験で学校を評価する政策は、評価対象の試験の得点を上げました。小学4年生の数学で効果量0.22という推定は、教育政策の効果としては小さくありません。しかし、読解には効かず、格差は縮まらず、低利害の試験では伸びが小さかった。得点の一部は、試験に特有の技能と出題傾向への適応でした。

圧力は教室の行動を変えました。合格ライン付近の生徒に注力し、評価対象外の科目を削り、成績の低い生徒を集計から外し、一部では得点そのものを操作した。これらは制度の抜け穴ではなく、指標の設計が合理的な行動として引き出したものです。

Campbellが1976年に書いた警告は、その後の実証研究でほぼ裏づけられました。指標は、それを使って人を動かし始めた瞬間に、測るはずだったものから離れていく。これを防ぐ確実な方法は見つかっていません。評価に使う試験と学力を確かめる試験を分け、指標に含まれない生徒と科目に何が起きているかを別途見ることが、歪みを検出する最低限の手段です。

主な参照研究

• Campbell, D. T. (1979). Assessing the impact of planned social change. Evaluation and Program Planning, 2(1), 67-90.
• Dee, T. S., & Jacob, B. (2011). The impact of No Child Left Behind on student achievement. Journal of Policy Analysis and Management, 30(3), 418-446.
• Hanushek, E. A., & Raymond, M. E. (2005). Does school accountability lead to improved student performance? Journal of Policy Analysis and Management, 24(2), 297-327.
• Lee, J., & Reeves, T. (2012). Revisiting the impact of NCLB high-stakes school accountability, capacity, and resources. Educational Evaluation and Policy Analysis, 34(2), 209-231.
• Koretz, D. (2002). Limitations in the use of achievement tests as measures of educators’ productivity. Journal of Human Resources, 37(4), 752-777.
• Jacob, B. A. (2005). Accountability, incentives and behavior: The impact of high-stakes testing in the Chicago Public Schools. Journal of Public Economics, 89(5-6), 761-796.
• Jacob, B. A., & Levitt, S. D. (2003). Rotten apples: An investigation of the prevalence and predictors of teacher cheating. Quarterly Journal of Economics, 118(3), 843-877.
• Neal, D., & Schanzenbach, D. W. (2010). Left behind by design: Proficiency counts and test-based accountability. Review of Economics and Statistics, 92(2), 263-283.
• Reback, R., Rockoff, J., & Schwartz, H. L. (2014). Under pressure: Job security, resource allocation, and productivity in schools under No Child Left Behind. American Economic Journal: Economic Policy, 6(3), 207-241.
• Jennings, J. L., & Bearak, J. M. (2014). “Teaching to the test” in the NCLB era: How test predictability affects our understanding of student performance. Educational Researcher, 43(8), 381-389.
• Figlio, D. N., & Getzler, L. S. (2006). Accountability, ability and disability: Gaming the system? In Improving School Accountability (Advances in Applied Microeconomics, Vol. 14, pp. 35-49).
• Dee, T. S., Dobbie, W., Jacob, B. A., & Rockoff, J. (2019). The causes and consequences of test score manipulation: Evidence from the New York Regents Examinations. American Economic Journal: Applied Economics, 11(3), 382-423.
• Deming, D. J., Cohodes, S., Jennings, J., & Jencks, C. (2016). School accountability, postsecondary attainment, and earnings. Review of Economics and Statistics, 98(5), 848-862.

この連載の他の記事

教育学・認知心理学・社会心理学・行動経済学・教育経済学の研究をもとにした連載です。

• 反転授業は何を変えるのか——「動画を家で見る」が本体ではない
• 「わかった気がする」と実際の学習量はなぜずれるのか
• 検索練習——思い出す作業が記憶を作る
• 分散学習と交互学習——同じ時間の配り方で結果が変わる
• 認知負荷理論と「指導の最小化」論争
• 学習スタイル説はなぜ検証に耐えないのか
• マインドセット研究の現在——再現性の検証を経て何が残ったか
• 社会心理学的介入——短時間の介入が長期に効く条件
• 教育経済学——同じ費用で何が一番効くのか
• 行動経済学と教育——ナッジは何を変え、何を変えないか
• フィードバックはなぜ逆効果になりうるのか
• 読解は技能か知識か——背景知識が理解を決める
• リーディング・ウォーズ——初期の読み指導をめぐる論争
• 数学の概念理解と手続き習熟——どちらが先かという問いの誤り
• 作業記憶は訓練で増やせるか——「脳トレ」研究が示した転移の限界
• 能力別編成は誰の利益になるか——ピア効果と習熟度別指導の実証
• 睡眠は学習の一部である——記憶の定着、思春期の体内時計、始業時刻の実証
• 報酬は意欲を壊すのか——過剰正当化効果から大規模実験まで
• 「1万時間の法則」は何を言っていないか——意図的練習研究の実際
• 学歴は何の対価か——人的資本とシグナリングをめぐる実証
• 学んだことはなぜ別の場所で使えないのか——学習の転移をめぐる100年
• 「分かったつもり」はなぜ生じるか——メタ認知的モニタリングの研究
• 試験で実力が出ないという現象——テスト不安とステレオタイプ脅威
• 就学前教育の効果はなぜ「消えて、残る」のか
• 宿題は効くのか——学年・内容・家庭環境で符号が変わる
• ノートは何をしているのか——手書き優位説の再検証
• 教育に技術を入れると何が起きるか——60年分の評価
• 外国語は早いほどよいのか——臨界期をめぐる実証
• グループにすれば学ぶ、わけではない——協同学習の条件
• 教育研究をどう読むか——因果推論と効果量の作法
• 教師の「質」は測れるか——付加価値モデルの実証と限界
• 少人数学級は効くのか——テネシーSTAR実験から40年
• 1対1で教えると何が起きるか——チュータリング研究の効果量と、効かない条件
• 「非認知能力」は何を指しているか——自制心・やり抜く力・マシュマロ実験の再検証
• 夏休みに学力は下がるのか——測定が結論を左右した研究史
• 保護者の関与はどこまで効くか——宿題の手伝いより、一行の連絡が効く理由
• スマートフォンと注意——学校の持込禁止、「そこにあるだけ」の害、マルチタスクの実証
• 数学不安は成績を下げるのか——相関の大きさ、因果の向き、介入の再現性
• 教師の期待は生徒を変えるか——ピグマリオン効果の60年が残した結論

ryomiyagawa Founder

早稲田大学大学院文学研究科哲学専攻修士号修了、同大学大学院同専攻博士課程中退。日本倫理学会員 早稲田大学大学院文学研究科にてカント哲学を専攻する傍ら、精神分析学、スポーツ科学、文学、心理学など幅広く研究に携わっている。

See Full Bio