電話 0422-27-7828チャットで質問無料相談を予約

武蔵野個別指導塾の特徴

試験で学校を評価すると何が起きるか——説明責任政策の実証とキャンベルの法則

教育研究レビュー第36回「試験で学校を評価すると何が起きるか——説明責任政策の実証とキャンベルの法則」 武蔵野個別指導塾
X LINE Facebook
教育研究レビュー第36回「試験で学校を評価すると何が起きるか——説明責任政策の実証とキャンベルの法則」 武蔵野個別指導塾

測ると、測られるものが変わる

学校の成果を試験で測り、結果の悪い学校に介入する。この仕組みは説明責任政策と呼ばれ、2000年代の米国で全国規模で実施されました。筋は通っているように見えます。

では、実際に何が起きたのか。20年以上にわたる研究の結論は、単純ではありません。数学の得点は確かに上がった。しかし、上がった得点の一部は学力ではなかった。そして、得点を上げる圧力は、教室の中で予想外の行動を引き起こしました。

この記事では、米国の説明責任政策をめぐる実証研究を整理します。何が効いたのか、何が歪んだのか、そして長期的に何が残ったのか。指標で組織を動かそうとする場面すべてに通じる話です。

1. キャンベルの法則

出発点は1976年に書かれた一本の論文です。社会心理学者のCampbell (1979) は、社会政策の評価について論じるなかで、次の趣旨の警告を残しました。ある量的な指標が意思決定に使われるほど、その指標は歪みの圧力にさらされ、本来測るはずだった過程そのものを歪めるようになる。

Campbellは教育の試験を例に挙げています。試験が教育の一般的な到達度を測るだけなら、試験は有用な指標です。しかし試験の得点が教育の目標そのものになると、教育は試験に合わせて変形し、得点は到達度の指標としての価値を失っていく。

これはキャンベルの法則と呼ばれています。重要なのは、この法則が悪意を前提にしていない点です。指標で評価される側が合理的に振る舞えば、指標は自然に歪む。説明責任政策の研究は、この予言がどこまで当たったかを検証する作業でもありました。

武蔵野個別指導塾の自習室 武蔵野個別指導塾

2. 州の説明責任政策とNCLB

米国では1990年代に、いくつかの州が独自に学校の説明責任制度を導入しました。2002年に施行された連邦法「落ちこぼれ防止法(NCLB)」は、これを全州に義務づけたものです。毎年の州テストで各学校の習熟率を測り、目標に届かない学校には段階的な介入を課します。

全国一斉に始まった政策には比較対象がありません。研究者たちは、連邦法以前から州独自の制度を持っていた州と、持っていなかった州の差を使いました。

Hanushek と Raymond (2005) は、全国学力調査(NAEP)の州別データから、1990年代に説明責任制度を導入した州で学力の伸びが明確に大きかったと報告しました。ただし、この制度は黒人と白人の学力差を縮めることはなかった。ヒスパニックと白人の差は縮まりましたが、政策の目標だった格差縮小は部分的にしか達成されていません。

Dee と Jacob (2011) は、NCLBそのものの効果を比較中断時系列という設計で推定しました。結果は、小学4年生の数学で効果量0.22(2007年時点)の上昇、下位層と上位層の双方で改善、中学2年生の数学でも下位層を中心に改善の証拠。一方で、読解については4年生でも8年生でも効果の証拠が見つかりませんでした。

この結果には反論もあります。Lee と Reeves (2012) は、1990年から2009年までの長い期間のデータを使い、政策以前の州の特性を統計的に調整すると、NCLBの効果は持続的でも一般化可能でもなかったと結論しました。学力の伸びと結びついていたのは、短期的な政策の実施ではなく、州が長期的に持っていた指導の体制と教員の資源だった、というのが彼らの見方です。

ここまでをまとめると、説明責任政策は数学の得点を上げた可能性が高い、読解には効かなかった、格差は縮まらなかった、そして効果の持続性は争われている、となります。しかし本当の問題は、その次にあります。上がった得点は、学力の上昇を意味していたのか。

3. シカゴの先行事例が示したこと

連邦法に先立ち、シカゴ公立学校は1996-97年度に独自の説明責任政策を始めました。Jacob (2005) は、この政策の前後で生徒個人のデータを追跡し、政策の効果を分解しました。

数学と読解の得点は、政策の導入後に急上昇しました。それ以前の傾向と比べても、中西部の他の大都市と比べても、明らかな伸びです。

しかしJacobは、伸びの中身を調べました。得点の上昇は、主に試験に特有の技能と生徒の努力の増加によるもので、州が実施する低利害の試験には同じ程度の伸びが見られませんでした。評価に使われる試験の得点は上がったが、評価に使われない試験の得点は上がっていない。

さらに、教師は制度の誘因に沿って戦略的に反応していました。特別支援教育への配置が増え、進級前に生徒を留年させる動きが出て、評価対象でない理科や社会科の時間が削られました。キャンベルの予言が、ほぼそのまま観察されたことになります。

武蔵野個別指導塾の教室 武蔵野個別指導塾

4. 得点インフレとテスト対策

「評価に使われる試験の得点だけが上がる」現象は、得点インフレと呼ばれます。Koretz (2002) はこの概念を整理し、学力試験は測りたい領域の一部を標本として抽出しているにすぎないため、抽出された部分だけを教えれば得点は上がるが、領域全体の到達度は上がらない、と論じました。

では、教師は実際に「抽出された部分」を狙って教えていたのか。Jennings と Bearak (2014) は、3つの州の数学と読解の試験について、設問単位のデータを分析しました。州テストは、州の学習基準のうち一部を予測可能な形で繰り返し出題し、別の基準は一貫して出題していませんでした。少数の基準が配点の大きな割合を占めていたのです。

そして生徒は、過去に頻繁に出題された基準を測る設問で、より高い成績を示していました。教師が、予測可能な出題傾向に合わせて指導を集中させていたことを示唆する結果です。

この行動は不正ではありません。出題されやすい内容を重点的に教えるのは、教師として自然な判断です。しかし、その結果として得点は「州の基準全体の到達度」を表さなくなります。指標の妥当性が、指標を使うことによって損なわれる。

5. 「合格ライン付近の子」への集中

NCLBの評価指標は、習熟基準を超えた生徒の割合でした。この設計は、教師にとって特定の生徒に注力する誘因を生みます。すでに基準を超えている生徒に時間を使っても指標は動かない。基準から遠く離れた生徒に時間を使っても、短期では動かない。動くのは、基準のすぐ下にいる生徒です。

Neal と Schanzenbach (2010) は、この誘因が実際に働いたかをシカゴの小学5年生のデータで検証しました。1996年の市の改革でも2002年のNCLBでも、得点分布の中位にいる生徒の読解と数学は注目すべき上昇を示しました。しかし、最も学力の低い生徒たちは、政策の導入後も数学でも読解でも得点が上がりませんでした。最上位層についての証拠は混在していました。

論文の題名「Left Behind by Design(設計によって取り残される)」は法律の名前への皮肉です。誰も取り残さないと掲げた政策が、指標の設計によって、最も支援を要する生徒を後回しにする誘因を組み込んでいた。

ただし、全国規模の研究では別の側面も見えています。Reback、Rockoff、Schwartz (2014) は、州ごとに異なる基準の設定を利用して、似た学校の間で「不合格になる危険」の差を作り、その効果を推定しました。圧力を受けた学校では教師の雇用の安定感が低下し、授業時間が評価科目の専門教員へ移りましたが、生徒の学習の楽しさや、読解・数学・理科の成績には正または中立の効果が見られました。負の効果は検出されていません。

6. 不正と排除

指標を動かす最も直接的な方法は、指標そのものを操作することです。Jacob と Levitt (2003) は、シカゴ公立学校のデータに対して、得点の不自然な変動と解答パターンの類似を組み合わせた検出アルゴリズムを開発しました。推定では、教師または管理職による深刻な不正が、少なくとも小学校の4〜5%の教室で毎年起きていたとされています。不正の頻度は、比較的小さな誘因の変化に強く反応していました。

より穏やかな形の操作もあります。Figlio と Getzler (2006) は、フロリダ州で州テストが導入された1996年以降、学校が低所得で以前から成績の低い生徒を障害のある生徒として再分類する率が有意に上がったと報告しました。再分類された生徒の得点は学校の集計から外れます。この行動は、不合格の境界にある低所得の学校に集中していました。

もっとも、この種の反応が普遍的というわけではありません。Hanushek と Raymond (2005) の州レベルの分析では、特別支援教育への配置率は説明責任制度の導入に反応していませんでした。局所的な操作はあるが、全国の統計を動かすほどではない、というのが両者を合わせた解釈になります。

操作の帰結を追った研究もあります。Dee、Dobbie、Jacob、Rockoff (2019) は、ニューヨーク州の高校卒業試験で、合格基準のわずかに下の得点が組織的に引き上げられていたことを示しました。得点を引き上げられた生徒は高校を卒業する確率が約17ポイント上がる一方で、上級科目を履修する確率は約10ポイント下がっていました。中退の境界にいる生徒は助かり、基礎を固めるべき生徒は先送りにされる。同じ操作が、生徒によって逆の結果をもたらしていました。

7. 長期的に何が残ったか

得点インフレが起きるなら、政策の効果は試験得点だけでは測れません。生徒の後の人生で何が変わったかを見る必要があります。

Deming、Cohodes、Jennings、Jencks (2016) は、1990年代のテキサス州の高校について、行政データで生徒を成人まで追跡しました。「低成績校」と格付けされる危険にあった学校は、評価対象の試験の得点を上げていました。そしてその生徒たちは、数年後に大学へ進学する確率、4年制大学を卒業する確率が高く、25歳時点の所得も高くなっていました。

ただし、結果は一様ではありません。より高い格付けを目指す圧力には全体としての効果がなく、最も得点の低い生徒については、進学と所得に大きな負の影響が見られました。学校が格付けを守るために境界の生徒に集中した一方で、最下位の生徒は取り残された。Neal と Schanzenbach が得点で見た構図が、所得でも観察されたことになります。

8. 何が確かめられ、何が確かめられていないか

問い 研究の答え 確からしさ
数学の得点は上がったか 上がった(4年生で効果量0.22) 複数の設計で一致。持続性には異論
読解の得点は上がったか 効果の証拠なし 一致
得点は学力を表していたか 一部は試験特有の技能。低利害の試験では伸びが小さい シカゴ・設問分析で一致
格差は縮まったか 黒人と白人の差は縮まらず 州レベルで一致
最下位層は救われたか 得点も所得も改善せず、負の影響の報告あり シカゴ・テキサスで一致
不正はあったか 少なくとも4〜5%の教室で毎年 シカゴの推定。他地域の検証は少ない
長期の便益はあったか 境界にあった学校の生徒で進学・所得が改善 テキサス1件。一般化は未確認

この表から見えるのは、説明責任政策が「効いた」か「効かなかった」かという二分法が成り立たないことです。政策は指標の設計どおりに効いた。数学の、合格ライン付近の、評価対象の試験の得点を上げた。指標に含まれなかったもの、つまり読解、最下位層、評価対象外の科目には、効かないか、害があった。

9. 日本の文脈で

日本では、全国学力・学習状況調査の結果が学校の評価に直結する制度は採られていません。米国の知見をそのまま当てはめることはできません。

ただし、構造は別の場所に現れます。入試という高利害の試験があり、模擬試験の偏差値が指導の指標として使われ、学校や教室が合格実績で比較される。この場面では、米国の研究が示した力学と同じものが働く条件がそろっています。出題されやすい範囲への集中、境界にいる生徒への注力、指標に現れない学力の後回し。これらは制度の名前が違っても起こります。

10. 証拠の限界

第一に、ここで挙げた研究の多くはシカゴとテキサスとフロリダという特定の地域のデータに基づいています。全国規模の研究は州単位の集計データを使っており、教室で何が起きたかは見えません。

第二に、政策の効果を推定する設計は、いずれも「政策を受けなかった比較対象」を工夫して作っています。比較の妥当性が結論を左右しており、Lee と Reeves の批判が示すように、調整の仕方で効果が消える場合があります。

第三に、長期追跡はDemingらのテキサス研究に依存しています。1件の研究から政策全体の長期便益を語るのは飛躍です。

第四に、不正の推定値は検出アルゴリズムの感度に依存します。「少なくとも4〜5%」は下限であり、真の値は分かりません。

まとめ

試験で学校を評価する政策は、評価対象の試験の得点を上げました。小学4年生の数学で効果量0.22という推定は、教育政策の効果としては小さくありません。しかし、読解には効かず、格差は縮まらず、低利害の試験では伸びが小さかった。得点の一部は、試験に特有の技能と出題傾向への適応でした。

圧力は教室の行動を変えました。合格ライン付近の生徒に注力し、評価対象外の科目を削り、成績の低い生徒を集計から外し、一部では得点そのものを操作した。これらは制度の抜け穴ではなく、指標の設計が合理的な行動として引き出したものです。

Campbellが1976年に書いた警告は、その後の実証研究でほぼ裏づけられました。指標は、それを使って人を動かし始めた瞬間に、測るはずだったものから離れていく。これを防ぐ確実な方法は見つかっていません。評価に使う試験と学力を確かめる試験を分け、指標に含まれない生徒と科目に何が起きているかを別途見ることが、歪みを検出する最低限の手段です。

主な参照研究

教育学・認知心理学・社会心理学・行動経済学・教育経済学の研究をもとにした連載です。

author avatar
宮川 涼 Founder
早稲田大学大学院文学研究科哲学専攻修士号修了、同大学大学院同専攻博士課程中退。日本倫理学会員 早稲田大学大学院文学研究科にてカント哲学を専攻する傍ら、精神分析学、スポーツ科学、文学、心理学など幅広く研究に携わっている。

本気になった日が、入塾の日。

お子様の教育、迷ったら「丸投げ」してください。必ず、期待以上の結果で返します。武蔵野で育む、武蔵境で学ぶ。

電話は年中無休。365日、24時間、お電話可能。

お電話 チャットで質問チャット