「あと数点で不合格」をどう読むか——合格点は必ず誰かを誤分類し、それでも再受験の点は思うより動かない

「あと数点で不合格」は、どれくらい確かな結果なのか

英検はCSEスコアという共通の尺度で結果を返し、合否もこのスコアで判定されます。結果が届くと、多くのご家庭が真っ先に見るのは合格に必要なスコアとの差です。そして、ほんの少し届かなかったとき、「次はもう少しで受かる」と考えるか、「まだ力が足りない」と考えるかで、その後の計画が変わります。

この判断に欠かせないのが、テストの点には必ず誤差があるという測定の基本です。同じ力の人が同じ試験を受け直しても、点はまったく同じにはなりません。この記事では、測定の標準誤差(SEM)、合格点による分類の誤り、採点者による揺れ、再受験者の点の推移の研究を読み、「不合格までの差」をどう読むかを考えます。

なお、CSEスコアの算出方法、合格に必要なスコア、技能ごとの配分は、年度や級によって変わることがあるため、必ず英検協会の最新の公式情報でご確認ください。この記事では具体的な数値には触れません。

一言でいうと(この記事の結論)
合格点を使う試験では、合格点の近くにいる受験者の一部が、必ず誤って分類されます [3]そして誤差の大きさは、点数の高さによって違います [1] [2]
書く・話す技能では、採点者の厳しさの違いが大きく [6]ライティングの区分得点は他の技能より信頼性が低いと報告されています [9]
——「数点差の不合格」は、力不足の証拠とも、次は受かる保証とも言えません。1回の点ではなく、複数回の傾向と技能別の内訳で判断するのが、測定の研究から言える読み方です。

  1. 合格点は必ず判断を含み、必ず誤分類を生み、連続する力を人為的に2つに分けます。「真の合格点」は存在しません [3]
  2. 点の幅(スコアバンド)は、1つのSEMではなく、点数の水準ごとのSEMで計算すべきとされています [1]
  3. 書く・話す試験の採点者は、厳しさで大きく異なり、評価観点への一貫性も低めでした [6]
  4. カナダの英語試験を3回以上受けた562人の作文の得点は、6か月間ほとんど変わりませんでした [10]
  5. IELTSの結果を公開した600人では、目標未達が達成より多く、不合格者の多くが結果を受け入れていませんでした [12]
  6. 【反証】誤差を理由に「たまたま落ちた」と考えすぎると、実際の力の不足を見逃します [10] [11]
マインドマップ図解:「あと数点で不合格」をどう読むか——合格点は必ず誰かを誤分類し、それでも再受験の点は思うより動かない
図:この記事の構造(Mapifyで作成したマインドマップ)

1. 測定の標準誤差(SEM)とは何か

テストの点は、本来の力(真の得点)に、その日の体調、出題との相性、採点の揺れなどの誤差が加わったものと考えます。測定の標準誤差(SEM)は、この誤差がどれくらいばらつくかを表す値です。

測定学会の解説教材は、SEMを「テストの測定誤差のばらつきの大きさ」と定義したうえで、重要な注意を加えています。点の幅(スコアバンド)を計算するときは、単一のSEMではなく、さまざまな点数の水準ごとのSEMを使うべきだというのです [1]

古典的な研究も、特定の能力の水準や合格点のところでのSEMを、1回の実施から推定する方法を4つ示し、実データで比較しています [2]。つまり、誤差の大きさは、受験者全体で1つではなく、どの点数のあたりにいるかで違うというのが測定学の前提です。

さらに、信頼区間(「真の得点はこの範囲にあるだろう」という幅)の作り方にも落とし穴があります。測定の教科書で勧められてきた方法を比べた研究は、最も正確なのは、観測された点ではなく推定された真の得点を区間の中心にし、推定の標準誤差で幅を決める方法であり、他の方法はこれからずれると指摘しています [14]

よくある読み方 測定学から見た注意
「この点が自分の実力」 点は真の得点+誤差。実力は幅で考える
「誤差はどの点でも同じ」 誤差は点数の水準ごとに違う [1] [2]
「今回の点を中心に幅をとる」 正確には推定された真の得点を中心にする [14]

一言でいうと
1回の点は「実力そのもの」ではなく「実力の推定値」です。その推定の幅は、点数の水準によって変わります [1]

2. 合格点は、必ず誰かを誤って分類する

合否のある試験では、誤差は「合格か不合格か」という分類の誤りとして現れます。

合格点の使い方と誤用を論じた論文は、次の4点を示しました [3]

  1. 合格点は、常に判断を伴う
  2. 合格点は、本質的に誤分類を生む
  3. 合格点は、本来連続している知識や技能の分布に、人為的な二分法を持ち込む
  4. 「真の合格点」は存在しない

分類の正しさには2つの考え方があります。分類の正確さ(真の得点に照らして正しく分類されたか)と、分類の一貫性(2回受けたら同じ分類になるか)です。これを論じた研究は、一貫性から正確さを計算することはできないと示し、正確さを導くには「観測点と真の得点を結ぶモデル」「合格点の位置」「受験者集団の真の得点の分布」の3つを知るか仮定する必要があるとしました [4]。そして、妥当な仮定のもとでは、1回の実施での分類の正確さが2回の間の一貫性より高くなると期待できるのは、合否の2区分の試験の場合だけだとしています。

再受験を認める試験についても研究があります。不合格者の再受験が許されるとき、「本当は力があるのに不合格」と「本当は力が足りないのに合格」の誤りの率を推定する公式が示され、実データで比較されています [5]。再受験は、前者の誤りを減らす一方で、後者の誤りの機会を増やすという構造を持つため、制度として両方を考える必要があるのです。

一言でいうと
合格点のすぐ下にいる人の一部は、力があるのに不合格になっています。すぐ上にいる人の一部は、その逆です [3]これは試験の欠陥ではなく、合否を決める以上避けられない性質です。

3. 書く・話す技能の点は、採点者によって揺れる

選択式の問題と違い、ライティングやスピーキングは人が採点します。ここには、SEMとは別の揺れがあります。

ドイツ語の外国語試験(TestDaF)の書く・話す部門を、多相ラッシュ測定(受験者・採点者・観点などの影響を同時に推定する統計手法)で分析した研究は、採点者が厳しさにおいて大きく異なり、全体の評価はかなり一貫していたものの、評価観点や話す課題に対する一貫性は、受験者に対する一貫性より大幅に低かったと報告しました。集団として性別による偏りは見られませんでした [6]

同じ試験の追加分析は、厳しさに加えて中心化傾向(極端な点を避けて中間の点に寄せる傾向)を推定し、両者を考慮したモデルのほうがデータによく当てはまり、中心化傾向は受験者の順位に明らかな影響を与えていたと報告しています [7]

採点者は訓練で揃うのでしょうか。米国の大学の英作文の配置試験で、新人採点者30人を認定プログラムの4回にわたって追跡した研究は、一致度・一貫性・厳しさが直線的ではなく3段階で発達し、採点者の成長は言語や他の技能の習得に似た学習曲線を描いたと報告しました [8]

技能別の得点の信頼性についての研究もあります。TOEFL iBTの4技能の区分得点を4回の実施データで分析した研究は、区分得点の信頼性はおおむね十分だったが、ライティングは相対的に低かったと報告しました。一方、スピーキングは信頼性が高く、他の3技能とも区別される付加的な情報を持っていました [9]

一言でいうと
人が採点する技能では、採点者の厳しさと中心化傾向が点を動かします [6] [7]ライティングの区分得点は、他の技能より揺れやすいと考えておくのが安全です [9]。これは英検の採点体制についての研究ではない点にご注意ください。

4. 再受験すると、点はどう動くか

「受け直せば点は上がるのか」を、実際の再受験者のデータで見た研究があります。

研究 対象 結果(要旨の記載)
[10] カナダの英語試験を3回以上受けた562人(1回目と2回目は30〜40日、1回目と3回目は90〜180日の間隔) 作文の得点は6か月間きわめて安定。低い層は伸びが速く、高い層は後の受験で水準を保てないことがあった
[11] PTE Academicを3回以上受けた1,000人 作文の得点は、最初に上がりその後下がる曲線。変化を最も予測したのは最初の英語力再受験の効果の指標(間隔や回数など)は変化と有意に関連しなかった
[13] TOEFL(1993年報告) 再テスト信頼性は十分に高かったが、標本が小さく代表性に限界

562人の研究では、自然言語処理で作文の特徴を分析したところ、語彙の特徴は6か月で改善しやすく、一部は1か月でも改善した一方、文のつながりや構文の洗練度は有意に変わりませんでした [10]

一言でいうと
短い間隔の再受験で、作文の点は大きくは動きませんでした [10]「受け直すだけで上がる」効果も確認されていません [11]

5. 反証——「誤差だから気にしない」も誤りである

ここまで「1回の点は揺れる」ことを強調しました。その読み方にも限界があることを、同じ分量で書きます。

【反証1】誤差を、不合格の説明に使いすぎてはいけません。IELTSの結果をSNSで共有した600人の分析では、目標のバンドに届かなかった人(281人)が届いた人(245人)より多く、届かなかった人の多くは全体や技能別の点を受け入れず、とくにスピーキングとライティングの採点の正確さに強い不信を持っていました。著者は、その背景に1人の試験官による採点への不信と、何がいけなかったかを説明する詳しいフィードバックの欠如を挙げています [12]。採点が揺れうるのは事実ですが、「採点が悪かった」と考える人の全員がそうだったわけではありません。

【反証2】点は、思うより安定しています。562人の研究で作文の点は6か月間きわめて安定していました [10]。1,000人の研究でも、得点の変化を最も予測したのは最初の英語力でした [11]誤差による揺れは、力の差を覆すほど大きいとは限らないのです。

【反証3】高い層は、受け直すと下がることがあります。562人の研究では高い層が後の受験で水準を保てないことがあり [10]、1,000人の研究でも最初に上がった後に下がる曲線でした [11]一度出た高い点を、実力の下限と見なすのは危ういということです。これは平均への回帰(極端な点が次回は平均寄りに戻る現象)とも整合します。

【反証4】誤差の議論は、受験者個人の点を正確に教えてくれません。分類の正確さは、真の得点の分布などを仮定しないと計算できません [4]「自分は誤って不合格にされた側か」を、1人の受験者が知る方法はありません。

【反証5】英検そのものの研究は多くありません。英検1級を、テストの有用性の枠組みで評価した論評は、その使い方を正当化するには、さらに量的・質的な分析が必要だと述べています [15]。この記事の研究の多くは、TOEFL、IELTS、PTE、TestDaFなど他の試験のものです。

一言でいうと(反証のまとめ)
「誤差だから次は受かる」も「点どおりの実力だ」も、どちらも言い過ぎです。再受験の点は思うより安定し [10]変化を決めていたのは最初の力でした [11]

6. 実務——結果が届いたら、次の4つを確認する

  1. 合計ではなく、技能別のスコアを並べる。合格点との差が、どの技能で生まれているかを見ます。採点者の揺れが大きいのは書く・話す技能です [6] [9]
  2. 技能ごとに「安定して足りないか」を、過去の結果や模試と並べて確認する。2回以上続けて同じ技能が低いなら、誤差ではなく力の不足と考えます。点は思うより安定していました [10]
  3. 「惜しかった」なら、弱い技能を1つに絞って対策してから次を受ける。受け直すこと自体の効果を示す指標は、点の変化と関連しませんでした [11]
  4. 一度出た高い点を、次回の目安にしない。高い層は後の受験で下がることがありました [10] [11]複数回の平均的な位置で考えます。

本人に伝えるときは、「あと少しだった」ことを事実として認めたうえで、「どの技能で差がついたか」に話を移すのが、測定の研究にも本人の意欲にもかなう伝え方です。合格点は連続する力を人為的に2つに分けたもの [3] であり、不合格は「力がない」という判定ではありません。

試験本番での不安については試験で実力が出ないという現象で扱っています。

この記事で言えないこと

  • 英検のCSEスコアのSEMや、合否の分類の正確さの数値は、今回読んだ研究には含まれていません。
  • 採点者効果の研究 [6] [7] はドイツ語の試験、再受験者の研究 [10] [11] はカナダと国際的な英語試験のものです。
  • 再受験者は受験者全体を代表しない可能性があります(受け直す理由のある人に偏るため)。
  • SEMや信頼区間の研究 [1] [2] [14] は方法論の解説で、具体的な誤差の大きさは示していません。

当塾の立場

塾に来なくても、家庭でできること

6節の手順——技能別スコアを並べる、過去の結果と比べて安定して低い技能を探す、弱い技能を1つに絞って対策してから受ける、高い点を次回の目安にしない——は、結果の通知と過去の記録があればできます。

それでも個別指導を使う理由

塾に通いたい、通わせたいという方には、武蔵野個別指導塾を勧めます。この記事の研究に即して、理由を3つ書きます。

  1. 1回の点ではなく、記録の推移で判断すること。点は思うより安定しており、変化を決めていたのは最初の力でした [10] [11]。技能別の記録を並べて、誤差と力の不足を切り分けます。
  2. 書く・話す技能の「何が足りなかったか」を具体的に示すこと。不合格者の不信は、詳しいフィードバックの欠如と結びついていました [12]
  3. 複数の目で答案を見ること。採点者の厳しさは大きく異なりました [6]1人の講師の感覚だけで判断しないことを心がけています。

塾を検討する際は、次のように聞いてみてください。

  • 不合格だったとき、どのデータを見て次の受験時期を決めますか
  • ライティングやスピーキングの力は、どう評価していますか
  • 「惜しかった」生徒に、次の受験までに何をさせますか

まとめ

  1. 1回の点は実力の推定値で、誤差の大きさは点数の水準によって違います [1] [2]
  2. 合格点は必ず誤分類を生み、「真の合格点」は存在しません [3]
  3. 書く・話す技能では採点者の厳しさと中心化傾向が点を動かし、ライティングの区分得点は信頼性が相対的に低い [6] [7] [9]
  4. 再受験者の作文の点は6か月間きわめて安定し、変化を決めたのは最初の英語力でした [10] [11]
  5. 【反証】誤差を理由に不合格を受け入れないことは、力の不足を見逃す原因になります [12]
  6. ——「数点差」は幅で読み、技能別の記録の推移で判断する。これが測定の研究から言える結果の読み方です。

出典

要旨に直接あたって確認したものだけを挙げています。

  1. 【SEMの解説】Harvill, L. M. (1991). Standard Error of Measurement. Educational Measurement: Issues and Practice. DOI: 10.1111/j.1745-3992.1991.tb00195.x
  2. 【水準ごとのSEM】Lord, F. M. (1984). Standard Errors of Measurement at Different Ability Levels. Journal of Educational Measurement. DOI: 10.1111/j.1745-3984.1984.tb01031.x
  3. 【合格点と誤分類】Dwyer, C. A. (1996). Cut scores and testing: Statistics, judgment, truth, and error. Psychological Assessment. DOI: 10.1037/1040-3590.8.4.360
  4. 【分類の正確さと一貫性】Bramley, T. (2010). What can be inferred about classification accuracy from classification consistency? Educational Research. DOI: 10.1080/00131881.2010.504067
  5. 【再受験と誤りの率】Huynh, H. (1990). Error Rates in Competency Testing When Test Retaking Is Permitted. Journal of Educational Statistics. DOI: 10.2307/1164820
  6. 【採点者の厳しさ】Eckes, T. (2005). Examining Rater Effects in TestDaF Writing and Speaking Performance Assessments: A Many-Facet Rasch Analysis. Language Assessment Quarterly. DOI: 10.1207/s15434311laq0203_2
  7. 【中心化傾向】Eckes, T., Jin, K.-Y. (2021). Examining severity and centrality effects in TestDaF writing and speaking assessments. International Journal of Testing. DOI: 10.1080/15305058.2021.1963260
  8. 【採点者の学習曲線】Yan, X., Chuang, P.-L. (2022). How do raters learn to rate? Many-facet Rasch modeling of rater performance over the course of a rater certification program. Language Testing. DOI: 10.1177/02655322221074913
  9. 【技能別得点の信頼性】Sawaki, Y., Sinharay, S. (2017). Do the TOEFL iBT section scores provide value-added information to stakeholders? Language Testing. DOI: 10.1177/0265532217716731
  10. 【反証・再受験者562人】Lin, Y.-M., Chen, M. Y. (2020). Understanding writing quality change: A longitudinal study of repeaters of a high-stakes standardized English proficiency test. Language Testing. DOI: 10.1177/0265532220925448
  11. 【反証・再受験者1,000人】Barkaoui, K. (2018). Examining sources of variability in repeaters’ L2 writing scores: The case of the PTE Academic writing section. Language Testing. DOI: 10.1177/0265532217750692
  12. 【反証・結果を受け入れない】Pearson, W. S. (2019). ‘Remark or retake’? A study of candidate performance in IELTS and perceptions towards test failure. Language Testing in Asia. DOI: 10.1186/s40468-019-0093-8
  13. 【再テスト信頼性】Henning, G. (1993). Test-Retest Analyses of the Test of English as a Foreign Language. TOEFL Research Reports. ERIC: ED390894
  14. 【信頼区間の作り方】Schulte, A. C., Borich, G. D. (1988). False confidence in intervals: Inaccuracies in reporting confidence intervals. Psychology in the Schools. DOI: 10.1002/1520-6807(198810)25:4<405::aid-pits2310250408>3.0.co;2-7
  15. 【反証・英検1級の評価】Piggin, G. (2011). An Evaluative Commentary of the Grade 1 EIKEN Test. Language Testing in Asia. DOI: 10.1186/2229-0443-1-4-144

関連する既存記事

英検の研究(全10本)

ほかの入試区分の研究記事

author avatar
宮川 涼 Founder
早稲田大学大学院文学研究科哲学専攻修士号修了、同大学大学院同専攻博士課程中退。日本倫理学会員 早稲田大学大学院文学研究科にてカント哲学を専攻する傍ら、精神分析学、スポーツ科学、文学、心理学など幅広く研究に携わっている。

関連記事

PAGE TOP
お電話