英語の自己評価はどこまで当たるか——Can-doと実力の相関は0.47、そして平均すると高めに見積もる

「自分はB1くらい」は、どこまで当たっているのか

英検の受験級を決めるとき、多くのご家庭が最初にするのは「本人の感覚」を聞くことです。「準2級なら話せそう」「リーディングは2級レベルだと思う」。最近は、CEFR(ヨーロッパ言語共通参照枠。A1〜C2の6段階で言語力を記述する国際的な枠組み)に基づくCan-do(「〜できる」形式の記述文)が広まり、チェックを入れれば自分の段階が分かるように見えます。

では、本人のチェックは実際の英語力をどこまで当てるのでしょうか。そして、当たらないとしたら、どんな人が、どちら向きに外すのでしょうか。さらに、自己評価は「測る道具」としてではなく「伸ばす道具」として使えるのでしょうか。

この記事では、自己評価の妥当性をめぐるメタ分析(複数の研究を統計的に統合する方法)と個別研究を読み、受験級選びと学習の点検に自己評価をどう使うかを整理します。

一言でいうと(この記事の結論)
自己評価と実際の語学テストの相関は、67研究・6万8千人超の統合で r = 0.466 [1]「おおよその方向は合うが、個人の級を決めるには粗い」水準です。
学生は平均して自分を過大評価し(g = 0.206)、ただしフィードバックや経験があると過大評価は縮みます [2]
——自己評価は「受験級を決める根拠」ではなく、「外部の測定と照らし合わせて、ずれを学ぶ材料」として使うのが、研究から言える使い方です。

結論を5点にまとめます。

  1. 自己評価と語学力の相関は全体で r = 0.466。評価基準の示し方や訓練の有無で相関は変わりました [1]
  2. 160本・2万9千人超の統合で、学生は平均して過大評価(g = 0.206)。フィードバック・経験・内容知識で過大評価は縮小しました [2]
  3. 日本人学習者のCan-do自己評価は、TOEICのリスニングとは中程度に相関し、リーディングとは相関しませんでした [5]
  4. 自己評価を学習に組み込む介入は g = 0.455。他者からの明示的なフィードバックを伴うと g = 0.664に上がりました [10]
  5. 【反証】別のメタ分析では、外部フィードバックなしの自己評価のほうが効果が大きく(g = 0.47 対 0.28)、結論は割れています [11]
マインドマップ図解:英語の自己評価はどこまで当たるか——Can-doと実力の相関は0.47、そして平均すると高めに見積もる
図:この記事の構造(Mapifyで作成したマインドマップ)

1. Can-doと自己評価——2つの使い方を分ける

最初に、議論を混ぜないための整理をします。Can-doによる自己評価には、性質のまったく違う2つの使い方があります。

使い方 問い 成功の基準 主な研究
A. 測定として 本人のチェックは、実際の英語力を当てるか 外部テストとの相関・一致度 [1] [2] [3]
B. 学習の道具として 自己評価をする過程が、英語力を伸ばすか 介入群と対照群の成績差 [10] [11]

AとBは別々に検証されており、Aが弱くてもBが成り立つことはあり得ます。

CEFRのCan-doは、言語を使って何ができるかを行動の形で書いた文です。英検協会も級ごとのCan-doリストを公表しており、ただし本人が自分に当てはめたときに正確かどうかは別の問題です。級とCan-doやCSEスコアの対応は改訂されうるため、最新の公式情報をご確認ください。

一言でいうと
「当たるか(測定)」と「伸びるか(学習)」は別の問いです。片方の結論を、もう片方に流用しないことが出発点です。

2. どのくらい当たるのか——2本のメタ分析

第二言語の自己評価の精度を最も大きな規模で統合したのは、2021年に Language Testing に掲載されたメタ分析です [1]67研究・97の独立標本・6万8,500人超を統合し、自己評価と語学のパフォーマンスの相関を r = 0.466 と推定しました。

r = 0.466 の2乗はおよそ0.22で、自己評価で説明できる英語力のばらつきは2割程度です。集団の傾向ははっきりありますが、一人ひとりの級を自己評価だけで決めると、外れる人がかなり出る水準です。

このメタ分析で有意な調整変数(相関を変える要因)だったのは、自己評価の基準の種類、基準の示し方、道具(尺度)の種類、訓練の有無、項目数、道具の信頼性の6つでした [1]

一方で、外部テストの種類、技能の種類、評価の順序、外部テストの信頼性、リッカート尺度の段階数は、有意な調整効果を示しませんでした [1]。つまり、精度を左右していたのは「学習者の側」より「自己評価の設計の側」だったということです。基準の示し方、訓練、道具の質——どれも、使う側が工夫できる要素です。

もう1本は、語学に限らず学生が自分の答案に点をつける精度を統合した系統的レビューです(160本・2万9,352人[2]全体として学生は過大評価(g = 0.206)し、見積もりと専門家の評価の平均的な関係は z = 0.472でした。過大評価は、フィードバックを受けたとき、自己評価の経験や内容知識が多いとき、評価が形成的な目的でないとき、小中高の児童生徒で小さくなりました。

一言でいうと
自己評価は「集団の傾向」を映す程度には正確で、「個人の合否」を占うには粗い。そして精度は、基準の示し方・訓練・フィードバックで動きます [1] [2]

3. 誰が、どちら向きに外すのか

1998年の古典的なメタ分析は、60の相関係数を統合し、自己評価と教師評価の妥当性が、その技能を実際に使った経験の程度によって異なることを示しました [3]

この「経験」の効果をより細かく見たのが、日本語を第二言語として学ぶ人を対象にした研究です [4]。自己評価の測定誤差には経験の要因が大きく関わり、経験の浅い話者は自分を過大評価し、経験の多い話者は過小評価するという非対称が現れました。さらにラッシュ分析(項目の難しさと回答者の能力を同じ尺度に置く統計手法)で当てはまりの悪い項目を調べると、ずれが大きかったのは、難しいタスクで、参加者がほとんど経験していない内容を含む項目でした [4]

ETSの研究報告も、英語能力テストで「正答できると思った割合」が実際の正答率を上回る過信のパターンを見出し、その過信は項目の難しさと関係していたと報告しています [8]。同時に、確信度の次元は正答の次元のばらつきの45%と52%(2つのテスト)を説明しており、項目単位の「解けたと思う」感覚そのものは、かなりの情報を持っていました [8]

日本人の英語学習者についての研究もあります。CEFRを日本向けに調整したCEFR-JのCan-doで、リスニングとリーディングを自己評価させ、TOEICの得点と比べた研究です [5]

技能 Can-do自己評価とTOEIC得点の関係
リスニング 中程度の相関あり
リーディング 相関なし

1研究の結果なので一般化はできませんが、「読める気がする」と「読める」は一致しない可能性があります。

中国語を学ぶ大学生80人を2年追った研究では、OPIc(コンピュータ版口頭能力面接)での伸びは多くの場合自己評価にも反映され、学習者は過小評価に傾き、初級と上級は中級より正確で、正確さは1年で改善しませんでした [7]

最後に、集団による違いです。15歳の生徒2万2,500人超が、CEFRから取った12のCan-do文に回答し、欧州言語能力調査の実測値と比較された研究では、能力が高いほど「できる」と答える確率は上がる一方で、その関係は生徒の性別と国によって異なりました [6]

一言でいうと
外し方には偏りがあります。経験の浅い技能、難しい課題、中級の段階では当たりにくい [4] [7] [8]同じCan-do文でも、受け取り方は人によって違います [6]

4. 測り方を変えると、相関は上がる

「自己評価は当てにならない」という通説に、測定の側から異議を唱えた研究があります [9]。著者らは、従来のメタ分析の多くが、段階的なデータに向かないピアソン相関を使っていたことを問題にしました。

スペイン語学習者807人に、コンピュータ適応型のスピーキング自己評価とOPIcを受けさせ、段階データに適したポリシリアル相関で分析すると、相関は0.61でした。さらに、OPIcの評価が1段階上がるごとに、自己評価の各段階を「通過」するオッズが131%増えることも示されました [9]。著者らは、コンピュータ適応型の自己評価は低利害(合否に直結しない)場面の測定には適していると結論しています。

別の研究では、学習者101人が自己評価の結果でOPIcの出題形式を自分で選んだところ、全体的な10段階尺度を使ったときに、レベルに合った形式を選べる割合が高かったと報告されています [12]

一言でいうと
自己評価の精度は、本人の能力だけでなく「どう聞くか」で変わります。細かい記述文を大量に並べるより、全体的な尺度のほうが選択の役に立った例もあります [12]英検の受験級という「どの形式を受けるか」の選択も、この構図に近いものです。

5. 学習の道具としての自己評価——伸びるのか

ここからは使い方Bです。自己評価をする過程そのものが、成績を伸ばすか。

高等教育を対象にしたメタ分析は、26研究・98の効果量を統合し、自己評価の介入の全体効果を g = 0.455 と推定しました [10]。注目されたのは、自己評価の過程が「明示的か」という区別です。

自己評価介入の種類 効果量 g
全体 0.455
他者からの明示的なフィードバックを伴う 0.664
明示的なフィードバックを伴わない 0.213

他者の評価と突き合わせる形のほうが、効果が3倍近く大きかったことになります [10]

語学の授業での質的な研究もあります。大学生が1学期間、CEFRの共通参照レベルの記述を使ってスピーキングを自己評価したところ、学生は記述文を使って、自分のスピーキングについて、より長く、より関連性が高く、より詳しく批判的な説明を書くようになったと報告されています [13]Can-doの効用は、「当てる」より「言葉にする」ことにあるという見方を支える結果です。

一言でいうと
自己評価は、外部の評価と突き合わせたときに最も効きました(g = 0.664) [10]チェックリストに印をつけて終わり、では効果は小さいという結果です。

6. 反証——「自己評価は効く」「できない人ほど過信する」への異論

ここまで、自己評価に比較的好意的な結果を並べました。同じ程度の分量で、反対方向の証拠を出します。

【反証1】フィードバックの効果は、メタ分析によって逆向きに出ています。小学校から大学までの実験・準実験研究16研究・46効果量・7,650人超を統合したメタ分析は、自己評価介入の全体効果を g = 0.37(小さな効果)とし、しかも外部フィードバックなしの伝統的な自己評価(g = 0.47)のほうが、外部フィードバックつき(g = 0.28)より大きかったと報告しました [11]。5節の結果 [10] とは正反対です。「フィードバックと組み合わせれば必ず効く」とは、現時点では言い切れません。

【反証2】研究の質に問題があります。大規模レビュー自身が、研究間の大きな異質性と、重要な方法論情報の欠落を明記しています [2]

【反証3】「できない人ほど自分を過大評価する」(ダニング=クルーガー効果)は、そのままでは支持されません。知能の自己推定を調べた281人の研究では、標準的な分析では効果が見られたのに、改良された統計手法では、言語的知能の一部でしか支持されませんでした [14]。著者らは、この効果の一般性を疑う研究が増えていると位置づけています。「英語が苦手な子ほど根拠なく自信過剰」と決めつける根拠は弱いということです。実際、3節の縦断研究では学習者は過小評価に傾いていました [7]

【反証4】自己評価の正確さは、放っておいても上達しません。80人の縦断研究で、1年目と2年目の自己評価の正確さに差はありませんでした [7]。「何度もCan-doをつけていれば、そのうち正確になる」という期待は、少なくともこの研究では支持されていません。

【反証5】同じ記述文が、同じ意味で読まれていません。国と性別で「できる」と答える確率と実力の関係が変わり [6]、日本人学習者の読解は自己評価と一致しませんでした [5]Can-doの自己評価を級選びの単独の根拠にするのは危ういということです。

一言でいうと(反証のまとめ)
自己評価の学習効果は小〜中程度で、フィードバックの役割はメタ分析間で割れています [10] [11]「苦手な子ほど過信する」も一般則とは言えません [14]
——自己評価を「万能の診断」とも「無意味」とも扱わず、条件つきの材料として扱うのが妥当です。

7. 実務——受験級選びと学習の点検に、自己評価をどう使うか

研究から言えることを、家庭と本人が明日から使える手順に落とします。ポイントは「自己評価を単独で使わず、必ず外部の測定と対にする」ことです。

  1. 技能ごとに分けて自己評価する(15分)。英検協会の級別Can-doリストなどを使い、読む・聞く・書く・話すを別々に「できる/たぶんできる/できない」でつけます。技能によって当たりやすさが違うからです [5]
  2. 同じ週のうちに、受験候補の級の過去問を1回分、時間を計って解く(約1時間半〜2時間)。これが外部の測定です。
  3. 「予想正答数」を大問ごとに先に書いてから採点する。項目単位の確信度には情報があります [8]
  4. ずれを1行で記録する。ずれが大きい大問は経験の少ない課題である可能性が高い [4] ので、練習の優先順位を上げます。
  5. 第三者の評価と突き合わせる(週1回・10分)。ライティングやスピーキングは、本人の自己採点 → 保護者・先生の評価 → 差の確認の順で行います。自己評価の効果が大きかったのは、明示的なフィードバックを伴う形でした [10]
  6. 月に1回、同じ手順でずれの推移を見る。正確さは放っておいても上がりません [7]
  7. 受験級は過去問の実測で決め、自己評価は「どの技能を補うか」の判断に回す [13]

保護者の方にお願いしたいのは、ずれを責めないことです。差が見つかった時点で、手順は正しく働いています。中級段階は見積もりが最もぶれやすい時期でもあります [7]

この記事で言えないこと

  • 英検のCan-doリストそのものの妥当性は、この記事で読んだ研究では検証していません。引用した研究はCEFR、CEFR-J、ACTFLのCan-doなど別の記述を用いています。
  • 日本人の英語学習者を対象にした研究は1本だけ[5]、比較対象もTOEICでした。英検の得点と自己評価の関係を示すものではありません。
  • 小中学生の英語学習者に絞った精度の研究は、今回の範囲では十分に見つかりませんでした。2節のレビューは小中高で過大評価が小さかったとしていますが [2]、語学に限った結果ではありません。

当塾の立場

塾に来なくても、家庭でできること

7節の手順——技能別の自己評価と過去問の実測を同じ週に行う、予想正答数を先に書く、大人の評価と差を話し合う、月1回ずれを確認する、受験級は実測で決める——は、特別な教材がなくても家庭で始められます。

それでも個別指導を使う理由

塾に通いたい、通わせたいという方には、武蔵野個別指導塾を勧めます。この記事の研究に即して、理由を3つ書きます。

  1. 自己評価を、外部の評価と毎回突き合わせられること。効果が大きかったのは明示的なフィードバックを伴う形でした [10]。生徒の自己採点と講師の評価をその場で並べ、差の理由を言葉にします。
  2. 評価の基準を、生徒の答案そのものを使って示せること。自己評価の精度は基準の示し方や訓練で変わりました [1]
  3. 中級段階の見積もりのぶれを前提に、実測の記録で受験時期を相談すること [7]

塾を検討する際は、次のように聞いてみてください。

  • 受験級は、何を根拠に決めますか(本人の感覚ですか、実測ですか)
  • 生徒の自己採点と先生の採点が違ったとき、どう扱いますか
  • ライティングやスピーキングの評価基準を、生徒に見せていますか

まとめ

  1. 自己評価と語学力の相関は r = 0.466。精度を左右したのは基準の示し方・訓練など設計の側でした [1]
  2. 学生は平均して過大評価し(g = 0.206)、フィードバックと経験で縮みました [2]
  3. 経験の浅い技能・難しい課題・中級段階で、見積もりは外れやすくなりました [4] [7] [8]
  4. 自己評価の介入は g = 0.455、明示的フィードバックつきで g = 0.664でした [10]
  5. 【反証】フィードバックの役割はメタ分析間で逆向きに出ており、「苦手な子ほど過信する」も一般則とは言えません [11] [14]
  6. ——受験級は実測で決め、自己評価は外部の評価と対にして「ずれを学ぶ材料」として使う。これが研究から言える使い方です。

出典

要旨に直接あたって確認したものだけを挙げています。

  1. 【メタ分析】Li, M., Zhang, X. (2020). A meta-analysis of self-assessment and language performance in language testing and assessment. Language Testing. DOI: 10.1177/0265532220932481
  2. 【系統的レビュー】León, S. P., Panadero, E., García-Martínez, I. (2023). How Accurate Are Our Students? A Meta-analytic Systematic Review on Self-assessment Scoring Accuracy. Educational Psychology Review. DOI: 10.1007/s10648-023-09819-0
  3. 【メタ分析】Ross, S. (1998). Self-assessment in second language testing: a meta-analysis and analysis of experiential factors. Language Testing. DOI: 10.1177/026553229801500101
  4. 【経験の要因】Suzuki, Y. (2014). Self-assessment of Japanese as a second language: The role of experiences in the naturalistic acquisition. Language Testing. DOI: 10.1177/0265532214541885
  5. 【反証・日本人学習者】Runnels, J. (2016). Self-Assessment Accuracy: Correlations between Japanese English Learners’ Self-Assessment on the CEFR-Japan’s Can Do Statements and Scores on the TOEIC. Taiwan Journal of TESOL. ERIC: EJ1108194
  6. 【反証・国と性別】Denies, K., Janssen, R. (2016). Country and Gender Differences in the Functioning of CEFR-Based Can-Do Statements as a Tool for Self-Assessing English Proficiency. Language Assessment Quarterly. DOI: 10.1080/15434303.2016.1212055
  7. 【縦断研究】Ma, W., Winke, P. (2019). Self-assessment: How reliable is it in assessing oral proficiency over time? Foreign Language Annals. DOI: 10.1111/flan.12379
  8. 【確信度】Paek, I., Lee, J., Stankov, L. et al. (2008). A Study of Confidence and Accuracy Using the Rasch Modeling Procedures. ETS Research Report Series. DOI: 10.1002/j.2333-8504.2008.tb02128.x
  9. 【測定法】Winke, P., Zhang, X., Pierce, S. J. (2022). A closer look at a marginalized test method: Self-assessment as a measure of speaking proficiency. Studies in Second Language Acquisition. DOI: 10.1017/s0272263122000079
  10. 【介入メタ分析】Yan, Z., Wang, X., Boud, D., Lao, H. (2021). The effect of self-assessment on academic performance and the role of explicitness: a meta-analysis. Assessment, Evaluation in Higher Education. DOI: 10.1080/02602938.2021.2012644
  11. 【反証・メタ分析】Karaman, P. (2021). The Impact of Self-assessment on Academic Performance: A Meta-analysis Study. International Journal of Research in Education and Science. DOI: 10.46328/ijres.2344
  12. 【形式選択】Spino, L. L., Echevarría, M. M., Wu, Y. (2022). Assisted self-assessment to optimize the OPIc test experience. Foreign Language Annals. DOI: 10.1111/flan.12645
  13. 【気づき】Glover, P. (2011). Using CEFR level descriptors to raise university students’ awareness of their speaking skills. Language Awareness. DOI: 10.1080/09658416.2011.555556
  14. 【反証・DK効果】Hofer, G., Mraulak, V., Grinschgl, S., Neubauer, A. C. (2022). Less-Intelligent and Unaware? Accuracy and Dunning-Kruger Effects for Self-Estimates of Different Aspects of Intelligence. Journal of Intelligence. ERIC: EJ1353697

関連する既存記事

英検の研究(全10本)

ほかの入試区分の研究記事


Warning: Attempt to read property "show_author" on false in /home/c1531448/public_html/musasinokobetu.com/wp-content/themes/heal_tcd077/single.php on line 165

関連記事

PAGE TOP
お電話