記述答案の自己採点は当たるのか——ルーブリックの効果と、平均して「甘くなる」自己評価

記述答案は、採点基準を知って自己採点すると良くなるのか

国公立大学の二次試験や私立大学の記述問題では、同じ内容を理解していても、採点者が点を与える要素を書けたかどうかで得点が大きく変わります。そこで「採点基準(ルーブリック)を手に入れて、自分の答案を自己採点する」という勉強法が勧められることがあります。

ルーブリックとは、評価の観点と、それぞれの観点の達成水準を表にしたものです。教育研究では、ルーブリックと自己評価(self-assessment)の効果が、ここ数年で相次いでメタ分析されました。

この記事では、ルーブリックを使った自己評価は答案の質を上げるのか受験生の自己採点はどれくらい当たるのか、そして「基準に合わせること」が学習をゆがめる危険はないのかを、支持と反証の両方から検討します。記述問題の書き方の手順は既存の記事で扱っているので、ここでは採点基準と自己評価の使い方に絞ります。

一言でいうと(この記事の結論)
ルーブリックは学業成績に中程度の正の効果を持ち(出版バイアス補正後 g = 0.45) [1]自己評価の介入も成績を上げていました(g = 0.585) [2]
ただし、学生の自己採点は平均して甘く(過大評価 g = 0.206) [3]他者からのフィードバックがない自己評価の効果は小さかったというメタ分析があります [4]
——自己採点は「外の目」と照らし合わせて初めて機能し、基準に合わせることが目的化する危険もあります [5]

  1. ルーブリックの学業成績への効果は、出版バイアス補正後 g = 0.45 でした [1]
  2. 175研究・19,383人の統合で、自己評価介入の効果は g = 0.585、相互評価は g = 0.606 [2]
  3. 高校生93人の実験で、ルーブリックは自己評価の正確さを高め、偏りと認知負荷を下げました [6]
  4. 模範答案から基準を作り、ルーブリックで下書きを自己評価する手順は、小中学生の作文の得点を上げました [7] [8]
  5. 【反証】160論文・29,352人の統合で、学生は平均して自分を過大評価していました [3]
  6. 【反証】自己評価だけを使う方法が、統制群と差を生まなかった無作為化研究があります [9]
マインドマップ図解:記述答案の自己採点は当たるのか——ルーブリックの効果と、平均して「甘くなる」自己評価
図:この記事の構造(Mapifyで作成したマインドマップ)

1. メタ分析が示す効果の大きさ

まず、全体像を数字で押さえます。

研究 対象 主な結果
Panadero ら (2023) [1] ルーブリックの効果 学業成績 g = 0.45(出版バイアス補正後)。自己調整学習 g = 0.23、自己効力感 g = 0.18(いずれも信頼区間が0をまたぐ)
Yan ら (2022) [2] 175研究・626効果量・19,383人 自己評価 g = 0.585、相互評価 g = 0.606、両方の組み合わせ g = 0.448
Yan ら (2021) [4] 高等教育・26研究 全体 g = .455。他者からの明示的なフィードバックあり g = .664、なし g = .213

ルーブリックのメタ分析では、検討した調整変数の多く(年齢、教育段階、評価観点の数、水準の数、自己評価・相互評価との併用など)は有意ではありませんでした [1]。つまり「こういう作り方のルーブリックが特に効く」とはまだ言えない段階です。

もう一つ注意したいのは、Yan ら(2022)が、同じ人の事前・事後を比べる設計の研究では、実験・準実験の研究より効果量が大きく出ていたと報告している点です [2]。比較群のない研究は、効果を大きく見せやすいのです。

一言でいうと
ルーブリックと自己評価には、平均すると中程度の効果があります [1] [2]
——ただし「自分だけで採点する」より「他者の評価と照らし合わせる」ほうが効果が大きかったというのが、受験生にとって最も実務的な数字です [4]

2. なぜ効くのか——自己評価の正確さ

ルーブリックが効く仕組みとして、自分の出来を正確に見積もれるようになり、その結果、直すべき箇所を正しく選べるようになるという説明がよく挙げられます。これを直接確かめたのが Krebs らの実験です [6]

高校生93人に、自分で書いた科学論文の要旨の質を自己評価させたところ、ルーブリックを与えられた群は、自己評価の絶対的な正確さが高く、偏りが小さく、さらに自己評価にかかる認知負荷も低くなりました [6]

模範答案から基準を「作る」

Andrade らの一連の研究は、ルーブリックを「渡す」だけでなく、模範となる答案を読み、良い答案の基準を自分たちで書き出し、そのうえでルーブリックを使って下書きを自己評価するという手順を検証しました。

研究 対象 結果
Andrade ら (2008) [7] 小学3・4年生116人 処置の主効果が作文の総合得点と、ルーブリックの各観点の得点で見られた
Andrade ら (2010) [8] 中学生162人 処置の主効果が総合得点と、ルーブリックのすべての観点の得点で見られた

比較群も「基準のリストを作り、下書きを見直す」ことはしていました。違いは模範答案を足場にしたことと、ルーブリックを使って自己評価したことです [7] [8]

ルーブリックと模範答案、どちらが効くか

高校1・2年生相当の206人を、統制・ルーブリック・模範答案・両方の4条件に分け、自分の作文を修正させた実験では、ルーブリック条件が最も伸び、僅差で模範答案条件、次に両方の条件が続きました。訓練後に道具の使い方が最も改善したのは模範答案条件でした [10]両方を渡せば最も良い、とはならなかった点は覚えておく価値があります。

3. 【反証】自己採点は甘く、効かないこともある

反証1——学生は平均して自分を過大評価する

León らは、160論文・29,352人のデータを統合し、学生の自己評価は全体として過大評価の方向にずれており(g = 0.206)、本人の見積もりと専門家の評価の関係は z = 0.472だったと報告しました [3]。過大評価は、フィードバックを受けたとき、自己評価の経験が多いとき、内容の知識が多いときに小さくなりました [3]。裏返せば、知識の少ない分野で、フィードバックなしに自己採点すると、甘くなりやすいということです。

反証2——自己評価だけでは差が出なかった

マカオの大学の第二言語の作文授業で114人を無作為に割り当てた研究では、ルーブリックと模範答案は統制群より効果的だったが、自己評価のアプローチは効果的ではなかったと報告されています [9]

Andrade ら自身の初期の研究でも、中学生の2種類の作文のうち、一方では女子にだけ正の関係が見られ、もう一方では男女とも処置の効果がありませんでした。著者らは介入が不十分だった可能性を挙げています [11]

反証3——フィードバックの後、自己評価の方略の質が下がった

大学生126人を無作為に分けてビデオで自己評価の過程を記録した研究では、どの種類のフィードバックの後でも自己評価の方略の質は下がり、一方でルーブリックを含む条件では使う評価基準の数が増え、基本的な基準から高度な基準へと移りました。全体としては、ルーブリックと教員の記述フィードバックの組み合わせが最も良い効果でした [12]

反証4——メタ分析どうしで結論が食い違う

16研究を統合した別のメタ分析は、自己評価の効果を g = .37 と推定し、外部のフィードバックを伴わない従来型の自己評価(g = .47)のほうが、外部フィードバックを伴う自己評価(g = .28)より効果が大きかったと報告しています [13]。前述の、フィードバックありのほうが大きかったという結果 [4] とは逆向きです。「フィードバックを足せば必ず良くなる」とも言い切れません。

反証5——基準への適合が学習を置き換える

Torrance は、後期中等教育以降の学校・職業訓練・成人教育を調べ、評価の手続き・過程・基準を明確にしたことが、成績を上げるための指導・練習・形成的フィードバックの広がりを支えてきた一方で、その透明性は道具主義を助長していると報告しました。評価の手続きが学習経験を支配し、「基準への適合(criteria compliance)」が「学習」に取って代わっているというのが結論です [5]

一言でいうと(反証のまとめ)
自己採点は平均して甘く [3]自己評価だけでは効かなかった研究があります [9]
採点基準に合わせる練習は、点を取る技術を磨く一方で、「基準に書いてあることだけを書く」学び方に傾く危険があります [5]
——自己採点の数字は、他者の採点と照合するまで信用しない、というのが安全な使い方です。

4. 実務——記述答案の「照合型」自己採点の手順

過去問の記述1題あたり、書く時間とは別に20分を見込みます。

  1. 書く前に、模範解答を2つ読み、「点が入りそうな要素」を自分で3〜5個書き出す(5分)。模範から基準を作る手順は、作文の得点を上げました [7] [8]。ただし、その過去問の模範解答ではなく、別の年度・同じ形式の問題の模範解答を使います。
  2. 時間を計って答案を書く。
  3. 書き出した要素を簡単な表(要素ごとに「書けた・一部・書けていない」の3段階)にして、自己採点する(5分)。ルーブリックは自己評価の正確さを高めました [6]
  4. 先生・講師・添削サービスなど他者に同じ表で採点してもらい、自己採点との差を記録する。他者からの明示的なフィードバックを伴う自己評価で効果が大きかったため [4]、また自己採点は甘くなりやすいためです [3]
  5. 差が大きかった要素だけを書き直す(10分)。全部を直すのではなく、自己評価と他者評価のずれが大きい観点に絞ります。
  6. 月に1回、自己採点と他者採点の差の推移を見る。差が縮んでいれば、自己採点を信用できる範囲が広がったと判断できます。経験を積むと過大評価は小さくなります [3]
  7. 表の要素にない「自分の考え」を1文残す。基準への適合だけが目的化するのを防ぐためです [5]。採点で減点されないか、他者に確認します。

この記事で言えないこと

  • 日本の大学入試の記述問題で、ルーブリックによる自己評価の得点への効果を検証した研究は、今回取得した範囲にありません。引用した研究の多くは作文・レポートが対象です。
  • 大学入試の実際の採点基準は公開されていないことが多く、受験生が作る表は推定にとどまります。
  • メタ分析どうしで、フィードバックの役割について逆向きの結果があります [4] [13]
  • 本記事の「要素3〜5個」「20分」は研究で検証された値ではなく、手順の目安です。

当塾の立場

塾に来なくても、家庭でできること

  • 別年度の模範解答から、点が入りそうな要素を書き出して表にする
  • 自分の答案をその表で自己採点し、学校の先生にも同じ表で見てもらう
  • 自己採点と他者の採点の差を記録し、差の大きい観点だけ書き直す

それでも個別指導を使う理由

  1. 自己採点と照合する「外の目」を毎回用意できること。1節のとおり、他者からの明示的なフィードバックを伴う自己評価で効果が大きかった [4]
  2. 甘い自己採点を、観点ごとに具体的に指摘できること。3節のとおり、学生の自己評価は平均して過大です [3]。「書けた」と判定した要素が採点者から見て足りているかを、答案の文言で示します。
  3. 基準に合わせるだけの答案にならないよう、内容の理解を並行して確かめられること。基準への適合が学習を置き換える危険があるため [5]、口頭で内容を説明させて理解を確認します。

塾を検討される際は、次の3つを聞いてみてください。

  • 記述答案の採点で、どんな観点表を使っていますか。それを生徒にも見せていますか
  • 生徒の自己採点と講師の採点の差を、記録していますか
  • 「採点基準に合わせるだけ」にならないよう、何をしていますか

まとめ

  1. ルーブリックの学業成績への効果は g = 0.45(出版バイアス補正後)でした [1]
  2. 自己評価介入は g = 0.585。他者のフィードバックを伴うと g = .664、伴わないと .213 というメタ分析があります [2] [4]
  3. ルーブリックは自己評価の正確さを高め、模範から基準を作る手順は作文の得点を上げました [6] [8]
  4. 【反証】学生の自己評価は平均して過大(g = 0.206)でした [3]
  5. 【反証】自己評価だけでは効かなかった研究、メタ分析どうしで逆の結果があります [9] [13]
  6. 【反証】基準の透明化は、基準への適合が学習に取って代わる危険を生みます [5]
  7. そして——記述答案の自己採点は、他者の採点と照合してずれを直す道具として使うのが、証拠に沿った使い方です。

出典

  1. 【ルーブリックのメタ分析】Panadero, E. et al. (2023). Effects of Rubrics on Academic Performance, Self-Regulated Learning, and self-Efficacy: a Meta-analytic Review. Educational Psychology Review. DOI: 10.1007/s10648-023-09823-4
  2. 【自己評価・相互評価のメタ分析・175研究】Yan, Z. et al. (2022). Effects of self-assessment and peer-assessment interventions on academic performance: A pairwise and network meta-analysis. Educational Research Review. DOI: 10.1016/j.edurev.2022.100484
  3. 【反証・自己採点の過大評価・160論文】León, S. P. et al. (2023). How Accurate Are Our Students? A Meta-analytic Systematic Review on Self-assessment Scoring Accuracy. Educational Psychology Review. DOI: 10.1007/s10648-023-09819-0
  4. 【外部フィードバックの有無】Yan, Z. et al. (2021). The effect of self-assessment on academic performance and the role of explicitness: a meta-analysis. Assessment & Evaluation in Higher Education. DOI: 10.1080/02602938.2021.2012644
  5. 【反証・基準への適合】Torrance, H. (2007). Assessment as learning? How the use of explicit learning objectives, assessment criteria and feedback in post-secondary education and training can come to dominate learning. Assessment in Education: Principles, Policy & Practice. DOI: 10.1080/09695940701591867
  6. 【ルーブリックと判断の正確さ・93人】Krebs, R. et al. (2022). Rubrics enhance accuracy and reduce cognitive load in self-assessment. Metacognition and Learning. DOI: 10.1007/s11409-022-09302-1
  7. 【模範・基準作り・自己評価・小学生】Andrade, H. et al. (2008). Putting Rubrics to the Test: The Effect of a Model, Criteria Generation, and Rubric-Referenced Self-Assessment on Elementary School Students’ Writing. Educational Measurement: Issues and Practice. DOI: 10.1111/j.1745-3992.2008.00118.x
  8. 【同・中学生162人】Andrade, H. et al. (2010). Rubric-referenced self-assessment and middle school students’ writing. Assessment in Education: Principles, Policy & Practice. DOI: 10.1080/09695941003696172
  9. 【反証・自己評価のみは効果なし・114人】Burnell, K. et al. (2023). The influence of three approaches to feedback on L2 writing task improvement and subsequent learning. Studies in Educational Evaluation. DOI: 10.1016/j.stueduc.2023.101291
  10. 【ルーブリックと模範答案・206人】Lipnevich, A. et al. (2022). Unraveling the effects of rubrics and exemplars on student writing performance. Journal of Experimental Psychology: Applied. DOI: 10.1037/xap0000434
  11. 【反証・効果が限定的】Andrade, H. et al. (2003). Role of Rubric-Referenced Self-Assessment in Learning to Write. The Journal of Educational Research. DOI: 10.1080/00220670309596625
  12. 【反証・方略の質の低下・126人】Panadero, E. et al. (2022). University students’ strategies and criteria during self-assessment: instructor’s feedback, rubrics, and year level effects. European Journal of Psychology of Education. DOI: 10.1007/s10212-022-00639-4
  13. 【反証・逆向きの調整効果】Karaman, P. (2021). The Impact of Self-assessment on Academic Performance: A Meta-analysis Study. International Journal of Research in Education and Science. DOI: 10.46328/ijres.2344

関連する既存記事

大学受験の研究(全10本)

ほかの入試区分の研究記事


Warning: Attempt to read property "show_author" on false in /home/c1531448/public_html/musasinokobetu.com/wp-content/themes/heal_tcd077/single.php on line 165

関連記事

PAGE TOP
お電話