武蔵野個別指導塾の特徴

武蔵野個別指導塾のこだわり

ポートフォリオ評価で点は揃うか——授業は変えたが、信頼性は多くの用途に不十分だった

同じポートフォリオに、評価者は同じ点をつけるのか

総合型選抜では、活動の記録や作品、レポートなどをまとめた資料が評価に使われることがあります。学校で積み上げてきた学びの記録を、1回の試験では測れない力の証拠として見る——この考え方は魅力的です。

しかし、評価の道具として使う以上、避けて通れない問いがあります。同じ資料を別の評価者が見たとき、同じ点がつくのか（評価者間信頼性）。そして、評価の基準表（ルーブリック）を用意すれば、その問題は解決するのか。

この記事では、米国の大規模なポートフォリオ評価の検証、ルーブリック研究のレビュー、医学教育でのポートフォリオ評価の工夫、そして大学入試の担当者を対象にした実験を並べ、ポートフォリオ型の評価に何が期待でき、何が期待できないかを整理します。

一言でいうと（この記事の結論）
大規模なポートフォリオ評価では、授業を変える効果が報告された一方で、点数の信頼性は多くの用途に不十分でした。ルーブリックは評価者訓練や見本と組み合わせれば採点の一貫性を高めますが、それだけで妥当な判断を保証するものではありません。入試担当者の判断も、「総合的に見る」の定義が人によって違い、与えられる情報で結論が変わります。

  1. 州規模のポートフォリオ評価では、授業への良い影響と、得られたデータの質の低さが対照的でした [1]。
  2. 2年目に数学の信頼性は改善したものの、作文は改善せず、多くの用途には低すぎる水準にとどまりました [2]。
  3. 2,000人超の全国試行では、理科のポートフォリオは評価者間信頼性も得点の信頼性も不十分でした [3]。
  4. 75研究のレビューでは、ルーブリックは分析的・課題特有で、見本や評価者訓練と組み合わせたときに採点の信頼性を高めていました [4]。
  5. 【反証】ルーブリックを使っても、評価者は内容より文法や綴りなどの表面的な特徴に強く影響されました [6]。
  6. 【反証】311人の入試担当者の調査で、「総合的な審査」の定義は3通りに分かれ、定義によって判断が違いました [11]。
  7. 高校の状況について詳しい情報を与えられた入試担当者は、低所得層の出願者の合格を13〜14ポイント多く推薦しました [12]。
マインドマップ図解：ポートフォリオ評価で点は揃うか——授業は変えたが、信頼性は多くの用途に不十分だった
図：この記事の構造（Mapifyで作成したマインドマップ）

1. 「信頼性」と「妥当性」を分けておく

評価の質を論じるときは、2つの概念を区別する必要があります。

概念 問い ポートフォリオでの例
信頼性 同じものを測れば、同じ結果が出るか 評価者Aと評価者Bが同じ資料に同じ点をつけるか
妥当性 測りたいものを測っているか その点数が、本当に「探究する力」を表しているか

信頼性が低ければ妥当性も保てませんが、信頼性が高いからといって妥当とは限りません。後で見るように、ルーブリックで点数を揃えることはできても、揃った点数が測りたい力を表しているとは限らないのです。評価の方法論の基礎は、当サイトの学力はどう測られているか——偏差値は「等化」ではないもご覧ください。

一言でいうと
「評価者の点が揃うか」と「その点が意味のある力を表すか」は別の問題です。ポートフォリオ評価では、この2つを両方確かめる必要があります。

2. 大規模なポートフォリオ評価で起きたこと

1990年代の米国では、州全体でポートフォリオを使って生徒を評価する試みが行われました。その代表例であるバーモント州の評価プログラムについて、RAND研究所が継続的な評価を行っています。

学術誌に掲載された報告は、評価プログラムの授業への効果についての良い知らせは、プログラムが生み出したデータの質についての実証結果と対照的だったとまとめています [1]。

2年目（1992〜93年度）の報告書は、約80校の校長への面接、州全体の数学教員への質問紙、ポートフォリオ得点の信頼性分析をもとにしています [2]。

  • 教員は、プログラムが目標に沿った大きな授業の変化をもたらしたと認識していた
  • 同時に、プログラムは教員に大きな負担を課していた
  • 実施の仕方のばらつきが大きく、学校間で結果を比べる解釈が危うくなるほどだった
  • 1993年に数学の得点の信頼性は改善したが、作文では改善せず、信頼性は多くの用途には低すぎるままだった

別の全国規模の試行では、2,000人超の中等学校の生徒が国語・数学・理科の授業からポートフォリオを提出しました [3]。

教科 評価者間信頼性 得点の信頼性
国語 妥当な水準 妥当な水準
数学 十分 低い
理科 不十分 不十分

一般化可能性分析からは、ポートフォリオの作品を5点、それぞれ2人の評価者が採点すれば、生徒個人の判断に足る信頼性が得られると示唆されました [3]。つまり、信頼性は「作品の数」と「評価者の数」を増やせば上げられるが、そのぶん手間がかかる、ということです。

一言でいうと
ポートフォリオ評価は授業を変える力を持っていた一方、点数の信頼性は教科によっては不十分でした。信頼性を上げるには、作品の数と評価者の数を増やす必要があります。

3. ルーブリックは、採点を揃えるのか

採点のばらつきを減らす道具として広く使われているのがルーブリックです。Jonsson と Svingby は、ルーブリックの実証研究75件をレビューしました [4]。

  1. パフォーマンス評価の信頼性ある採点は、ルーブリックで高められる。特に分析的（観点別）で、課題特有で、見本（exemplar）や評価者訓練と組み合わせた場合
  2. ただし、ルーブリックはそれ自体で妥当な判断を促すわけではない。妥当性を検証する広い枠組みを使えば、妥当な評価を助けうる
  3. ルーブリックには、期待と基準を明示することで、学習や授業を改善する潜在力がある

高等教育でのルーブリック使用をレビューした研究も、評価者の信頼性についての研究はルーブリックによって学生の成果について比較的共通した解釈が得られる傾向を示しているとまとめています [5]。一方で、学業成績の改善については、2研究が改善と関連したと示唆し、1研究はそうではなかったと報告し、より厳密な研究方法を求めています。妥当性の研究では、言葉の明確さと適切さが中心的な課題でした。

4. 【反証】基準表があっても、判断は揃わない

表面的な特徴に引きずられる

Rezaei と Lovorn は、社会科の記述課題の答案を、ルーブリックありとなしで評価させる実験を行いました [6]。参加者は、大学院生が書いたと想定して2種類の答案のどちらかを採点しました。

  • 答案1：文構造・綴り・文法・句読点は整っているが、問いに十分に答えていない
  • 答案2：問いのすべての部分に答えているが、構造・綴り・文法・句読点の誤りが多い
  • 結果：評価者は、ルーブリックを使っても、内容より文章の機械的な特徴に有意に影響された
  • 著者らは、評価者がルーブリックの設計と使い方について十分に訓練されていなければ、ルーブリックは信頼性も妥当性も改善しないかもしれないと結論した

基準を分解すると、判断がゆがむことがある

Sadler は、大学の評価で、全体としての判断を扱いやすい部分に分解する複数基準の方式が、学生への透明性と採点の客観性を高めるとして広く推奨されていることを検討しました [7]。そして、そうした方式は複数の基準にまたがる質的な判断の複雑さを十分に表現できず、ゆがんだ採点につながりうると論じ、評価者の採点の仕方に6つの異常を特定しました。結論は、明示的な採点モデルは一般に考えられているほど強い理論的基盤を持たず、全体的な評価はさらに検討する価値があるというものです。

入試担当者の「総合的に見る」は、人によって違う

Bastedo らは、米国の選抜性の高い大学の入試担当者311人を対象に、自由記述の調査、フォーカスグループ、実験的なシミュレーションを組み合わせて、「総合的な審査（holistic review）」をどう定義し、どう使っているかを調べました [11]。

  • 定義は「書類全体を見る」「人物全体を見る」「背景の文脈全体を見る」の3つに分かれた
  • 「文脈全体を見る」という考えの担当者は、シミュレーションで低所得層の出願者を合格させる割合が不釣り合いに高かった
  • 著者らは、中核的な概念の定義が一致していないことが、入試を外から理解しにくい「ブラックボックス」にしていると指摘した

同じ担当者を対象にした無作為化比較試験では、出願者の高校の状況について詳しい情報を与えられた担当者は、限られた情報しか与えられなかった担当者より、恵まれない高校の低所得層の出願者の合格を13〜14ポイント（26〜28%）多く推薦しました [12]。限られた情報の条件でも家庭の社会経済的地位や高校の状況について相当な詳細が与えられていたにもかかわらず、です。この結果は、大学の選抜性、入試部門の運用、参加者の属性にかかわらず一貫していました。

一言でいうと（反証のまとめ）
ルーブリックがあっても評価者は表面的な特徴に引きずられ、基準の分解が判断をゆがめることもあります。入試担当者の判断は、評価の考え方と、手元にある情報の量によって変わりました。

5. 点数を揃える以外のやり方——医学教育の工夫

ポートフォリオの質的な性格を保ったまま、判断の質を担保しようとする試みもあります。

Driessen らは、ポートフォリオ評価は質的な情報を扱う以上ある程度の主観を避けられず、基準を厳しくし内容を型にはめれば評価者間信頼性は上がるが、柔軟性・個別性・真正性というポートフォリオ評価の本質が失われるというジレンマを指摘しました [10]。

そこで、信頼性の代わりに質的研究の基準を使う評価手続きを設計しました。

  • 三角測量：複数の情報源を組み合わせる
  • 長期の関与：指導者が1年に少なくとも2回ポートフォリオを読み、フィードバックする
  • メンバーチェック：指導者の成績案を学生と話し合う
  • 監査の記録と外部監査：評価過程を詳しく記録し、外部の監査者が確認する

233件のポートフォリオを評価した結果、学生と指導者の意見が食い違ったのは7件（3%）、全体委員会に回されたのは9件で、最終判断が指導者の推薦と異なったのは29件（12%）でした [10]。

面接の研究でも似た方向が示されています。複数の短い面接場面を使う形式のレビューでは、場面の数を増やすことが、1場面あたりの評価者を増やすより信頼性に大きく効き、見本つきの評定尺度や技能に基づく評価者訓練も信頼性を高めていました [13]。ポートフォリオの試行で「作品5点×評価者2人」が示唆されたこと [3] とあわせると、一つの資料を一人で深く見るより、複数の証拠を複数の目で見るほうが判断は安定すると言えます。

6. 受験生にとってのルーブリック——評価の道具から学習の道具へ

ルーブリックは、評価する側だけの道具ではありません。形成的な目的（学習の途中で改善に使う目的）でのルーブリック使用を扱った21研究のレビューは、ルーブリックが学習に良い影響を与える可能性がある一方、成果や自己調整の改善につながる経路はさまざまで、効果を左右する要因も複数あると報告しています [8]。

その後の研究は、効果量で順位づけした15の質の高い研究を内容分析し、成功した介入に共通する2つの特徴を見出しました [9]。

  1. 教師が、ルーブリックの内容と、それを形成的に使う方法の両方を説明している
  2. 生徒が作品を作り、フィードバックや自己評価を受け、その後に修正するという順序になっている

7. 実務——ポートフォリオを準備する手順

以下は、上の研究から導いた準備の方針です。合否への効果を検証したものではありません。日本の総合型選抜での資料の扱いは大学ごとに異なるため、提出形式は必ず各大学の要項で確認してください。

  1. 評価の観点が公表されていれば、観点ごとに自分の資料を1行で対応づける（30分）。分析的な基準は採点の一貫性を高めていました [4]。
  2. 一つの大作より、複数の証拠を用意する。作品の数を増やすことが信頼性を高めていました [3]。1つのテーマについて、途中経過・最終成果・振り返りの3点をそろえます。
  3. 活動の背景を短く書き添える（各100〜200字）。状況の情報の量で、担当者の判断が変わりました [12]。何が使えて、何が使えなかったかを事実として書きます。
  4. 誤字・脱字は提出前に必ず直す（第三者に1回読んでもらう）。評価者は内容より表面的な誤りに引きずられていました [6]。
  5. 「作る→講評を受ける→直す」を最低1回まわす。ルーブリックが学習に効いた研究の共通点でした [9]。
  6. 見た目の装飾に時間をかけすぎない。基準に沿った中身の説明のほうが、評価の観点に直接対応します [4]。

この記事で言えないこと

  • 日本の総合型選抜で提出資料が採点される際の評価者間信頼性を調べた研究は、今回確認できませんでした。
  • 引用したポートフォリオ評価の研究は1990年代の米国の初等中等教育のもので、現在の大学入試とは目的も規模も違います。
  • 入試担当者の実験はシミュレーションであり、実際の合否判断で同じ差が出るかは分かりません [12]。

当塾の立場

塾に来なくても、家庭でできること

  • 公表されている評価の観点と、自分の資料を1行ずつ対応させる
  • 一つの成果物より、途中経過と振り返りも含めた複数の証拠を残す
  • 提出前に、家族や先生に誤字と分かりにくい箇所を指摘してもらう
  • 活動の背景（使えた資源・使えなかった資源）を短く書き添える

それでも個別指導を使う理由

  1. 「作る→講評→直す」の往復を、決まった間隔で回せるから。ルーブリックが学習に効いたのは、フィードバックと修正の順序があるときでした [9]。締切から逆算して講評の回数を確保します。
  2. 表面的な誤りに評価が引きずられるリスクを減らせるから。評価者はルーブリックがあっても文法や綴りに影響されていました [6]。内容の点検と表記の点検を分けて行います。
  3. 評価の観点と資料の対応を、第三者の目で確認できるから。基準の解釈は評価者によって揺れます [7] [11]。本人の意図が観点に沿って伝わるかを、書き手以外の目で読みます。

塾を検討するときは、次のように聞いてみてください。

  • 提出資料の講評は、何回、どんな観点で行いますか
  • 講評する人は一人ですか、複数ですか
  • 資料の見栄えと中身のどちらに指導の時間を使いますか

まとめ

  1. 州規模のポートフォリオ評価は、授業を変えた一方でデータの質が低いものでした [1] [2]。
  2. 理科のポートフォリオでは、評価者間信頼性も得点の信頼性も不十分でした [3]。
  3. 信頼性は、作品数と評価者数を増やすことで高めうると示唆されました [3]。
  4. ルーブリックは見本と評価者訓練を伴うとき、採点の信頼性を高めました [4]。
  5. 【反証】ルーブリックがあっても、評価者は表面的な特徴に影響されました [6]。
  6. 【反証】基準の分解は、判断をゆがめうると指摘されています [7]。
  7. 【反証】「総合的な審査」の定義は3通りに分かれ、判断を左右しました [11] [12]。
  8. ルーブリックが学習に効くのは、説明とフィードバック・修正の順序があるときでした [8] [9]。

出典

  1. 【州規模ポートフォリオ評価の検証】Koretz, Stecher, Klein, & McCaffrey (1994). The Vermont portfolio assessment program: Findings and implications. Educational Measurement: Issues and Practice. DOI: 10.1111/j.1745-3992.1994.tb00443.x
  2. 【反証・2年目の信頼性】Koretz (1994). The evolution of a portfolio program: The impact and quality of the Vermont portfolio program in its second year (1992-93). ERIC: ED379301
  3. 【反証・全国試行の信頼性】Wolfe (1996). A report on the reliability of a large-scale portfolio assessment for language arts, mathematics, and science. ERIC: ED399285
  4. 【ルーブリック75研究のレビュー】Jonsson & Svingby (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review. DOI: 10.1016/j.edurev.2007.05.002
  5. 【高等教育のルーブリック】Reddy & Andrade (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education. DOI: 10.1080/02602930902862859
  6. 【反証・ルーブリックと表面的特徴】Rezaei & Lovorn (2010). Reliability and validity of rubrics for assessment through writing. Assessing Writing. DOI: 10.1016/j.asw.2010.01.003
  7. 【反証・基準の分解の限界】Sadler (2009). Indeterminacy in the use of preset criteria for assessment and grading. Assessment & Evaluation in Higher Education. DOI: 10.1080/02602930801956059
  8. 【形成的ルーブリック21研究】Panadero & Jonsson (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review. DOI: 10.1016/j.edurev.2013.01.002
  9. 【成功した介入の共通点】Jonsson, Panadero, & Pinedo (2025). Using rubrics for formative purposes: Identifying factors that may affect the success of rubric implementations. Assessment in Education: Principles, Policy & Practice. DOI: 10.1080/0969594x.2025.2486947
  10. 【質的基準によるポートフォリオ評価】Driessen, van der Vleuten, Schuwirth, & van Tartwijk (2005). The use of qualitative research criteria for portfolio assessment as an alternative to reliability evaluation: A case study. Medical Education. DOI: 10.1111/j.1365-2929.2004.02059.x
  11. 【反証・総合的審査の3つの定義】Bastedo, Bowman, Glasener, & Kelly (2018). What are we talking about when we talk about holistic review? Selective college admissions and its effects on low-SES students. The Journal of Higher Education. DOI: 10.1080/00221546.2018.1442633
  12. 【入試担当者のRCT】Bastedo & Bowman (2017). Improving admission of low-SES students at selective colleges: Results from an experimental simulation. Educational Researcher. DOI: 10.3102/0013189×17699373
  13. 【複数場面と信頼性】Knorr & Hissbach (2014). Multiple mini-interviews: Same concept, different approaches. Medical Education. DOI: 10.1111/medu.12535

関連する既存記事

総合型選抜の研究（全10本）

  1. 高校生の研究体験は科学的推論を伸ばすか——60研究の半数以上は自己報告だった
  2. 課外活動は大学での何を予測するか——成績とr=.39、ただし記録は家庭の経済力を映す
  3. 推薦書・調査書の言葉は何を測っているか——推薦状の予測力は弱く、属性の偏りは強い
  4. 自分を語る文章をナラティブ研究から見る——主体性のテーマは心の健康の改善に先行した
  5. 面接官の第一印象はどこまで当たるか——でたらめな回答にも面接官は自信を持った
  6. ポートフォリオ評価で点は揃うか——授業は変えたが、信頼性は多くの用途に不十分だった（この記事）
  7. 批判的思考は教えられるか——効果量g=0.30、ただし練習問題だけでは伸びなかった
  8. 総合型・推薦で入った学生の入学後——成績の優劣は国と時期で逆転した
  9. 進路を決める自己効力感は育てられるか——高い確信は「早すぎる決定」とも結びついた
  10. 大学の高校生向けプログラムは進学と適応を変えるか——厳密に比べると効果は揺らいだ

ほかの入試区分の研究記事

武蔵野個別指導塾の特徴の関連記事


Warning: Attempt to read property "show_author" on false in /home/c1531448/public_html/musasinokobetu.com/wp-content/themes/heal_tcd077/single.php on line 165

関連記事

PAGE TOP
お電話