英語ライティングの採点——採点者は同じに読むか、何が点を分けるか

英語ライティングの採点——採点者は同じに読むか、何が点を分けるか

試験場で、書いた英文を出したあとに、採点者は同じに読むだろうか、と思うことがあります。厳しい人と甘い人がいる、とも思う。言語の正しさで点が決まる、とも思う。内容で決まる、とも思う。四つの声は、同じ「採点」に見えます。見え方と、研究が述べている層が同じかは、別です。

Weigle は、採点者研修の前後で、未経験と経験のある採点者の厳しさと一貫性の差を調べています [1]。論文の表題は “Using FACETS to model rater training effects” です。1998年の報告です。扱うのは、UCLA の ESLPE の運用中に、16 名の採点者が 60 本のエッセイの重複サブセットを、研修の前後で採点した場面です。英検のライティングやスピーキングの採点基準そのものを測った研究ではありません。UCLA の ESLPE であり、英検ではない、ということを、この回は最初に言います。後でもう一度言います。英検にそのまま当てはまる、とは書きません。

Cumming、Kantor と Powers は、ESL／EFL のライティングを評定するときに、経験豊富な評定者が行う判断を記述する枠組みを、探索的に開発しています [2]。論文の表題は “Decision Making while Rating ESL/EFL Writing Tasks: A Descriptive Framework” です。2002年の報告です。扱うのは、TOEFL のエッセイと、読解やリスニング素材への応答を含む課題です。think-aloud の探索研究です。英検ライティングの採点者行動そのものを測った研究ではありません。TOEFL であり、英検ではない、ということを、この回は最初に言います。後でもう一度言います。英検にそのまま当てはまる、とは書きません。「言語より内容」も、「内容より言語」も、英検の正解としては書きません。

結論を先に言います。研修前は未経験採点者はより厳しく、かつ一貫性が低い傾向だった。研修後は両群の差は小さくなったが、厳しさの有意差は残り、一貫性は多くの採点者で改善した、と1998年の報告は述べています [1]。採点者研修は、採点者間一致より採点者内信頼性（予測可能な点数）の向上に成功しやすい、とも述べています [1]。高得点の作文では rhetoric と ideas への注意が language より広く、低得点では逆だった。ESL／EFL 採点者は全体として language への注意が rhetoric と ideas より広く、EMT 採点者はより均衡していた、と2002年の報告は述べています [2]。差は小さくなった、と、研修で採点者は同じ点になる、は違います。予測可能な点数、と、誰が読んでも同じ点、も違います。高得点では rhetoric と ideas、と、英検は内容で点が付く、も違います。どちらも、英検ライティングの採点基準の手順書ではありません。

先に、この回がしないことも言っておきます。一次証拠は、UCLA の ESLPE における採点者研修と、TOEFL ライティングの think-aloud の探索研究です。英検のライティング・スピーキングの採点基準に、そのまま当てはめません [1]。研修で採点者が同じ点になる、とは書きません。「言語より内容」も、「内容より言語」も、英検の正解としては提示しません [2]。採点者を個人攻撃しません。意見論述の指導効果の話は、すでに別稿があります。この回では再説明しません。作文の計画時間の話も、すでに別稿があります。再説明しません。二次の面接官差も、すでに別稿があります。再説明しません。睡眠、運動、教室環境も、軸にしません。この回の軸は、採点者の厳しさと一貫性と、何を見て点を付けるかの枠組みを、同じ重さで置くことです。受験者の英文を、準備不足だとは決めつけません。学習者の書き方を、欠点の証明にもしません。

1. 同じに読むかと、何を見て点を付けるかは、別の層である

受験者が「採点」と呼ぶものの中には、いくつかの層が混ざります。厳しさ。一貫性。経験の有無。研修の前後。内容。修辞。言語。層が混ざったまま、「採点者は同じに読め」と言うと、どの層の、どのテストの話なのかが見えなくなります。

Weigle が置いているのは、採点者の厳しさと一貫性です [1]。英検の採点基準そのものではありません。置いているのは、未経験と経験の差が、研修の前後でどう変わるかです。差があることと、採点者は当てにならない、という口語の助言は、最初から違います。違うものを、同じ「採点」という言葉で結ぶと、書き方が一つの勝者に見えます。見せません。

Cumming らが置いているのも、評定時の判断の枠組みです [2]。意見論述をどう教えるか、という操作ではありません。指導の話は、別稿の層です。この回は、その層を厚くやり直しません。計画に何分使うか、という操作でもありません。計画時間の話も、別稿の層です。採点者の厳しさと、何を見て点を付けるかは、別の技術です。別である技術を、同じ「ライティング」という言葉で結ぶと、言語を直せ、という教訓と、内容を厚くしろ、という教訓が、一つの方針に見えます。見せません。

英検の一次に、ライティングが載ります。載ることと、1998年の FACETS 分析が測っている試験が同じであることは、別です。別である、を、本番では採点者差は関係ない、と読むこともしません。関係がある、と著者が書いているのは、UCLA の ESLPE の採点者の側です。側があることと、英検の採点が同じ式であることは、違います。違う、を、この回の入口に置きます [1] [2]。

学習者本人が読むときの形も、同じ範囲に置きます。「点が低いから、自分の英文は読まれなかった」。その物語を、この二つの報告は支えていません。支えていないことと、採点者差が無い、は、また別です。厳しさの話があることと、向き不向きの判定であることは、層が違います。層を混ぜて、本人を責める文にはしません。責めない、を、採点者を責める文にすることも、しません。採点者を個人攻撃しない、がこの回の上限の一つです。

2. 16 名が 60 本を、研修の前後で採点した。舞台は UCLA の ESLPE である

1998年の報告が入口に置いているのは、英検の保証ではありません。対象と尺度です [1]。ここでも、最初に限界を言います。UCLA の ESLPE の運用中の研究です。英検のライティング・スピーキングの採点基準ではありません。

16 名です。未経験 8、経験 8、です。60 本です。重複サブセットです。全員が 60 本の全部を読んだ、という書き方ではありません。重複する一部です。16 と 8 と 60 を足したり、割ったりして、新しい人数を作ることはしません。作ると、著者が書いていない別の標本が生まれます。生まれた標本を、英検の採点者全体の顔で出すことはしません [1]。

UCLA の ESLPE、です。英語を第二言語とする学習者の、プレイスメント試験です。英検の級の名前ではありません。名前でないものを、準 1 級や 2 級の対応表に読み替えることはしません。対応表は、この回が使う範囲にはありません。無い表を、次の級へ移る時期の規則として配ることはしません。次の級の話は、すでに別稿があります。この回では再説明しません。

3 部構成の尺度、です。content、rhetorical control、language、です。内容、修辞の統制、言語、です。3 つある、を、言語だけが主役だ、と読むことはできません。読めないことと、言語は検討されていない、と読むこともしません。検討した 3 つは、内容、修辞の統制、言語です。3 つを、英検の採点の手順書にはしません [1]。

FACETS、です。多面ラッシュ分析のプログラムです。採点者の厳しさを線形の尺度で推定し、fit 統計を一貫性の指標とする、と著者らは書いています。推定、です。英検の採点表を再現した、という書き方ではありません。書き方でないものを、当日の自己採点の道具にはしません。道具にすると、分析の名前が、受験者の診断に見えます。見せません。著者が置いているのは、厳しさと一貫性の推定です。推定があることと、英検の点がこの尺度であることは、別です。

3. 研修前は未経験採点者はより厳しく、一貫性が低い傾向だった

対象のあと、著者らは研修前の差を置きます [1]。より厳しい、を、未経験は悪い、と読まない、がこの節の上限です。

研修前、です。条件が付いています。研修のあとの話は、次の節です。ここでは、研修の前の傾向です。傾向、です。全ての未経験者が同じだ、という書き方ではありません。傾向を、未経験の採点者は失格だ、という個人攻撃にはしません。攻撃にすると、厳しさの話が、人の欠点の証明に滑ります。滑らせません [1]。

より厳しい、です。一貫性が低い、です。両方です。厳しいだけ、ではありません。甘いだけ、でもありません。厳しさと、一貫性の低さが、未経験の側に寄っていた、という位置です。位置を、厳しい採点者に当たると損だ、という怖がらせにはしません。怖がらせにすると、傾向が、当日の部屋の脅威に見えます。見せません。見せない、を、厳しさの差は無い、と断言する材料にもしません。無い、と、傾向、は違います。

経験採点者との比較です。経験がある側が正しい、という書き方ではありません。正しい、と、経験、は別です。別である正しさを、英検の面接官やライティング採点者の年数に翻訳することはしません。翻訳すると、1998年の差が、実施者への要求に見えます。見せません。著者が書いたのは、研修前の、未経験と経験の差です。差があることと、英検の採点者がこの 16 名であることは、別です。別である名簿を、この回は作りません [1]。

学習者本人が読むときの形も、ここに置きます。「点が低かったから、未経験の人に読まれた」。その物語を、この報告は支えていません。支えていないことと、研修前の差が無い、は、また別です。差があることと、自分の答案の採点者を特定できることは、層が違います。層を混ぜて、採点者を責める文にはしません。責めない、を、自分の英文は関係ない、と読むこともしません。どちらも、この節の外です。

4. 研修後も厳しさの差は残る。同じ点になる研修ではない

研修前の隣に、著者らは研修後を置きます [1]。差は小さくなった、を、同じ点になった、と読まない、がこの節の中心です。

小さくなった、です。無くなった、ではありません。無くなった、と、小さくなった、は違います。違う比較を、研修で採点者は揃う、と読む根拠にもしません。揃う、と読むと、差の縮小が、同じ点の保証に見えます。見せません。著者が続けているのは、しかし厳しさの有意差は残った、という留保です。残った、です。差が消えた、ではありません [1]。

有意差は残り、です。厳しさの差です。一貫性は多くの採点者で改善、です。多くの、です。全員、ではありません。改善、です。完成、ではありません。両方残す、がこの文の正確な読みです。厳しさの差が残ることと、一貫性が改善することを、片方だけの命令に潰すことはしません。潰すと、研修は無意味だ、という文か、研修で足りる、という文かが残ります。どちらも、著者が書いた文ではありません。

研修後、です。UCLA の ESLPE の運用中の、その研修です。英検の採点者研修そのもの、という書き方ではありません。書き方でないものを、実施要項への要求にはしません。要求にすると、差の縮小が、制度批判の一点に見えます。見せません。著者が書いたのは、その場面での、差の縮小と、残る厳しさの差と、一貫性の改善です。書いた三つを、英検の採点基準の内訳にはしません [1]。

未経験と経験の差が小さくなった、を、経験年数が点数を決める、という文にもしません。決める、と読むと、傾向が、人の序列に見えます。見せません。採点者を個人攻撃しない、を、この節でもう一度置きます。置いたうえで、研修後も厳しさの差は残る、という報告は残ります。残る報告と、英検の点が同じになることは、別です。

5. 採点者研修は、同じ点より、予測可能な点に成功しやすい

差のあとに、著者らは、研修が何に成功しやすいかを置きます [1]。成功しやすい、を、英検もこう研修せよ、と読まない、がこの節の上限です。

成功しやすい、です。必ず成功する、ではありません。しやすい、です。しやすい、を、研修は無意味だ、と読むこともしません。無意味だ、と読むと、比較の向きが、研修への攻撃に見えます。見せません。著者が置いているのは、二つの信頼性のうち、どちらに成功しやすいかです。どちら、です。両方ゼロ、ではありません [1]。

採点者間一致、です。採点者どうしが同じ点を付ける、という側です。採点者内信頼性、です。同じ採点者が、予測可能な点を付ける、という側です。予測可能な点数、です。同一の点数、ではありません。同一、と、予測可能、は違います。違う語を、研修で採点者が同じ点になる、という文に翻訳することはしません。翻訳すると、成功しやすい相手が、入れ替わります。入れ替えません。

これらの結果は、その考えを支持する、と著者らは書いています。考え、です。UCLA の ESLPE の、その分析からの支持です。英検の採点者が同じ点を付けない、という記述ではありません。記述でないものを、二次の面接官差の話に溶かすことはしません。面接官差の話は、すでに別稿があります。この回では再説明しません。別稿の層を、ここに厚くやり直すことはしません [1]。

予測可能な点数、です。受験者が次の点を予言できる、という書き方ではありません。採点者の側の、一貫した付け方です。付け方の話を、当日の自己採点の手順に翻訳することはしません。翻訳すると、信頼性の議論が、本人への断定的助言に見えます。見せません。著者が書いたのは、研修が成功しやすい相手です。相手があることと、英検の点が予測できることは、別です。別である予測を、級の動きにしない。

6. TOEFL エッセイの think-aloud である。英検の採点者行動ではない

1998年の隣に、2002年の探索研究を置きます [2]。隣に置く、を、同じ助言だ、とは言いません。ここでも、最初に限界を言います。TOEFL ライティングの think-aloud の探索研究です。英検ライティングの採点者行動に、そのまま当てはめません。

探索研究、です。3 つです。連携した、です。枠組みを実証的に開発した、です。開発、です。英検の採点表を検証した、という書き方ではありません。書き方でないものを、当日の内訳の正解にはしません。正解にすると、枠組みが、実施要項に見えます。見せません [2]。

研究 1 は、定義済み採点基準なし、です。なし、です。基準を渡さないで、think-aloud した、という位置です。位置を、採点基準は無用だ、という文にはしません。文にすると、方法が、制度批判に見えます。見せません。10 名です。60 の TOEFL エッセイです。6 得点点です。4 題です。この四つを平均して、新しい本数を作ることはしません。作ると、英検の課題数に見える数字が生まれます。生まれた数字を、大問の顔で出すことはしません。

研究 2 は、EMT 採点者です。英語を母語とする作文の採点者です。7 名です。40 の TOEFL エッセイです。研究 3 は、同じ ESL／EFL 採点者 7 名です。5 種の課題です。6 名の ESL 学習者です。読解やリスニング素材への応答を含む、です。含む、です。英検のライティングがこの 5 種だ、という記述ではありません。記述でないものを、要約や意見論述の対応表にはしません。意見論述の指導の話は、すでに別稿があります。この回では再説明しません [2]。

TOEFL、です。英検ではありません。TOEFL である、を、入口に残します。残したまま、英検の一次点へは降ろしません。降ろさない、がこの節の上限です。上限であることと、評定の判断は無関係だ、と読むこともしません。無関係だ、と読むと、枠組みの話が、捨ててよい話に見えます。見せません。残る報告は、経験豊富な評定者が行う判断の記述です。記述と、英検の採点者行動は、別です。

7. 高得点では rhetoric と ideas、低得点では逆。群でも注意の置き方が違う

規模のあと、著者らは、枠組みの検証と、注意の置き方を置きます [2]。置き方がある、を、英検の正解は内容だ、と読まない、がこの節の上限です。

類似の判断行動を、類似の頻度で用いた、です。枠組みの適切さを検証する、という位置です。検証、です。英検でも同じ頻度だ、という記述ではありません。記述でないものを、一般法則に上げることはしません。上げられないことを、TOEFL の話だから無関係、と読むこともしません。著者が書いたのは、両群が、TOEFL エッセイと新課題の両方で、類似の判断行動を類似の頻度で用いた、という範囲です。範囲を、英検の採点者全員の行動にはしません [2]。

高得点の作文では、rhetoric と ideas への注意が language より広い、です。低得点では逆、です。逆、です。高得点では修辞と着想、低得点では言語、という向きです。向きがあることと、英検は内容で点が付く、という一文は、別です。一文にすると、注意の広さが、当日の書き方の命令に見えます。見せません。「言語より内容」を、英検の正解としては書きません。「内容より言語」も、書きません。著者が並べたのは、得点の高低で注意の置き方が変わる、という観察です。観察と、英検の内訳の勝者は、別です。

ESL／EFL 採点者は全体として language への注意が広い、です。EMT 採点者はより均衡、です。全体として、です。いつも、ではありません。より均衡、です。完全に同じ、ではありません。群で注意の置き方が違う、という位置です。位置を、英語の教師に読まれると言語で落とされる、という怖がらせにはしません。怖がらせにすると、群の差が、人の攻撃に見えます。見せません。採点者を個人攻撃しない、を、この節でも置きます [2]。

rhetoric、ideas、language、です。枠組みの主たる特徴です。1998年の 3 部構成（content・rhetorical control・language）と、語が近い。近い語を、同じ尺度だ、と読むことはできません。読めない理由は、一方は UCLA の ESLPE の尺度、他方は TOEFL エッセイの think-aloud の枠組みだからです。近い「language」を、同じ量の反復としては読めません。並べる。溶かす、ではない [1] [2]。

学習者本人が読むときの形も、ここに置きます。「言語を直さなかったから、点が低かった」。あるいは逆に、「内容が薄かったから、点が低かった」。その片方だけの物語を、この報告は、英検の正解としては支えていません。支えていないことと、注意の置き方が無い、は、また別です。置き方があることと、当日の書き方の勝者が一つであることは、層が違います。層を混ぜて、本人を責める文にはしません。

8. 二つの研究を並べる。採点者を個人攻撃しない

注意の置き方のあと、著者らは、経験の自己認識を置きます [2]。認識がある、を、経験年数が点を決める、と読まない、を先に固定します。そのうえで、二つの研究を一度だけ表にします。新しい数値は足しません。

多くの参加者、です。全員、ではありません。認識していた、です。測った因果、という書き方ではありません。影響したと認識、です。認識を、経験がある人の点が正しい、という文にはしません。文にすると、自己認識が、人の序列に見えます。見せません。著者が書いたのは、参加者がそう認識していた、という報告です。報告があることと、英検の採点者の年数が点を決めることは、別です [2]。

表の読み方は、上下の勝敗ではありません。上段の1998年は、厳しさと一貫性と、研修が成功しやすい相手です。中段の2002年は、判断の枠組みと、注意の置き方です。下段の英検ライティングの当日点は、どちらの報告にも無い層です。無い層を、表の空欄のまま置きます。

厳しさの差と、rhetoric への注意を、平均した新しい方針は、作りません。測っている層が違います。一方は、採点者がどれだけ厳しく、どれだけ一貫するかです。他方は、経験豊富な評定者が何を見て点を付けるかです。近い「採点」を、同じ量の反復としては読めません [1] [2]。

試験場での見え方に一度だけ引き直します。新しい数値は足しません。書いた英文を出したあと、採点者は同じに読むだろうか、と思う。1998年の報告は、研修後も厳しさの有意差は残る、と書き、研修は同じ点より予測可能な点に成功しやすい、と書いています [1]。2002年の報告は、高得点では rhetoric と ideas、低得点では language、と書き、群でも注意の置き方が違う、と書いています。書いてある主語は、TOEFL のエッセイを読む評定者です [2]。引き直した結果として出てくるのは、当日の書き方の命令ではありません。厳しさの分析と、判断の枠組みを、英検の採点基準の手順に溶かさない、という確認の形です。

意見論述の指導効果の話は、すでに別稿があります。作文の計画時間の話も、すでに別稿があります。二次の面接官差も、すでに別稿があります。この回の二つの報告は、その話ではありません。採点者の厳しさと一貫性と、何を見て点を付けるかです。別稿の層を、ここに厚くやり直すことはしません。睡眠や運動を、点の代わりに置くこともしません。級別のロードマップも、軸にしません。置く軸は、採点者差の研究があることと、採点者を個人攻撃しないことです [1] [2]。

9. 【反証】この回が言えないこと

第一に、一次証拠は二篇です。Weigle の1998年と、Cumming、Kantor と Powers の2002年です [1] [2]。英検のライティング・スピーキングの採点基準を、一次資料として測った研究ではありません。合否も、級の得点差も、この二つの報告は述べていません。英検そのものの研究ではありません。TOEFL と UCLA の ESLPE です。英検にそのまま当てはまる、とは書いていません。

第二に、1998年は UCLA の ESLPE、16 名（未経験 8・経験 8）、60 本の重複サブセットです。16 名を、英検の採点者全体に一般化することはできません。3 部構成の尺度は、content・rhetorical control・language です。英検の内訳そのものではありません。FACETS の推定を、当日の自己採点の手順にはできません [1]。

第三に、研修前に未経験がより厳しく一貫性が低い傾向だった、を、未経験の採点者は失格だ、という個人攻撃にはできません。傾向、です。研修後は差が小さくなったが、厳しさの有意差は残り、一貫性は多くの採点者で改善、です。小さくなった、です。同じ点になった、ではありません [1]。

第四に、採点者研修は採点者間一致より採点者内信頼性（予測可能な点数）の向上に成功しやすい、を、研修で採点者は同じ点になる、という文にはできません。成功しやすい、です。同一の点数、ではありません。英検の採点者が同じ点を付けない、という記述でもありません。二次の面接官差の話は、この回では再説明していません [1]。

第五に、Cumming らは TOEFL ライティングの think-aloud の探索研究です。TOEFL であり、英検ではありません。英検ライティングの採点者行動に、そのまま当てはめることはできません。研究 1 は定義済み採点基準なしです。基準なしを、採点基準は無用だ、と読むこともしません [2]。

第六に、10 名、60 本、6 得点点、4 題、7 名、40 本、5 種、6 名を、英検の課題数や受験者全体に換算する対応表は、ありません。研究 3 の読解・リスニング素材への応答は、英検の要約や意見論述そのものではありません。意見論述の指導と、作文の計画時間は、すでに別稿があります。この回では再説明していません [2]。

第七に、高得点では rhetoric と ideas、低得点では逆、を、「言語より内容」または「内容より言語」の英検の正解にはできません。ESL／EFL 採点者は全体として language への注意が広く、EMT 採点者はより均衡、です。群の差を、英語の教師は言語で落とす、という怖がらせにもできません。類似の判断行動を類似の頻度で用いた、は、英検でも同じ頻度だ、という意味ではありません [2]。

第八に、二つの研究を合成して、新しい数値を作ることはできません。厳しさの差と、注意の置き方を平均した書き方の方針も、この回からは出てきません。多くの参加者が以前の採点と教授経験の影響を認識していた、を、経験年数が点を決める、とも書いていません。採点者を個人攻撃してもいません。

第九に、意見論述の指導効果、作文の計画時間、二次の面接官差、級別のロードマップ、過去問の再テスト効果は、この回では再説明していません。すでに書いた話だからです。必要でも、参照に留めます。睡眠、運動、食事、教室環境を、この回の軸にもしていません。

第十に、この回は、受験者の英文を間違っていると決めつけていません。準備が足りない、という責めの文にもしていません。学習者の書き方を、欠点だとも書いていません。採点者を、甘い、厳しい、と個人攻撃してもいません。著者らが述べたのは、UCLA の ESLPE の厳しさと一貫性と、TOEFL エッセイの判断枠組みです。研究があることと、受験生を責めることは、別です。研究があることと、採点者を責めることも、別です [1] [2]。

10. 実務——試験場と面談で使える3つの確認

それでも塾に通いたい方へ

当塾は講師1名に生徒1名の完全個別指導で、武蔵境駅から徒歩30秒です。事前診断テストと入塾前カウンセリングは無料で、割引制度は設けていません。研修で採点者が同じ点になると書いていないか、UCLA の ESLPE の厳しさを英検の採点基準に読み替えていないか、TOEFL の判断枠組みを言語か内容かの正解に潰していないかを整理することは、カウンセリングの場でご一緒にできます。入塾されるかどうかとは切り離してお受けしています。

まとめ

出典

本文中の番号に対応します。書誌を確認し、抄録に直接あたったものだけを挙げています。結論に反する記述も、同じ基準で載せています。

1. 【採点者研修と厳しさ・一貫性】Weigle, Sara Cushing (1998). Using FACETS to model rater training effects. Language Testing, 15(2), 263–287. DOI: 10.1177/026553229801500205
2. 【ESL／EFL ライティング評定の判断枠組み】Cumming, Alister; Kantor, Robert; Powers, Donald E. (2002). Decision Making while Rating ESL/EFL Writing Tasks: A Descriptive Framework. The Modern Language Journal, 86(1), 67–96. DOI: 10.1111/1540-4781.00137

宮川 涼 Founder

早稲田大学大学院文学研究科哲学専攻修士号修了、同大学大学院同専攻博士課程中退。日本倫理学会員 早稲田大学大学院文学研究科にてカント哲学を専攻する傍ら、精神分析学、スポーツ科学、文学、心理学など幅広く研究に携わっている。

See Full Bio