研究計画書は誰にどう読まれるか——審査の一致率と評価のばらつき
大学院の出願を前に、研究計画書の束を見る志願者は少なくありません。テーマ。方法。文献。束を見ると、審査員がどう読むかを、正解の書き方の一点で測りたくなります。通るか、落ちるか。二値です。二値のままだと、こう書けば受理される、という短い文が残りやすい。短い文は、読む側の一致と、ばらつきを消します。この回は、その読み方を戻します。
Cicchetti は、原稿と助成申請の査読の信頼性を、学際横断の調査として再検討しています [1]。論文の表題は “The reliability of peer review for manuscript and grant submissions: A cross-disciplinary investigation” です。1991年の報告です。扱うのは、科学文書の査読と、科学者が同僚の仕事を評価する際の基準です。日本の大学院入試の研究計画書そのものを測った研究ではありません。一貫して低い信頼性水準を、合格率や偏差値に換算することは、この回ではしません。
Marsh、Jayasinghe、Bond は、助成申請の査読過程を、信頼性・妥当性・バイアス・一般化可能性の側から置いています [2]。論文の表題は “Improving the peer-review process for grant applications: Reliability, validity, bias, and generalizability” です。2008年の報告です。扱うのは、オーストラリア研究理事会の研究プログラムです。社会科学・人文科学・自然科学から数千件の助成申請を受け、世界中の査読者による査読を行う、という場です。日本の大学院入試の審査員の行動そのものを測った研究ではありません。査読は信頼性に欠けた、を、審査員への個人攻撃に読み替えることもしません。
結論を先に言います。助成申請の査読者は、科学的価値があるものについてよりも、支援に値しないものについてはるかに一致する、と1991年の報告は述べています [1]。原稿提出では、分野が一般的・散漫か、特定・焦点化されているかで、拒否と受理のどちらについて一致が多いかが変わる、とも述べています [1]。査読は信頼性に欠けた。見つかった唯一の大きな系統的バイアスは、申請者自身が指名した査読者による、膨張した・信頼性の低い・妥当性の低い評定であった、と2008年の報告は述べています [2]。支援に値しないものについて一致する、と、こう書けば受理される、は違います。信頼性に欠けた、と、審査員が悪い、も違います。膨張した評定、と、指名しなければ通る、も違います。どちらも、日本の大学院入試の研究計画書の手順書ではありません。
先に、この回がしないことも言っておきます。一次証拠は、学際横断の査読信頼性の総合論と、オーストラリア研究理事会の助成申請査読です。日本の大学院入試の研究計画書の正解の書き方の根拠にはしません [1] [2]。受理されやすい書き方、とも断定しません。審査員を個人攻撃する文脈にもしません。出願書類が何を予測するか、という話は、すでに別稿があります。この回では再説明しません。研究計画書の審査が一致しなかった、という既存の話も、すでに別稿があります。再説明しません。睡眠、運動、教室環境も、軸にしません。短い研究紹介の作法も、研究計画書の書き方も、扱いません。この回の軸は、読む側の一致と、ばらつきを、同じ重さで置くことです。志願者の計画書が薄いことを、責めの文にはしません。受験生の準備を、足りない、と決めつけません。
1. 研究計画書の読み方は、書き方の正解とは別の技術である
志願者が「研究計画書」と呼ぶものの中には、いくつかの層が混ざります。テーマの選び方。文献の厚さ。方法の書き方。審査員が一致するか。拒否するか、受理するか。助成するか、しないか。層が混ざったまま、「こう書け」と言うと、どの層の、どの測定の話なのかが見えなくなります。
Cicchetti が置いているのは、科学文書の査読の信頼性です [1]。日本の研究計画書の書き方ではありません。入試の当日の口頭試問でもありません。置いているのは、原稿提出と助成申請を、読む側がどれだけ一致して評価するかです。一致することと、今夜の文面の正解は、最初から違います。違うものを、同じ「計画書」という言葉で結ぶと、読み方の話が一つの手順に見えます。見せません。
Marsh、Jayasinghe、Bond が置いているのも、助成申請の査読過程です [2]。志願者が今夜直す段落ではありません。オーストラリア研究理事会、という側です。側があることと、日本の研究科の入試委員会は、層が違います。層が違うものを、出願の手順に溶かすことはしません。
日本の大学院入試に、研究計画書が載ることがあります。載ることと、1991年の学際横断の査読が測っている文書が同じであることは、別です。別である、を、本番では査読は関係ない、と読むこともしません。関係がある、と著者が書いているのは、科学者が同僚の仕事を評価する際の基準と、報告されてきた一貫して低い信頼性水準の側です。側があることと、日本の研究計画書が同じ式であることは、違います。違う、を、この回の入口に置きます [1] [2]。
出願書類の予測妥当性の話は、すでに別稿があります。この回は、その層を厚くやり直しません。別である技術を、同じ「書類」という言葉で結ぶと、何を予測するかという教訓と、読む側が一致するかという教訓が、一つの方針に見えます。見せません。この回の層は、読み手の一致と、ばらつきです。一致があることと、書き方の正解であることは、別です。別である一致を、本人を責める文にはしません。
2. 査読の信頼性は、一貫して低い水準が報告されてきた
1991年の報告が入口に置いているのは、合格の保証ではありません。信頼性の再検討です [1]。科学文書です。原稿と助成申請です。児童の教室の話ではありません。思春期の一斉授業の話でもありません。科学者が同僚の仕事を評価する、という範囲です。
査読の信頼性と、科学者が同僚の仕事を評価する際の基準を、報告されてきた一貫して低い信頼性水準に特に注意して再検討した。
再検討した、です。日本の大学院入試の採点表を作った、ではありません。報告されてきた一貫して低い信頼性水準に、特に注意して、です。特に注意して、という語が正確です。信頼性が無い、という断定ではありません。低い水準が、報告されてきた。その報告に注意して、基準を再検討した、という位置です。位置を、日本の研究計画書の当日点の証明にはしません [1]。
一貫して低い、です。一貫して、です。著者が置いた注意の向きです。向きがあることと、審査はでたらめだ、という口語の助言は、別です。口語の助言には、原稿と助成の違いも、分野の違いも、入っていません。入っていない助言を、この一文の言い換えとしては使いません。
科学者が同僚の仕事を評価する際の基準、です。基準、という語が残っています。基準が無い、ではありません。基準を、再検討した、です。再検討であることと、基準を捨てよ、は、違います。違う再検討を、入試の制度批判の一点にはしません。しない理由は、対象が、科学文書の査読だからです。日本の研究計画書が、この報告で測られているわけではありません。測っていない計画書を、方針の勝者にしない。
日本の点数へ換算することもしません。換算する元の一致率の点推定を、この回が新しく作ることもしません。向きだけを使います。査読の信頼性は、一貫して低い水準が報告されてきた。それ以上の合格率の話は、この入口にはありません。入口を、合否の因果の一本にしない [1]。
3. 助成申請では、支援に値しないものについての一致のほうが多い
低い信頼性、という語の隣に、著者は、一致の向きを置きます [1]。隣を隠すと、査読はいつもばらつく、という文が残ります。残しません。
助成申請の査読者は、科学的価値があるものについてよりも、支援に値しないものについてはるかに一致する。
はるかに一致する、です。主語は、支援に値しないものです。科学的価値があるものについてより、です。両方です。片方だけを採って、良い計画は分からない、という文にはしません。片方だけを採って、悪い計画だけが分かる、という文にもしません。著者が並べたのは、価値があるものについての一致より、支援に値しないものについての一致のほうが多い、という向きです。並ぶ二つを、こう書けば受理される、という短い文に潰すことはしません [1]。
助成申請、です。原稿提出ではありません。原稿の話は、次の節です。ここでは、助成、という層です。層があることと、日本の研究計画書が助成申請だ、は、別です。別である層を、入試の計画書の別名に読み替えることはしません。読み替えると、1991年の助成査読が、今夜の出願の手順に見えます。見せません。
支援に値しない、です。科学的価値がある、です。著者が選んだ対です。対があることと、日本の入試の合否がこの対であることは、別です。別である対を、合格と不合格の対応表として配ることはしません。配ると、著者が書いていない日本の判定が生まれます。生まれた判定を、根拠の顔で出すことはしません。
はるかに、です。一致の差の向きです。何パーセント、という数字ではありません。数字が無い以上、日本の審査員の一致率に合わせよ、という文は出てきません。出てこない文を、計画書の書き方の要求にはしません。要求にしない、を、一致は無関係だ、と読むこともしません。著者が置いているのは、助成申請における一致の向きです。向きを、受理されやすい書き方の正解にはしません [1]。
4. 原稿提出では、分野が散漫か焦点化されているかで、一致の向きが変わる
助成の隣に、著者は原稿提出を置きます [1]。隣を、同じ「査読」という言葉で溶かすと、助成も原稿も同じに見えます。溶かしません。
- 原稿提出の場合、これは分野（またはサブ分野）が一般的・散漫か（例: 学際物理学、医学一般、文化人類学、社会心理学）、それとも特定・焦点化されているか（例: 核物理学、医学専門領域、物理人類学、行動神経科学）に依存するようだ。
- 前者では拒否についての一致も受理についてよりはるかに多いが、後者では原稿拒否率の大きな差と査読者推薦と編集判断の高い相関の両方から、査読者と編集者は拒否より受理についてより一致する。
依存するようだ、です。ようだ、という語が正確です。常にこうだ、ではありません。分野が一般的・散漫か、特定・焦点化されているか、に依存するようだ、という位置です。位置を、日本の研究科の系統の判定にはしません。判定にすると、例示の分野が、出願先の選び方の表に見えます。見せません [1]。
例は、著者が書いた例です。一般的・散漫の側は、学際物理学、医学一般、文化人類学、社会心理学。特定・焦点化の側は、核物理学、医学専門領域、物理人類学、行動神経科学。この列挙を、日本の理系と文系に読み替える対応表は、ありません。無い表を、配ることはしません。配ると、著者が書いていない日本の区分が生まれます。生まれた区分を、根拠の顔で出すことはしません。
前者では、拒否についての一致も受理についてよりはるかに多い。後者では、査読者と編集者は拒否より受理についてより一致する。向きが、逆です。逆であることと、散漫な分野は不利だ、という本人の診断は、別です。診断にすると、分野の形が、志願者の欠点の証明に滑ります。滑らせません。著者が置いているのは、一致の向きが分野の形に依存するようだ、という観察です。観察があることと、焦点化した分野へ移れ、という口語の助言は、別です。口語の助言を、この一文の言い換えとしては使いません [1]。
後者の根拠は、二つです。原稿拒否率の大きな差。査読者推薦と編集判断の高い相関。両方から、です。両方、という語が正確です。片方だけの数字を、この回が新しく作ることはしません。高い相関、です。相関係数の値は、この回が使う範囲にはありません。無い値を、日本の審査の一致率に換算することはしません。換算しない、を、後者は一致しているから安心だ、と読むこともしません。拒否より受理についてより一致する、です。全部が一致する、ではありません。
編集判断、です。編集者、です。学術誌の原稿の層です。日本の入試委員会の層ではありません。層が違うものを、当日の合否判定の別名に溶かすことはしません。溶かさない理由は、この節が置いているのが、原稿提出における一致の向きだからです。向きを、研究計画書の正解の書き方にはしません [1]。
5. オーストラリア研究理事会の助成査読は、信頼性に欠けた
1991年の隣に、2008年の報告を置きます [2]。隣に置く、を、同じ助言だ、とは言いません。ここでも、最初に限界を言います。オーストラリア研究理事会の助成申請査読です。日本の大学院入試の審査員行動にそのまま当てはめません。
- 査読は学術界の番人だが、信頼性・妥当性・一般化可能性・潜在的バイアスに関して伝統的な心理学研究基準で批判されてきた。
- かなりの文献があるにもかかわらず、これらの基準を検討するかプロセス改善策を探る信頼できる査読研究は驚くほど少ない。
- 本論はオーストラリア研究理事会の研究プログラムを要約する——社会科学・人文科学・自然科学から数千件の助成申請を受け、世界中の査読者による査読を行う。
- 査読は信頼性に欠けた。
番人、です。最終的な裁定者、という位置が、表題の側にあります。位置があることと、日本の入試の審査員が番人だ、は、別です。別である位置を、志願者への脅しにはしません。脅しにすると、批判の文が、本人の不安の材料に見えます。見せません [2]。
伝統的な心理学研究基準で批判されてきた、です。信頼性、妥当性、一般化可能性、潜在的バイアス。四つです。四つを足したり、割ったりして、新しい数字を作ることはしません。作ると、著者が書いていない日本の審査の点数が出ます。出た点数を、計画書の目安の顔で出すことはしません。
驚くほど少ない、です。文献が無い、ではありません。かなりの文献がある。にもかかわらず、これらの基準を検討するか、過程の改善策を探る、信頼できる査読研究は、驚くほど少ない。少ない、です。無い、ではありません。無い、と、少ない、は違います。違う観察を、査読の研究は無意味だ、と読む根拠にもしません [2]。
オーストラリア研究理事会です。社会科学、人文科学、自然科学です。数千件の助成申請です。世界中の査読者です。著者が書いた範囲です。この範囲を、日本の全大学院の審査に読み替えることはしません。読み替えると、助成の査読が、入試の計画書の説明に見えます。見せません。数千、です。件の正確な数を、この回が新しく作ることはしません。無い正確な数を、日本の志願者数に換えません。
査読は信頼性に欠けた、です。欠けた、という語は、著者の語です。審査員が怠慢だ、という責めの文ではありません。責めの文にすると、実証の外側が、個人の欠点の証明に滑ります。滑らせません。著者が置いているのは、助成申請の査読が、信頼性に欠けた、という評価です。評価があることと、日本の審査員を疑え、は、別です。別である評価を、面談の攻撃材料にはしません [2]。
6. 見つかった唯一の大きな系統的バイアスは、申請者指名の査読者の評定だった
信頼性に欠けた、の隣に、著者らは、バイアスの中身を置きます [2]。隣を隠すと、バイアスはどこにでもある、という文が残ります。残しません。
- 多水準交差分類モデルで助成申請の査読と、申請者・査読者・その相互作用に伴う潜在的バイアスを批判的に評価した。
- 見つかった唯一の大きな系統的バイアスは、申請者自身が指名した査読者による、膨張した・信頼性の低い・妥当性の低い評定であった。
批判的に評価した、です。申請者、査読者、その相互作用。例として、年齢、性別、大学、学術上の地位、研究チームの構成、国籍、経験が並びます。並んでいることと、列挙の全部が大きなバイアスとして検出されたことは、別です。別である列挙を、日本の審査員の属性チェックリストとして配ることはしません。配ると、著者が書いていない日本の排除の規則が生まれます。生まれた規則を、根拠の顔で出すことはしません [2]。
唯一の大きな系統的バイアス、です。唯一の、です。大きな、です。系統的、です。三つが付いています。小さな差が無かった、という書き方ではありません。見つかった唯一の大きな系統的バイアスは、申請者自身が指名した査読者の評定であった。唯一、という語が残っている以上、年齢も性別も大学も、同じ強さのバイアスだ、という文にはなりません。ならないことと、属性は無関係だ、と読むこともしません。著者が書いたのは、評価した潜在的バイアスのうち、唯一の大きな系統的バイアスが、申請者指名の査読者であった、という範囲です。範囲を、属性の無視の命令にはしません。
申請者自身が指名した査読者、です。膨張した、信頼性の低い、妥当性の低い評定。三つです。三つを、審査員が悪い、という個人攻撃に翻訳することはしません。翻訳すると、過程の観察が、人の攻撃に見えます。見せません。著者が置いているのは、指名された査読者の評定が、膨張し、信頼性も妥当性も低かった、という観察です。観察があることと、指名するな、という口語の助言は、別です。口語の助言には、オーストラリア研究理事会の過程も、日本の入試の形式も、入っていません。入っていない助言を、この一文の言い換えとしては使いません [2]。
日本の大学院入試に、希望する指導教員の名前が載ることがあります。載ることと、申請者指名の査読者が同じ役割であることは、別です。別である役割を、指導教員の希望欄の禁止に読み替えることはしません。読み替えない理由は、この節が置いているのが、助成申請の査読における指名の評定だからです。評定の話を、入試前のコンタクトの手順に溶かさない。指導教員との関係そのものの話は、すでに別稿があります。この回では再説明しません。
7. reader system は伝統的査読より実質的に信頼性が高かった。審査員への個人攻撃ではない
バイアスの観察のあと、著者らは、過程の改善策を置きます [2]。改善策を、日本の入試の改革案に翻訳することはしません。ここでも、主語を外しません。
著者らは新しい方式、reader system を提案し、心理学・教育学の助成申請で評価したところ、伝統的な査読より実質的に信頼性が高く、戦略的にも有利であった。
reader system、です。著者が選んだ名前です。日本の入試の採点方式の名前ではありません。名前があることと、日本の研究計画書がこの方式で読まれていることは、別です。別である名前を、当日の審査の内側の説明に読み替える対応表は、ありません。対応表が無い以上、名前は名前のまま使います [2]。
心理学と教育学の助成申請で評価した、です。評価した対象は、その二つの領域の助成申請です。全分野ではない。日本の全研究科でもない。対象があることと、文系なら同じだ、は、別です。同じだ、という対応表は、この回が使う範囲にはありません。無い表を、出願先の系統の規則として配ることはしません。
実質的に信頼性が高く、戦略的にも有利であった、です。両方です。高い、の比較対象は、伝統的な査読です。日本の入試の旧方式ではありません。有利、という語は、著者の語です。志願者が得をする、という意味に翻訳することはしません。翻訳すると、過程の改善が、受験技術に見えます。見せません。著者が置いているのは、助成申請の査読過程としての有利です。過程の話を、今夜の計画書の得点差に換算しない [2]。
提案し、評価した、です。日本の大学院が採用した、という書き方ではありません。採用していない方式を、入試委員会への要求にはしません。要求にしない、を、改善は無意味だ、と読むこともしません。著者が書いたのは、新しい方式を提案し、心理学と教育学の助成申請で評価した、という範囲です。範囲を、審査員への個人攻撃の材料にもしません。信頼性に欠けた、と、個人が悪い、は、層が違います。層が違うものを、同じ「査読」という言葉で結ぶと、過程の話が人の話に見えます。見せません [2]。
8. 二つの研究を並べる。日本の研究計画書の正解の書き方にはしない
ここまでを一度だけ表にします。新しい数値は足しません。
| 側 | 著者が述べていること |
|---|---|
| 1991年の対象 | 原稿と助成申請の査読信頼性。学際横断の総合論。日本の研究計画書そのものではない [1] |
| 1991年の助成 | 支援に値しないものについて、科学的価値があるものについてよりはるかに一致する [1] |
| 1991年の原稿・散漫 | 一般的・散漫な分野では、拒否についての一致が受理についてよりはるかに多い [1] |
| 1991年の原稿・焦点化 | 特定・焦点化されている分野では、拒否より受理についてより一致する [1] |
| 2008年の対象 | オーストラリア研究理事会の助成申請。世界中の査読者。日本の審査員行動そのものではない [2] |
| 2008年の結果 | 査読は信頼性に欠けた。唯一の大きな系統的バイアスは、申請者指名の査読者の膨張した評定 [2] |
| 2008年の提案 | reader system は、心理学・教育学の助成申請で、伝統的査読より実質的に信頼性が高く戦略的にも有利 [2] |
| 日本の研究計画書の当日 | この二つの報告からは決まらない。受理されやすい書き方も、審査員への個人攻撃も、出てこない |
表の読み方は、上下の勝敗ではありません。上段の1991年は、一致の向きが、助成と原稿で違い、原稿では分野の形で違う、という観察です。中段の2008年は、助成査読の信頼性と、申請者指名の評定と、新しい方式の評価です。下段の日本の研究計画書の当日は、どちらの報告にも無い層です。無い層を、表の空欄のまま置きます。
拒否についての一致と、信頼性に欠けた、を平均した新しい方針は、作りません。測っている層が違います。一方は、学際横断の総合論における一致の向きです。他方は、オーストラリア研究理事会の助成査読の実証です。近い「査読」を、同じ量の反復としては読めません [1] [2]。
出願での見え方に一度だけ引き直します。新しい数値は足しません。研究計画書の前で、こう書けば通るかが止まる。1991年の報告は、助成では支援に値しないものについての一致のほうが多い、と書き、原稿では分野の形で一致の向きが変わる、とも書いています [1]。2008年の報告は、査読は信頼性に欠けた、と書き、唯一の大きな系統的バイアスは申請者指名の査読者の評定であった、とも書いています [2]。引き直した結果として出てくるのは、当日の書き方の命令ではありません。査読の一致と、ばらつきを、日本の研究計画書の手順に溶かさない、という確認の形です。
出願書類が何を予測するか、という話は、すでに別稿があります。この回の二つの報告は、その話ではありません。読む側の一致と、ばらつきです。別稿の層を、ここに厚くやり直すことはしません。研究計画書の審査が一致しなかった、という既存の話も、やり直しません。睡眠や運動を、読み方の代わりに置くこともしません。短い研究紹介の作法も、軸にしません。置く軸は、読む側の観察があることと、入試の手順にはしないことです [1] [2]。
9. 【反証】この回が言えないこと
第一に、一次証拠は二篇です。Cicchetti の1991年と、Marsh、Jayasinghe、Bond の2008年です [1] [2]。日本の大学院入試の研究計画書そのものを測った研究ではありません。合否も、科目の得点差も、この二つの報告は述べていません。
第二に、1991年は学際横断の査読信頼性の総合論です。日本の研究計画書の正解の書き方の根拠にはできません。一貫して低い信頼性水準に特に注意して再検討した、は、審査はでたらめだ、という意味ではありません。科学文書の査読です。入試の採点表ではありません [1]。
第三に、助成申請の査読者は支援に値しないものについてはるかに一致する、を、こう書けば受理される、という断定的助言にはできません。主語は、支援に値しないものです。科学的価値があるものについてより、です。はるかに、です。何パーセント、ではありません。受理されやすい書き方、とも断定しません [1]。
第四に、原稿提出における一致の向きは、分野が一般的・散漫か、特定・焦点化されているかに依存するようだ、です。ようだ、です。常に、ではありません。例示の分野を、日本の理系文系に換算する対応表は、ありません。散漫な分野は不利だ、という本人の診断でもありません [1]。
第五に、焦点化された分野で拒否より受理についてより一致する、の根拠は、原稿拒否率の大きな差と、査読者推薦と編集判断の高い相関の両方です。両方、です。相関係数の値は、この回が使う範囲にはありません。編集判断を、日本の入試委員会の判定の別名にすることはできません [1]。
第六に、2008年はオーストラリア研究理事会の助成申請査読です。日本の大学院入試の審査員行動にそのまま当てはめることはできません。数千件、世界中の査読者、社会科学・人文科学・自然科学、です。日本の全研究科の調査ではありません。査読は信頼性に欠けた、を、審査員への個人攻撃にはできません [2]。
第七に、見つかった唯一の大きな系統的バイアスは、申請者自身が指名した査読者の、膨張した・信頼性の低い・妥当性の低い評定です。唯一の大きな系統的バイアス、です。年齢、性別、大学、学術上の地位、研究チームの構成、国籍、経験を、同じ強さのバイアスとして並べた文ではありません。指名するな、という口語の助言でもありません。指導教員の希望欄の禁止でもありません [2]。
第八に、reader system は、心理学・教育学の助成申請で評価され、伝統的査読より実質的に信頼性が高く戦略的にも有利であった、です。日本の入試の採点方式ではありません。全分野の結果でもありません。戦略的に有利、を、受験技術の得点差に換算する対応表は、ありません [2]。
第九に、出願書類の予測妥当性の話と、研究計画書の審査が一致しなかったという既存の話は、この回では再説明していません。すでに書いた話だからです。必要でも、参照に留めます。睡眠、運動、食事、教室環境を、この回の軸にもしていません。短い研究紹介の作法も、研究計画書の書き方も、扱いません。
第十に、この回は、志願者の計画書が薄いことを間違っていると決めつけていません。準備が足りない、という責めの文にもしていません。審査員が悪い、という個人攻撃にもしていません。著者らが述べたのは、学際横断の査読信頼性の総合論と、オーストラリア研究理事会の助成申請査読です。研究があることと、受験生を責めることは、別です [1] [2]。
10. 実務——出願と面談で使える3つの確認
- 拒否についての一致が多い、を、受理されやすい書き方の正解に読み替えていませんか。Cicchetti によれば、助成申請の査読者は、科学的価値があるものについてよりも、支援に値しないものについてはるかに一致します。原稿提出では、一般的・散漫な分野で拒否についての一致が受理についてよりはるかに多く、特定・焦点化された分野では拒否より受理についてより一致します。依存するようだ、です。はるかに、です。ようだ、です。こう書けば受理される、ではありません [1]。読み替えを隠して、命令だけを残していないか。面談の前に、断定に上げていないか、を一度だけ言い直す、という確認です。
- 申請者指名の査読者の膨張した評定を、審査員への個人攻撃に読み替えていませんか。指名するな、という口語の助言にしていませんか。Marsh、Jayasinghe、Bond によれば、査読は信頼性に欠けました。見つかった唯一の大きな系統的バイアスは、申請者自身が指名した査読者による、膨張した・信頼性の低い・妥当性の低い評定でした。唯一の大きな系統的バイアス、です。審査員が怠慢だ、ではありません。指導教員の希望欄の禁止でもありません [2]。過程の観察を、人の攻撃に溶かさない。層を混ぜない、という確認です。
- 学際横断の査読と、オーストラリアの助成査読を、日本の研究計画書の手順や点数に換算していませんか。reader system を、当日の審査方式の名前に読み替えていませんか。1991年は、科学文書の査読信頼性の再検討です。2008年は、オーストラリア研究理事会の研究プログラムの要約です。社会科学・人文科学・自然科学から数千件、世界中の査読者です。reader system の評価は、心理学・教育学の助成申請です [1] [2]。換算表は、この報告からは出てきません。出ない、を、確認の答えにします。出願書類の予測妥当性は、別稿です。この回の層は、読む側の一致と、ばらつきです。
それでも塾に通いたい方へ
当塾は講師1名に生徒1名の完全個別指導で、武蔵境駅から徒歩30秒です。事前診断テストと入塾前カウンセリングは無料で、割引制度は設けていません。拒否側の一致を受理の書き方の正解に読み替えていないか、申請者指名の評定の膨張を審査員への個人攻撃に読み替えていないか、海外の助成査読を日本の研究計画書の手順に換算していないかを整理することは、カウンセリングの場でご一緒にできます。入塾されるかどうかとは切り離してお受けしています。
まとめ
- Cicchetti は、原稿と助成申請の査読の信頼性を、学際横断の調査として再検討した。科学文書の査読である。報告されてきた一貫して低い信頼性水準に特に注意した。日本の大学院入試の研究計画書そのものではない [1]。
- 助成申請の査読者は、科学的価値があるものについてよりも、支援に値しないものについてはるかに一致する。こう書けば受理される、という断定的助言にはしない [1]。
- 原稿提出では、分野が一般的・散漫か、特定・焦点化されているかに依存するようだ。前者では拒否についての一致が受理についてよりはるかに多い。後者では拒否より受理についてより一致する。例示の分野を、日本の理系文系には換算しない [1]。
- Marsh、Jayasinghe、Bond は、オーストラリア研究理事会の助成申請査読を、信頼性・妥当性・一般化可能性・潜在的バイアスの側から置いた。数千件、世界中の査読者。日本の審査員行動へはそのまま当てはめない [2]。
- 査読は信頼性に欠けた。見つかった唯一の大きな系統的バイアスは、申請者自身が指名した査読者の、膨張した・信頼性の低い・妥当性の低い評定であった。審査員への個人攻撃にはしない。reader system は、心理学・教育学の助成申請で、伝統的査読より実質的に信頼性が高く戦略的にも有利であった。当日の審査方式の名前ではない [2]。
- 二つの研究を並べると、読む側の一致とばらつきには観察がある。日本の研究計画書への読み替えも、当日の書き方の手順も、この研究からは出てこない。出願書類の予測妥当性は再説明しない。志願者の計画書を薄いと決めつけない。受験生を責めない。審査員を個人攻撃しない。
出典
本文中の番号に対応します。書誌を確認し、抄録に直接あたったものだけを挙げています。結論に反する記述も、同じ基準で載せています。
- 【学際横断の査読信頼性】Cicchetti, Domenic V. (1991). The reliability of peer review for manuscript and grant submissions: A cross-disciplinary investigation. Behavioral and Brain Sciences, 14(1), 119–135. DOI: 10.1017/s0140525x00065675
- 【オーストラリア研究理事会・助成申請査読】Marsh, Herbert W.; Jayasinghe, Upali W.; Bond, Nigel W. (2008). Improving the peer-review process for grant applications: Reliability, validity, bias, and generalizability. American Psychologist, 63(3), 160–168. DOI: 10.1037/0003-066X.63.3.160
