武蔵野個別指導塾の特徴

武蔵野個別指導塾のこだわり

研究計画書は何で評価されるか——同じ申請書を43人が読んでも、評価は一致しなかった

研究計画書は、何で評価されるのか

大学院入試の研究計画書は、「専門家が、まだ行われていない研究の文書を読み、点をつける」審査です。この構造は、研究者が研究費を申請するときの審査とまったく同じです。

そして研究費の審査については、数十年分の実証研究があります。同じ申請書を別の審査員に読ませたら評価は一致するのか。審査で高い点を取った研究は、本当に良い成果を出したのか。審査員は、申請書のどの部分を重く見ているのか。

この記事では、研究提案の審査研究（grant peer review）から、研究計画書を書く人が知っておくべきことを取り出します。

一言でいうと（この記事の結論）
研究計画書の総合評価を最も強く左右するのは、「何を明らかにしたいか」より「どうやって明らかにするか」——つまり方法の部分です [1]。
ただし——同じ申請書を複数の審査員が読んでも、評価はほとんど一致しませんでした [2]。
——だから計画書は「誰が読んでも同じ弱点を指摘されない」形に仕上げることが、最も確実な対策になります。

結論を先に7点書きます。

  1. 12万3,700件超の研究費申請の分析で、総合点と採択を主に予測したのは「方法（Approach）」の評価で、次が「意義（Significance）」でした [1]。
  2. 13万件超の採択課題の追跡では、審査の点が1標準偏差悪いと、被引用数が15%、論文数が7%少なかった [3]。審査には一定の予測力があります。
  3. 反証。43人の審査員が同じ25件の申請書を評価した実験では、質についての一致がまったく見られませんでした [2]。
  4. 反証。上位の申請どうしを比べると、審査の点は将来の生産性をほとんど区別できませんでした [4]。
  5. 反証。審査員は、自分の専門に近い提案と、新規性の高い提案に、系統的に低い点をつけました [12]。
  6. 評価が割れやすいのは、弱点を含む提案でした [13]。
  7. 書き手の側では、問題を「解決の手がかり」として扱った大学院生ほど、計画書の作成に成功していました [14]。
マインドマップ図解：研究計画書は何で評価されるか——同じ申請書を43人が読んでも、評価は一致しなかった
図：この記事の構造（Mapifyで作成したマインドマップ）

1. なぜ研究費審査の研究を使うのか

ここで引く研究のほとんどは、米国国立衛生研究所（NIH）や豪州の研究会議などが、プロの研究者の研究費申請を審査した記録です。大学院入試の研究計画書とは、書き手の経験も、審査の目的も違います。

それでも使う理由は、両者に次の3つの共通点があるからです。

共通点 研究費審査 大学院入試の研究計画書
未来の研究を評価する まだ行われていない研究の文書を読む 入学後に行う研究の構想を読む
専門家の主観的判断 同分野の研究者が点をつける 教員が読み、面接で確かめる
少数の読み手で決まる 1件を数人で審査 1件を数人の教員で審査

「研究費審査でこうだった」を「院試でも必ずこうなる」とは読み替えません。取り出すのは、専門家が研究の構想を読むときの、構造から来る傾向です。

2. 審査員は、計画書のどこを重く見ているか

NIH の研究費審査では、審査員が5つの基準——意義、研究者、革新性、方法、研究環境——に点をつけたうえで、別に総合点（Overall Impact）をつけます。

2010〜2013年度の12万3,700件を超える申請を分析した研究は、5つの基準のうち、総合点と採択の可能性を主に予測していたのは「方法（Approach）」で、それより弱く「意義（Significance）」が続いたと報告しています [1]。

若手研究者向けの別の研究費（NCI の K99/R00）でも、同じ傾向が出ています。すべての基準の点が総合点と正の相関を示したものの、「研究計画（Research Plan）」の基準が、総合点と採択の最も強い予測因子でした [5]。

医療倫理の論考も、審査員は「意義」より方法を重く見てきたとまとめています [6]。

一言でいうと（書き手への示唆）
「この研究は社会的に重要です」を何段落も書いても、総合評価はあまり動きません。
——評価を動かすのは、「どのデータを、どう集め、どう分析し、何が分かれば問いに答えたことになるのか」の部分です。
意義の説明に紙幅を使いすぎ、方法が数行しかない計画書は、この研究の知見に照らすと配分を誤っています。

なお、著者ら [6] はこの傾向を「望ましい状態」とは見ていません。社会的価値がもっと重視されるべきだと主張しています。つまり「方法が重視される」は審査の実態であって、あるべき姿の主張ではないことに注意してください。

3. 審査の点は、将来の成果を当てているか——当てるという証拠

もし審査の点がでたらめなら、「審査員が何を重視するか」を知っても意味がありません。そこで、点が将来の成果を予測するかを見ます。

最も規模の大きい研究は、1980〜2008年に採択された13万件を超える NIH の研究課題（R01）を、その後の論文・被引用・特許まで追跡しました [3]。

審査の点が1標準偏差悪い課題では 差
被引用数 15% 少ない
論文数 7% 少ない
影響力の大きい論文の数 19% 少ない
その後の特許 14% 少ない

しかも、この関係は研究者の過去の業績・研究費の履歴・所属機関・キャリア段階・学位の種類を統制しても残りました [3]。審査は、研究者の肩書きだけでは説明できない何かを捉えていたことになります。

一言でいうと（ここまでの支持的な証拠）
専門家が研究の構想を読んで下す判断には、平均すると、将来の成果を当てる力があります。
——そして、その判断の中心にあるのが方法の評価です [1]。だから計画書の方法を磨くことには、合否以上の意味があります。

4. 【反証】読み手が変われば、評価が変わる

ここからは、ここまでの話を大きく割り引く証拠です。支持する研究と同じだけの分量で書きます。

古典は1981年の実験です。米国国立科学財団（NSF）に提出された150件の申請を、新しい審査員の組で独立に評価し直したところ、採択されるかどうかは、かなりの程度「偶然」に左右されていたと結論しました [7]。どの審査員が割り当てられるかで、多くの申請の結果が変わるほど、審査員どうしの意見が割れていたのです。一方で、審査員の選び方に系統的な偏りは見つかりませんでした [7]。

2018年の実験はさらに踏み込みました。NIH の審査手順を再現し、43人の審査員に同じ25件の申請書を評価させたところ——

  • 申請の質について、文章による評価でも点数でも、審査員間の一致はまったく見られなかった
  • 同じ指示を受けていたのに、「長所と短所をいくつ見つけたら何点にするか」という換算の仕方も一致しなかった
  • 著者らの結論——「審査の結果は、申請された研究よりも、どの審査員に割り当てられたかに依存しているようだった」 [2]

オーストラリアの医学研究費の実データでも同じです。審査員の点のばらつきを考慮に入れて再計算すると、採択された620件のうち59%は、場合によっては不採択になり得ました。常に採択されるのは9%、決して採択されないのは61%、どちらにもなり得るのが29%でした [8]。

学術誌の論文審査でも、48研究・1万9,443本の原稿を統合したメタ分析が、審査員間の一致度を平均 ICC/r² = .34、カッパ係数 = .17 と低いと報告しています [9]。

豪州研究会議の数千件の申請を多層モデルで分析した研究も、審査には信頼性が欠けていたと結論しています。唯一の大きな系統的偏りは、申請者自身が推薦した審査員の点が、甘く、不安定で、妥当でなかったことでした [10]。

一言でいうと（受験生にとっての意味）
「良い計画書を書けば、必ず高く評価される」は、この証拠の下では言えません。
——言えるのは、「平均すれば良い計画書は有利だが、1件ごとの結果には読み手の偶然が大きく入る」までです。
だから、1つの大学院・1人の教員の反応で、自分の構想の価値を最終判断しないでください。

5. 【反証】上位どうしは区別できず、新しすぎる提案は損をする

3節の「点は成果を予測する」という結果にも、強い反論があります。

同じ NIH のデータを、パーセンタイル順位20以内（上位の採択課題）の10万2,740件に絞って再分析した研究は、この範囲では審査の点が生産性をほとんど識別できなかったと報告しました [4]。

別の研究は、そもそも「採択課題の点と被引用数の相関」という分析自体が、予測妥当性の検証として成り立たないと指摘しています [11]。理由は3つです。

  1. 採択された申請の点の範囲が大きく狭められている（範囲の制限）
  2. 少し悪い点で採択された申請は、無作為に選ばれたものではない
  3. 採択後に、審査で指摘された問題に対応して計画が修正されている [11]

そして書き手にとって最も重要なのが、新規性をめぐる研究です。ある研究大学で、審査員と提案の組み合わせを無作為に割り当て、2,130組の評価を得た実験では、審査員は、自分の専門に近い提案と、新規性の高い提案に、系統的に低い点をつけていました [12]。著者らは、これを新しいアイデアを評価するときの限定合理的な偏りと解釈しています。

一言でいうと（「独創的に書け」への反証）
「誰もやっていない研究を提案すれば目立つ」という助言は、少なくともこの実験では逆でした。
——新規性の高い提案ほど点が下がり、専門の近い審査員ほど厳しかったのです [12]。
新しさを出すなら、既存研究のどこから一歩出るのかを明示し、読み手が「見知らぬもの」と感じる距離を縮める書き方が必要です。

6. 評価が割れるのは、弱点のある計画書

「審査は一致しない」という4節の結果には、条件がつきます。

経験のある審査員605人を対象にした2024年の実験では、審査員間の評価も、2週間をあけた同じ審査員の評価も、おおむね一貫していました。ただし、弱点を含む提案の判定では一貫性が低かった [13]。

この結果は4節と矛盾するというより、ぶれがどこで生じるかを示しています。

一言でいうと（実務に最も直結する知見）
弱点のある計画書は、「甘い読み手に当たれば通り、厳しい読み手に当たれば落ちる」状態にあります。
——逆に言えば、弱点を減らすことは、平均点を上げるだけでなく、読み手による結果のぶれそのものを小さくします。
計画書の完成度を上げる最大の理由は、ここにあります。

7. 書き手の側の研究——計画書が書ける大学院生は何をしているか

審査の研究とは別に、計画書を書く側を調べた研究もあります。

大学院の実習科目で研究計画書を最終課題として書いた学生たちの、作業記録・面接・草稿を分析した研究は、成功した書き手と、そうでない書き手の自己調整の違いを記述しました [14]。

成功した書き手 成功しなかった書き手
問題の捉え方 解決の可能性として捉えた 問題を避けた、または行き止まりと捉えた
問題の使い方 問題から目標を立てた —
問題への反応 「前進している」という物語を作った —
終了時 研究計画書の書き方について確かな知識を得ていた —

化学系大学院の研究計画書に特化した授業の報告では、小グループの相互査読を定期的に行う構成が有益だったとしています [15]。ただし実践報告で、対照群はありません。

一言でいうと
計画書の質は、書き始める前の才能より、書いている途中で「問題」をどう扱うかで分かれていました [14]。
——指摘された弱点を「ダメ出し」ではなく「次の目標」に変換できる人ほど、計画書を仕上げられます。

8. 実務——研究計画書を「読み手でぶれない」形にする手順

ここまでの研究を、出願の3か月前から使える手順に落とします。

  1. 紙幅の配分を先に決める（1日目）。総合評価を動かすのは方法です [1] [5]。「背景・意義」と「方法・分析・予想される結果」の分量が、少なくとも同程度になるよう見出しごとの字数を割り振ります。
  2. 方法の節に、4つの問いへの答えを必ず書く（1〜2週目）。①何のデータか ②どう集めるか ③どう分析するか ④どんな結果なら問いに答えたことになるか。1つでも空欄なら、そこが審査員の見つける弱点です。
  3. 新規性は「既存研究からの距離」で書く（2〜3週目）。新しすぎる提案は低く評価されがちでした [12]。先行研究を2〜3本挙げ、「そこで分かっていること」「残っている問い」「本研究が足す一歩」の3文で位置づけます。
  4. 読み手を3人にする（4〜8週目）。1人の評価は偶然に左右されます [2] [7]。専門の近い人・遠い人・研究者でない人の3人に読んでもらい、2人以上が同じ箇所を指摘したら、それは読み手の癖ではなく弱点として直します。
  5. 指摘は「目標」の形に書き換える（毎回）。成功した書き手は、問題を目標に変えていました [14]。「方法が曖昧」と言われたら「分析手順を3段階で書く」と書き換えてから直します。
  6. 弱点ゼロを最終目標にする（9〜12週目）。評価がぶれるのは弱点のある提案です [13]。最後の1か月は新しい内容を足さず、弱点を消す作業だけに使います。

この記事で言えないこと

  • 日本の大学院入試で、研究計画書がどの程度合否に効いているかは、この記事の証拠からは言えません。研究計画書の配点や扱いは、研究科・専攻ごとに異なります。
  • 引いた研究の多くは米国・豪州の、主に医学・生命科学の研究費審査です。人文・社会科学の審査に同じ傾向があるかは、分野によって異なる可能性があります。
  • 「方法が総合点を予測する」は相関です [1]。方法の節を長くすれば点が上がる、という因果を示したものではありません。
  • 審査の予測力をめぐる研究 [3] [4] [11] は、互いに結論が対立しており、決着していません。
  • 書き手の研究 [14] [15] は記述研究・実践報告で、因果の証拠としては弱いものです。

当塾の立場

まず、塾に来なくてもできることを書きます。この記事の手順の大半は、ご自身とまわりの協力で実行できます。

  • 方法の「4つの問い」と、先行研究からの距離の3文を、自分で書く
  • 専門の近い人・遠い人・研究者でない人の3人に読んでもらう——ゼミの先輩、同僚、ご家族で構いません
  • 指摘を目標の形に書き換えてから直す
  • 最後の1か月は、弱点を消すことだけに使う

それでも個別指導を使う理由を、この記事の研究に即して3つ挙げます。

  1. 「読み手を増やす」を、確実に確保できること。1人の読み手の評価は偶然に左右されます [2]。身近に、研究計画書を審査の目で読める人がいない方にとって、読み手を1人増やすこと自体に価値があります。
  2. 弱点の指摘を、次の作業目標に変換するところまで付き添えること。書き手の成否を分けたのは、問題の扱い方でした [14]。添削で赤を入れるだけでなく、「次の1週間で何を直すか」まで一緒に決めます。
  3. 「褒めるだけの味方」にならないこと。申請者が選んだ審査員の評価は甘く不安定でした [10]。当塾は、方法の空欄や先行研究との距離の説明不足を、遠慮せずに指摘する役を引き受けます。

研究計画書の指導を受ける先を選ぶときは、次のように聞いてみてください。

  • 計画書のうち、どの部分に一番時間をかけて見ますか
  • 「新規性を出せ」と言うとき、それが減点される可能性をどう扱いますか
  • 指導者1人の意見に偏らないために、何をしていますか

まとめ

  1. 12万3,700件超の申請で、総合点と採択を主に予測したのは方法の評価でした [1]。若手向け研究費でも研究計画の基準が最強の予測因子でした [5]。
  2. 13万件超の採択課題で、点が1標準偏差悪いと被引用数は15%少なかった [3]。
  3. 反証。43人が同じ25件を読んでも、評価は一致しませんでした [2]。
  4. 反証。上位の採択課題どうしでは、点は生産性を識別できませんでした [4]。
  5. 反証。新規性の高い提案と、審査員の専門に近い提案は、低く評価されました [12]。
  6. 評価がぶれやすいのは、弱点を含む提案でした [13]。
  7. そして——研究計画書の対策とは、「良く見せる」ことではなく、「誰が読んでも同じ弱点を見つけられない」状態まで直すことです。

出典

本文中の番号に対応します。抄録に直接あたって確認したものだけを挙げています。結論に反する研究も、同じ基準で載せています。

  1. 【基準点と総合点・12万3,700件】Eblen, M. K. et al. (2016). How Criterion Scores Predict the Overall Impact Score and Funding Outcomes for National Institutes of Health Peer-Reviewed Applications. PLOS ONE. DOI: 10.1371/journal.pone.0155060
  2. 【反証・43人の審査員の不一致】Pier, E. L. et al. (2018). Low agreement among reviewers evaluating the same NIH grant applications. Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1714379115
  3. 【審査点の予測力・13万件】Li, D. & Agha, L. (2015). Big names or big ideas: Do peer-review panels select the best science proposals? Science. DOI: 10.1126/science.aaa0185
  4. 【反証・上位課題では識別できない】Fang, F. C., Bowen, A. & Casadevall, A. (2016). NIH peer review percentile scores are poorly predictive of grant productivity. eLife. DOI: 10.7554/eLife.13323
  5. 【若手研究費・研究計画が最強の予測因子】Schmidt, M. et al. (2024). Evaluation of the National Cancer Institute (NCI) Pathway to Independence Award (K99/R00) Program. Journal of Cancer Education. DOI: 10.1007/s13187-024-02420-1
  6. 【方法偏重への批判的論考】Saylor, K. W. & Joffe, S. (2023). Enhancing social value considerations in prioritising publicly funded biomedical research: the vital role of peer review. Journal of Medical Ethics. DOI: 10.1136/jme-2022-108883
  7. 【反証・採否は偶然に左右される】Cole, S., Cole, J. R. & Simon, G. A. (1981). Chance and Consensus in Peer Review. Science. DOI: 10.1126/science.7302566
  8. 【反証・採択の59%は入れ替わり得る】Graves, N., Barnett, A. G. & Clarke, P. (2011). Funding grant proposals for scientific research: retrospective analysis of scores by members of grant review panel. BMJ. DOI: 10.1136/bmj.d4797
  9. 【反証・審査員間信頼性のメタ分析】Bornmann, L., Mutz, R. & Daniel, H.-D. (2010). A Reliability-Generalization Study of Journal Peer Reviews: A Multilevel Meta-Analysis of Inter-Rater Reliability and Its Determinants. PLoS ONE. DOI: 10.1371/journal.pone.0014331
  10. 【反証・信頼性の欠如と申請者推薦の審査員】Marsh, H. W., Jayasinghe, U. W. & Bond, N. W. (2008). Improving the peer-review process for grant applications: Reliability, validity, bias, and generalizability. American Psychologist. DOI: 10.1037/0003-066X.63.3.160
  11. 【反証・予測妥当性検証の方法論的限界】Lindner, M. D. & Nakamura, R. K. (2015). Examining the Predictive Validity of NIH Peer Review Scores. PLOS ONE. DOI: 10.1371/journal.pone.0126938
  12. 【反証・新規性と専門の近さへの減点】Boudreau, K. J. et al. (2016). Looking Across and Looking Beyond the Knowledge Frontier: Intellectual Distance, Novelty, and Resource Allocation in Science. Management Science. DOI: 10.1287/mnsc.2015.2285
  13. 【弱点のある提案で評価がぶれる・605人】Schmaling, K. B. & Gallo, S. A. (2024). An experimental study of simulated grant peer review: Gender differences and psychometric characteristics of proposal scores. PLOS ONE. DOI: 10.1371/journal.pone.0315567
  14. 【計画書を書く大学院生の自己調整】Roderick, R. (2019). Self-Regulation and Rhetorical Problem Solving: How Graduate Students Adapt to an Unfamiliar Writing Project. Written Communication. DOI: 10.1177/0741088319843511
  15. 【計画書執筆の授業・実践報告】McCarthy, B. D. & Dempsey, J. L. (2017). Cultivating Advanced Technical Writing Skills through a Graduate-Level Course on Writing Research Proposals. Journal of Chemical Education. DOI: 10.1021/acs.jchemed.6b00903

関連する既存記事

大学院入試の研究（全10本）

  1. 研究計画書は何で評価されるか——同じ申請書を43人が読んでも、評価は一致しなかった（この記事）
  2. 専門科目の知識を体系化する——概念地図は効く、ただし教科書を見ながら描くと想起練習に負けた
  3. 学部成績・GRE・推薦状——8万人では大学院での成功を当て、合格者の中ではほとんど当てなかった
  4. 口頭試問と面接の妥当性——構造化は効く、ただし入試面接が学業成績を予測する力はごく小さかった
  5. 英語論文を読む力——専門語彙の寄与は学術語彙の2倍、そして「共通の学術語彙」への反証
  6. 統計が怖い——統計不安は先延ばしを通じて点を下げる、ただし不安を消す介入はまだ見つかっていない
  7. 先行研究の探し方・読み方——専門家の検索式の92.7%に誤り、要旨の結論の58.3%にスピン
  8. 研究室と指導教員の選び方——指導は研究成果に効く、ただし修了を分けたのは資金の種類だった
  9. 社会人の大学院受験——仕事は学業を邪魔もするし助けもする、分かれ目は仕事と研究の「重なり」だった
  10. 大学院生のメンタルヘルス——博士課程の24%に抑うつ症状、ただしその数字は測り方で大きく変わり得る

ほかの入試区分の研究記事

武蔵野個別指導塾の特徴の関連記事


Warning: Attempt to read property "show_author" on false in /home/c1531448/public_html/musasinokobetu.com/wp-content/themes/heal_tcd077/single.php on line 165

関連記事

PAGE TOP
お電話