再現性の危機——教育研究の再現研究は0.13%。この連載が立っている地面を点検する

再現性の危機——この連載が立っている地面を点検する

この連載は46本にわたって、研究の数字を引いてきました。

効果量0.4、メタ分析n研究、95%信頼区間。それらの数字は、信用できるのでしょうか。

2010年代以降、心理学と教育研究は「発表された研究の多くが、やり直すと再現しない」という問題に直面しました。この記事は、その問題と、この連載自身がその問題からどれだけ自由でないかを扱います。

一言でいうと(この記事の結論)
教育研究の論文のうち、再現研究は0.13%でした [1]
28の古典的知見を36か国15,305人で追試したところ、再現したのは54%。効果量の中央値は d = 0.60 から 0.15 へ落ちました [3]
そして——メタ分析の効果量は、大規模追試の効果量の約3倍でした [5]
ただし反証。高い再現失敗率は、質の高い科学とも両立します [6]

結論を先に9点書きます。

  1. 教育研究上位100誌の全歴史のうち、再現研究は0.13% [1]
  2. そして——著者が重なっていないとき、再現の成功率は有意に下がりました [1]
  3. 2011〜2020年を調べ直しても、率は「非常に低いが、緩やかに増加」 [2]
  4. Many Labs 2——54%が再現。9件(32%)は元と逆向きだった [3]
  5. 「手続きが悪かった」説の検証。専門家の事前査読を経ても、効果量は78%小さかった [4]
  6. メタ分析の効果量は、15組中12組で追試と有意に異なり、平均で約3倍。バイアス補正3手法でも改善しなかった [5]
  7. 反証。失敗率の高さは、検証前の仮説の多くが偽であれば、質の高い科学でも起こります [6]
  8. 反証。これを「危機」ではなく「信頼性革命」と読む立場があります [7]
  9. そして——事前登録は万能ではありません [8]

1. 0.13%——教育研究で再現研究はどれだけあるか

まず、事実から始めます。

2014年、『Educational Researcher』に掲載された論文(596引用)が、5年インパクトファクター上位100の教育系学術誌の全発行履歴を分析しました [1]

結果です。

  • 教育研究の論文のうち、再現研究は 0.13%
  • 医学とは異なり、心理学と同様に、再現研究の多数は元の研究を再現することに成功していた
  • ただし——元の論文と再現論文で著者の重なりがないとき、成功する確率は有意に低かった

一言でいうと(3つ目が決定的)
「多くが再現に成功していた」という数字は、安心材料になりません。
——成功した再現の多くは、元の研究者自身が行ったものだからです。
第三者が独立にやると、成功率は下がります。

著者らの結論は「教育研究が教育政策と実践を形づくる能力を高めるうえで、第三者による直接再現が重要である」というものでした [1]

数学教育の分野でも同様の数字があります。『Journal for Research in Mathematics Education』の1970年の創刊から2016年までの全論文のうち、先行研究の再現を明確に意図していたものは約3%でした [15]

2. 10年後——率は変わったか

2022年、上記のレビューを「再現」した研究が出ました。

2011年から2020年までの教育研究における再現研究の率を調べたマッピング・レビューです [2]

「我々の結果は Makel と Plucker のものと一致しており、教育における再現研究の率が非常に低いが、緩やかに増加していることを明らかにした」

そして、もう一つの指摘があります。

「実施される少数のもののうち、多くは直接再現ではなく概念的再現である」——そして「試みられた再現の多くが無効な結果を出している」 [2]

一言でいうと(2種類の再現)
直接再現は、元と同じ手続きをそのまま繰り返します。
概念的再現は、同じ考えを別の方法で確かめます。
——概念的再現が失敗しても、「方法が違ったから」と言えてしまいます。だから元の主張を否定する力が弱いのです。
教育研究に足りないのは、直接再現のほうです。

著者らは「これほど再現研究が少なく、試みられたものの多くが無効な結果を出している状況では、教育政策と実践のための証拠基盤の科学的な地位が問われる」と書いています [2]

3. 実際にやり直すと何が起きるか——Many Labs 2

心理学では、大規模な追試が組織的に行われました。

2018年に公表された Many Labs 2 は、28の古典的・現代的な知見を、36の国と地域の125の標本・15,305人で事前登録つきに追試しました。手続きは事前に専門家の査読を受けています [3]

指標 結果
p < .05 で同じ向きに有意 28件中15件(54%)
p < .0001 の厳しい基準でも有意 14件(50%)
元より効果量が大きかった 7件(25%)
元より効果量が小さかった 21件(75%)
効果量の中央値(元 → 追試) d = 0.60 → 0.15
効果量が0.20未満だった 16件(57%)
元と逆向きだった 9件(32%)

一言でいうと(「文化差」では説明できなかった)
36か国で測ったのに、再現しない理由は「国が違うから」ではありませんでした。
著者らの結論——「観察された効果量のばらつきは、研究された標本や場面よりも、研究されている効果そのものに帰属した」 [3]
——「日本では違うかもしれない」という逃げ道が、ここでは塞がれています。

教育に近い分野でも推定があります。1983年以降の技術教育の量的研究を z 曲線で分析した研究は、再現するのは推定55.7%と報告しました。同時に、p値の誤記が頻繁で、そのうち1.59%は統計的推論の判断を誤らせるものでした [11]

4. 「手続きが悪かったのでは」という反論の検証

再現しなかったとき、元の研究者はしばしばこう言います。「追試のやり方が、元の研究に忠実でなかった」。

これは正当な反論です。そして——その反論そのものを検証した研究があります。

Many Labs 5 は、元の著者がデータ収集前に追試設計へ懸念を表明していた10件を選びました。そのうち有意だったのは1件だけでした [4]

研究者たちは追試手続きを改訂し、データ収集前に正式な専門家査読を受け、複数の研究室で高い検出力の検証を行いました(1研究あたり研究室数の中央値6.5、総標本の中央値1,279.5)。

  • 改訂手続きの効果量は、元の追試手続きとほぼ同じだった(Δr = .002 または .014)
  • 効果量の中央値——改訂 r = .05、元の追試 r = .04、原論文 r = .37
  • 累積すると、効果量は元の研究より平均 78% 小さかった

一言でいうと(言い分を通したうえで、同じ結果になった)
「手続きを直せば再現する」という予測は、外れました。
——専門家が事前に査読した手続きでも、効果は元の1/5程度でした。
これは再現失敗を「追試の失敗」で説明することが、少なくともこの10件では成り立たなかったことを意味します。

5. この連載への直撃——メタ分析は3倍だった

ここが、この記事で最も不都合な部分です。

この連載は46本にわたって、メタ分析の効果量を根拠にしてきました。「35研究のメタ分析で d = 0.50」というような書き方を、何度もしています。

2019年、『Nature Human Behaviour』に掲載された論文(212引用)が、メタ分析と、事前登録つき多施設追試とを直接比較しました [5]

多施設追試は出版バイアスも選択的報告も受けていない、精度の高い効果量を与えます。同じ主題を扱ったメタ分析を文献から探し、15組を得ました。

  • 15組のうち12組で、メタ分析の効果量は追試の効果量と有意に異なっていた
  • 差は系統的で、メタ分析の効果量は平均して追試の約3倍だった
  • バイアス補正3手法を適用しても、結果は実質的に改善しなかった

一言でいうと(補正しても直らない、が重い)
この連載は「出版バイアスを補正すると効果は小さくなる」と何度も書いてきました。
——その補正自体が、十分でない可能性があるという指摘です [5]
だから、この連載が引用した効果量は、全体として過大である可能性があります。

関連する数字もあります。事前登録のない公刊研究から無作為抽出した900の効果と、事前登録つき公刊研究の93の効果を比較した研究では——前者の中央値 r = 0.36、後者の中央値 r = 0.16 [9]

この論文の著者は、「出版バイアスや疑わしい研究実践といった偏りが、公刊された効果の劇的な水増しを引き起こした」と結論しています。そして——コーエンの効果量の目安(小=0.2、中=0.5、大=0.8)が、もはやそのままでは使えないとも書いています [9]

6. なぜ起きるのか——「分岐する庭」

原因は、不正ではありません。

2022年、教育研究における再現性を論じた論文は、統計的な仕組みから説明しています [10]

「帰無仮説有意性検定の論理を理解している者にとって、いわゆる『再現性の危機』は大きな驚きではなかっただろう」

理由——複数の比較を行えば、第1種の過誤(偽陽性)の確率は上がる。これは1935年から統計学者が繰り返し指摘してきたことです。にもかかわらず「主要な心理学・教育学の学術誌の研究は、数十から数百の平均・相関の比較を提示し、そのうち p が .05 未満のものを『有意』と主張する」 [10]

さらに、不正でなくても起こる仕組みがあります。

一言でいうと(「分岐する庭」)
データを見たあとで分析方針を決めると、それだけで偽陽性が増えます。
外れ値をどう扱うか、どの変数で統制するか、どの群を比べるか——一つひとつは無害に見える判断が、何十通りもの結果を生みます。
——「意図的に操作した」のではなく、「たまたま良い結果になる道を選んだ」だけで、こうなります。

実例も挙げられています。コンピュータ活用能力の性差を扱った研究の再現では——異なる、しかしどれも妥当な分析上の選択が、まったく異なる結論に導いた [10]

関連する用語を整理しておきます [16]

用語 中身
p ハッキング 有意になるまで分析を変える/標本を足す
HARKing 結果を見たあとで仮説を立て、最初からそう考えていたと書く
チェリー・ピッキング 都合の良い結果だけを報告する
出版バイアス 有意でない結果が公表されにくい

医学教育研究に限っても、再現性を危うくする6つの要因が整理されています [20]——小さい標本、小さい効果量、探索的な設計、設計・分析・アウトカム選択の柔軟性、利益相反、そして競合する研究チームが多い活発な分野であること

7. 反証1——高い失敗率は、質の高い科学とも両立する

ここまでの話には、有力な別解釈があります。

2020年、『The British Journal for the Philosophy of Science』に掲載された論文(68引用)は、再現性の危機を「基準率の誤り」として理解することを提案しました [6]

通説では、犯人は質の低い科学とされます——疑わしい研究実践、負の結果の未公表、悪い誘因、そして不正。

この論文の主張は違います。

「私は、高い再現失敗率が質の高い科学とも整合すると論じる。問題の科学分野が、検証前の段階で偽の仮説を高い割合で産出しているなら、この結果が予測される」

一言でいうと(数字で考えると分かります)
検証する仮説の9割が偽だとします。第1種の過誤率5%なら、偽の仮説900件のうち45件が「有意」になります。
真の仮説100件のうち、検出力80%なら80件が有意。有意になった125件のうち、45件(36%)は偽です。
——研究者が一切の不正をしなくても、こうなります。
「再現しない研究が多い」ことは、「研究者が悪い」ことを意味しません。

著者は「これが再現性危機のもっともらしい診断であり、そこから今後の科学の遂行について何を学べるかを検討する」としています [6]

この反証が意味すること

もし基準率が低い分野なら、必要なのは「研究者を責めること」ではなく「良い仮説を立てること」です。

そして教育研究は、基準率が低くなりやすい条件を備えています——介入の効果は多くの要因に左右され、理論からの予測が弱く、探索的な研究が多い。

8. 反証2——「危機」ではなく「信頼性革命」

もう一つの反論は、時間軸の取り方です。

2023年、『Communications Psychology』に掲載された論文(118引用)は、この10年を「信頼性革命(credibility revolution)」として読み直すことを提案しています [7]

「我々はこの『危機』を信頼性革命というレンズを通して捉え直し、構造的・手続き的・コミュニティ主導の肯定的な変化に焦点を当てる」

そして「信頼性革命は、いくつかの実質的な変化への推進力となってきた。それらは我々の研究環境に、長期的で肯定的な影響を与えるだろう」と結論しています [7]

一言でいうと(発見されたこと自体が、機能の証拠)
再現しない研究が見つかったのは、追試が行われたからです。
——追試が行われない分野では、この「危機」は起きません。問題が可視化されないだけです。
「危機が起きた分野」は、むしろ自己修正が働いている分野だと読むこともできます。

実際、この10年で事前登録という手続きが広く普及しました [19]。研究の問いと分析計画を、結果を見る前に公開の登録簿へ宣言する仕組みです。

9. 事前登録は効くのか——効く面と、効かない面

ここでも、両方の証拠を並べます。

効いている証拠

  • 事前登録つき研究の効果量の中央値 r = 0.16 に対し、事前登録なしは r = 0.36 [9]
  • 事前登録された研究は、検出力分析を含むことが多く、標本サイズも大きい [8]
  • 事前分析計画を伴う事前登録は、p ハッキングと出版バイアスの両方を減らす証拠と整合的 [18]

効いていない証拠(反証)

2023年、事前登録つき193研究と、対応する非事前登録193研究を比較した研究があります [8]

「我々の理論的な予想および先行研究とは対照的に、事前登録された研究が、陽性結果の割合がより低い(仮説1)、効果量がより小さい(仮説2)、統計的誤りがより少ない(仮説3)ということは見出されなかった

結論——「事前登録は統計的検出力と影響力の領域では有益な効果を持つが、事前登録が p ハッキングと HARKing を防ぐという頑健な証拠は見出さなかった」 [8]

さらに、事前登録されていても、その通りにやるとは限りません。

2021年に公刊された心理学のメタ分析1,403本のうち、事前登録されていたのは382本(27%)。そこから無作為抽出した100本を調べた結果です [17]

  • 100本すべてが、事前登録した計画から少なくとも1つ逸脱していた(逸脱数の中央値 9)
  • そして、逸脱の大半は開示されていなかった(未開示の中央値 8)
  • PRISMA-P の23項目のうち、登録時に記載されていた項目数の中央値は13

一言でいうと(「事前登録済み」の4文字を信用しない)
事前登録は、手続きであって、保証ではありません。
——計画が粗ければ制約にならず、逸脱しても開示されないなら検証できません [17]
経済学でも同じ結論です。事前登録それ自体には効果がなく、詳細な事前分析計画を伴うときだけ効果がありました [18]

10. より深い診断——測るという行為そのもの

方法の改善では届かない、という主張もあります。

2022年の論文は、方法論的な厳密さの向上だけでは不十分だと論じています [12]

「方法論上の不備が寄与要因でありうる一方で、再現性危機にはより根本的な理由がある可能性がある。測定される属性が測定用具から分離できないこと、そして測定されていない属性における還元不可能な不確実性が、心理学と教育における再現性危機の主たる理由でありうる」

一言でいうと(44本目・45本目と同じ論点)
「学力」は、テストと切り離して存在するのでしょうか。
——質的研究で見た「測定が対象を作る」という論点と、同じ場所を指しています。
もしこれが正しければ、標本を増やしても事前登録しても、再現性は上がりません。これは強い主張であり、まだ決着していません。

この主張は、証拠に基づく政策という考え方そのものへの含意を持つ、と著者は述べています [12]

11. 研究者自身は、どう見ているか

当事者の認識を測った調査があります。

2023年、MEDLINE 収載の400誌から無作為抽出した著者へ国際横断調査が行われ、1,630件の有効回答が得られました [13]

項目 割合
生物医学に再現性の危機があると同意 72%(うち「重大」27%)
再現不能の原因として「出版への圧力」が「常に/非常にしばしば」寄与 62%
自分の既発表研究の追試を行ったことがある 54%
他者の研究の追試を行ったことがある 57%
所属機関に再現性向上の手続きがある 16%
所属機関が追試より新規研究を重視していると感じる 67%
追試のための資金は新規研究より取りにくいと感じる 83%

一言でいうと(制度の問題です)
研究者は問題を認識しています(72%)。
——しかし追試には資金がつかず(83%)、機関も評価しません(67%)。
個人の心がけではなく、誘因の構造が結果を決めています。46本目のデザイン研究で見た「方法論の問題が、実は制度の問題である」のと同じ形です。

12. これを伝えると、何が起きるか

教える側にとって、実務的な問いがあります。この話を、学ぶ側に伝えるべきでしょうか。

2018年、心理学の学部生に再現性危機を扱う1時間の講義を行い、前後で調査した研究があります [14]

  • 講義のあと、学生は心理学研究をわずかに信頼しなくなった
  • しかし同時に、心理学と自然科学分野との類似性をより強く見るようになった

一言でいうと(信頼は下がり、理解は上がる)
「研究にはこういう問題がある」と伝えると、研究への信頼は少し下がります。
——しかし「科学とはそういうものだ」という理解は深まります。
この記事も、同じことをしています。この連載の数字への信頼は、下がるはずです。それでよいと考えています。

著者らは、これらの問題を学部生へ「公平に」伝えることの難しさを論じています [14]

13. 実際に出会う文面に、どう当てるか

抽象論では使えないので、具体的な文面で示します。

塾の広告、教育書、SNS。そこで見かける言い方を、この記事の道具で読み直します。

見かける文面 確認すること
「〇〇が効果的だと科学的に証明されています」 「証明」は科学の語彙ではありません。1本の研究は暫定です [2]
「メタ分析で効果量0.6と報告されています」 追試では約1/3になりうる [5]。0.2程度を想定しておく
「〇〇大学の研究で明らかになりました」 独立した第三者が追試したか。著者が重なると成功率が上がります [1]
「劇的な改善が確認されました」 劇的なほど水増しを疑う。公刊効果の中央値は r = 0.36、事前登録つきは 0.16 [9]
「事前登録された研究です」 登録は保証ではありません。100本すべてが逸脱し、大半が未開示でした [17]
「〇〇には効果がないと否定されました」 再現しない=間違い、ではありません [6]。基準率の問題かもしれません

一言でいうと(疑うのではなく、幅を持たせる)
この表の目的は、教育情報を信じないことではありません。
——点ではなく幅で受け取ることです。「効果量0.6」は「0.15〜0.6のどこか」と読みます。
そして幅の下端でも、やる価値があるかを考えます。費用がかからない方法なら、下端でもやる価値があります。

この視点は、マインドセット研究の現在で扱った経緯とつながっています。大きく報じられた知見が、検証を経て縮小する——その縮小自体が、科学が働いている証拠です [7]

14. この記事で言えないこと

  • 「教育研究は信用できない」とは言えません。再現しない研究があることと、何も分かっていないことは違います。
  • 「再現失敗率が高い=研究者が悪い」とも言えません [6]。基準率が低ければ、質の高い科学でも起こります。
  • Many Labs 2 の54%は心理学の28知見についての数字で、教育研究全体の再現率ではありません [3]
  • 技術教育の55.7%は z 曲線による推定であり、個々の知見が再現するかどうかを示すものではありません [11]
  • メタ分析が3倍という結果は15組の比較に基づきます [5]。すべてのメタ分析が3倍だという意味ではありません。
  • 測定の非分離性という診断は哲学的な主張であり、検証された結論ではありません [12]
  • 日本の教育研究における再現研究の率は、この記事では調べられていません。
  • そして——この記事自身が、再現されていない主張を含んでいます。

当塾の立場

先に、この記事が当塾にとって不都合な部分を書きます。

この連載は46本にわたって、メタ分析の効果量を根拠にしてきました。そして5節のとおり、メタ分析の効果量は大規模追試の約3倍でありうるという結果があります [5]

つまり、この連載が引用してきた数字は、全体として過大である可能性があります。「d = 0.50」と書いたところは、実際には0.17かもしれません。

さらに、当塾はその一次資料にあたっていません。抄録を読んで書いています。事前登録の有無も、逸脱の開示も、確認していません [17]

だから、この連載の数字は「目安」であって「値」ではありません。そう読んでいただくのが正しいと考えています。

この記事の内容は、塾に来なくても実行できます

教育情報を読むときの手順を書きます。費用はかかりません。

  • 「研究で証明されています」を、そのまま受け取らない——1本の研究は、再現されるまで暫定です
  • 「〇〇のメタ分析で効果量△△」を見たら、その数字を少し割り引く——3倍という報告があります [5]
  • 効果量0.2〜0.3を「小さい」と切り捨てない——事前登録つき研究の中央値は r = 0.16 です [9]
  • 「独立した第三者が追試したか」を見る——著者が重なると成功率が上がります [1]
  • 劇的な結果ほど疑う——公刊された効果は水増しされています [9]
  • そして「再現していない」ことを、「間違い」と同一視しない [6]

これを読んで、塾に通わずに実行する方がいるなら、それでいいと考えています。研究の読み方は、塾が独占するものではありません。

それでも塾に通いたい方へ

塾に通いたい、通わせたいという方には、武蔵野個別指導塾を勧めます。理由を3つ書きます。

  1. 自分の根拠の弱さを、先に書くこと。この節がそれです。「科学的根拠に基づく指導」を売り文句にする塾は多くあります。当塾は、その根拠がどれくらい揺れているかまで書きます。揺れを書かない説明は、営業です。
  2. 数字を「値」ではなく「目安」として使うこと。5節のとおりです [5]。当塾は「効果量0.5だからこの方法が正しい」とは言いません。研究は、判断の材料を減らすためではなく、候補を絞るために使います。
  3. 方法を変えたとき、元に戻せるようにしておくこと。再現性の問題の本質は「思ったほど効かないことがある」です。だから「効かなかったときに戻せる形」で変える——これが当塾の実務上の方針です。

塾を検討する際は、次のように聞いてみてください。

  • その方法の根拠になっている研究は、独立した第三者に再現されていますか
  • 効かなかった場合、どうやって気づきますか
  • 戻す手順はありますか

3つ目に答えられない塾は、効かない方法を続けることになります。当塾がお答えできるようにしておくのが、こちらの仕事だと考えています。

まとめ

  1. 教育研究上位100誌の全歴史のうち、再現研究は0.13% [1]。数学教育誌では約3% [15]
  2. 再現の成功率は、著者が重なっていないとき有意に下がった [1]
  3. 2011〜2020年でも「非常に低いが緩やかに増加」。しかも多くは直接再現ではない [2]
  4. Many Labs 2——36か国15,305人で54%が再現。d = 0.60 → 0.15。32%は逆向き [3]
  5. ばらつきは標本や場面ではなく、効果そのものに帰属した [3]
  6. 専門家の事前査読つきで手続きを改訂しても、効果量は元より78%小さかった [4]
  7. メタ分析の効果量は追試の約3倍。バイアス補正3手法でも改善しなかった [5]
  8. 事前登録なしの効果量 r = 0.36、ありは r = 0.16 [9]
  9. 原因は不正ではなく「分岐する庭」——データを見たあとの判断が偽陽性を増やす [10]
  10. 反証。高い失敗率は、検証前の仮説の多くが偽なら、質の高い科学でも起こる [6]
  11. 反証。「危機」ではなく「信頼性革命」と読む立場がある [7]
  12. 事前登録は万能ではない。p ハッキングとHARKingを防ぐ頑健な証拠はなかった [8]
  13. 事前登録されたメタ分析100本すべてが計画から逸脱し、大半は未開示だった [17]
  14. 研究者の72%が危機を認めるが、83%が追試の資金は取りにくいと答えた [13]
  15. そして——この連載が引用してきた効果量は、全体として過大である可能性があります。

出典

本文中の番号に対応します。抄録に直接あたって確認したものだけを挙げています。結論に反する研究も、同じ基準で載せています。

  1. 【0.13%】Makel, M. C. & Plucker, J. A. (2014). Facts Are More Important Than Novelty: Replication in the Education Sciences. Educational Researcher. DOI: 10.3102/0013189×14545513
  2. 【10年後の再検証】Perry, T. et al. (2022). A decade of replication study in education? A mapping review (2011–2020). Educational Research and Evaluation. DOI: 10.1080/13803611.2021.2022315
  3. 【Many Labs 2】Klein, R. A. et al. (2018). Many Labs 2: Investigating Variation in Replicability Across Samples and Settings(36か国15,305人). AMPPS. DOI: 10.1177/2515245918810225
  4. 【Many Labs 5・78%小さい】Ebersole, C. R. et al. (2020). Many Labs 5: Testing Pre-Data-Collection Peer Review as an Intervention to Increase Replicability. AMPPS. DOI: 10.1177/2515245920958687
  5. 【メタ分析は約3倍】Kvarven, A. et al. (2019). Comparing meta-analyses and preregistered multiple-laboratory replication projects. Nature Human Behaviour. DOI: 10.1038/s41562-019-0787-z
  6. 【反証・基準率の誤り】Bird, A. (2020). Understanding the Replication Crisis as a Base Rate Fallacy. The British Journal for the Philosophy of Science. DOI: 10.1093/bjps/axy051
  7. 【反証・信頼性革命】Korbmacher, M. et al. (2023). The replication crisis has led to positive structural, procedural, and community changes. Communications Psychology. DOI: 10.1038/s44271-023-00003-2
  8. 【反証・事前登録の限界】van den Akker, O. R. et al. (2023). Preregistration in practice: A comparison of preregistered and non-preregistered studies in psychology. Behavior Research Methods. DOI: 10.3758/s13428-023-02277-0
  9. 【r = 0.36 vs 0.16】Schäfer, T. & Schwarz, M. A. (2019). The Meaningfulness of Effect Sizes in Psychological Research. Frontiers in Psychology. DOI: 10.3389/fpsyg.2019.00813
  10. 【分岐する庭】Wiliam, D. (2022). How should educational research respond to the replication “crisis” in the social sciences?. Educational Research and Evaluation. DOI: 10.1080/13803611.2021.2022309
  11. 【技術教育 55.7%】Buckley, J. et al. (2022). Estimating the replicability of technology education research. International Journal of Technology and Design Education. DOI: 10.1007/s10798-022-09787-6
  12. 【測定の非分離性】Cantley, I. (2022). Replicable quantitative psychological and educational research: Possibility or pipe dream?. Educational Philosophy and Theory. DOI: 10.1080/00131857.2022.2090926
  13. 【研究者調査 n=1,630】Cobey, K. D. et al. (2023). Biomedical researchers’ perspectives on the reproducibility of research. PLOS Biology. DOI: 10.1371/journal.pbio.3002870
  14. 【教えるとどうなるか】Chopik, W. J. et al. (2018). How (and Whether) to Teach Undergraduates About the Replication Crisis in Psychological Science. Teaching of Psychology. DOI: 10.1177/0098628318762900
  15. Cai, J. (2022). Promoting conceptual replications in educational research. Educational Research and Evaluation. DOI: 10.1080/13803611.2021.2022313
  16. Frías-Navarro, D. et al. (2020). Replication crisis or an opportunity to improve scientific production?. European Journal of Education. DOI: 10.1111/ejed.12417
  17. 【100本すべてが逸脱】Sandoval-Lentisco, A. et al. (2025). Preregistration of Psychology Meta-Analyses: A Cross-Sectional Study of Prevalence and Practice. AMPPS. DOI: 10.1177/25152459241300113
  18. 【事前分析計画があるときだけ効く】Brodeur, A. et al. (2024). Do Preregistration and Preanalysis Plans Reduce p-Hacking and Publication Bias? Evidence from 15,992 Test Statistics. Journal of Political Economy Microeconomics. DOI: 10.1086/730455
  19. Nosek, B. A. et al. (2018). The preregistration revolution. PNAS. DOI: 10.1073/pnas.1708274114
  20. Hope, D. et al. (2021). Is There a Replication Crisis in Medical Education Research?. Academic Medicine. DOI: 10.1097/acm.0000000000004063

教育学・認知心理学・社会心理学・行動経済学・教育経済学の研究をもとにした連載です。

author avatar
ryomiyagawa Founder
早稲田大学大学院文学研究科哲学専攻修士号修了、同大学大学院同専攻博士課程中退。日本倫理学会員 早稲田大学大学院文学研究科にてカント哲学を専攻する傍ら、精神分析学、スポーツ科学、文学、心理学など幅広く研究に携わっている。

関連記事

PAGE TOP
お電話