学習ログと知識追跡——しきい値は誰が決めているのか

学習ログと知識追跡——予測と、その倫理

学習アプリを使うと、ログが残ります。いつ、どの問題を、何秒で、正解したか。

そのログから「この生徒は辞めそうだ」「この単元はまだ身についていない」を推定する——これが学習分析（learning analytics）と知識追跡（knowledge tracing）です。

予測は、かなり当たります。では、その予測は役に立っているのでしょうか。

そして——誰が、どのしきい値で、何を決めているのでしょうか。

結論を先に8点書きます。

1. 何を、どう予測しているのか

この分野には、目的の違う2つの系統があります。

知識追跡の定義は明快です。「学習者の過去の学習インタラクションの履歴データを用いて、時間を通じた知識の習得をモデル化し、将来のインタラクションでの遂行を予測すること」 [13]。437回引用されているサーベイは、この問題を解くことが「知的教授システム、カリキュラム学習、教材推薦といったコンピュータ支援教育の可能性を解き放つ」と述べています [10]。

2. 予測は、当たる

まず、この分野の成果から書きます。予測精度は、確かに高いのです。

2019年から2024年の75本の質評価済み研究を統合した系統的レビューによると——アンサンブル手法（とくにランダムフォレストとXGBoost）が主流で、一貫して86〜88%前後の正確度を達成しています [2]。

個別の研究も、高い値を報告しています。

ただし、当たり方には問題がある

2025年、メキシコの公立大学で約40,000人の新入生（2014〜2024年）のデータを用いた研究があります [5]。入学時点のデータだけで予測するモデルです。

この問題への対処として、SMOTE（合成少数オーバーサンプリング）やアンサンブル手法、そしてROC曲線だけでなく精度-再現率（PR）曲線でも評価することが提案されています [4]。

3. 反証——介入を評価したのは、689本中11本

この記事で最も重要な所見です。

2018年、『British Journal of Educational Technology』に掲載された系統的レビュー（232引用）は、高等教育における学習分析の介入研究に絞って検索しました [1]。

著者らの勧告は率直です。

「これは特に、世界中の教育機関が、その有効性についてわずかな証拠しかないまま、学習分析の介入を実装する傾向が強まっていることを考えると、重要である」

実際に介入した研究

数は少ないながら、介入研究はあります。

スペインの全面オンライン大学で、957人の登録者のうち581人を対象にした研究では、「進行中の評価活動における目標設定を狙った介入が、退学問題を有意に減らし、コース内の従事を高めた」と報告されています [18]。

一方、同じ大学のオンライン統計コースで行われた介入は、より小規模でした。期限までに最初の小テストを提出しなかった35人にメールを送り、提出の機会を与えたものです [19]。結果は「介入は明らかに一部の生徒にとって有益な効果を持った」——慎重な表現です。

4. 「予測から行動へ」の断絶

75本の質評価済み研究をレビューした2026年の論文は、この断絶を体系的に整理しています [2]。

著者らは、実務者への勧告をこう書いています。

「機械学習モデルは、意思決定支援の道具として見るべきであり、単独の解決策として見るべきではない」

5. 知識追跡——予測はできるが、習得は確かめていない

ここからは、もう一方の系統に移ります。

ベイジアン知識追跡（BKT）は、1995年に提案された古典的な学習者モデルです。その25年を総括した系統的レビューが2024年に発表されました [9]。

PRISMAガイドラインに従い、13の改良の観点と計算手法で分類したものです。そして、2種類の評価アプローチがあることを明らかにしました。

結果です。

「改良されたBKTモデルは、RMSE、AUC-ROC、正確度といった指標で、素のモデルを概して上回った。生徒の解答の予測において。しかし、事後テストでの知識とシステムの習得推定を相関させて調べた研究は、ごくわずかしかなかった」

6. 複雑にしても、あまり良くならない

知識追跡は、この10年でベイジアン → 再帰型ニューラルネット → 注意機構（Transformer）へと発展してきました [20]。

では、性能はどれだけ上がったのでしょうか。

9つの実世界データセットで比較した2020年の研究（129引用）の結論です [11]。

2026年、9つのモデル系統から代表を選んで2つの大規模データセットで評価した研究も、同じ方向です [12]。

「ロジスティック回帰のような従来のベースラインは、依然として高い競争力を持つ。……我々は、モデルの複雑さを増すことによる収穫逓減を同定する」

著者らは「『グリーンAI』と標準化されたベンチマークへの移行を提唱する」と述べています。

そもそも、比較ができていない

2025年、『IEEE Transactions on Knowledge and Data Engineering』に掲載された論文は、さらに根本的な問題を指摘しています [13]。

7. 公平性——報告が割れている

ここからが、この記事の倫理の部分です。

2021年、『International Journal of Artificial Intelligence in Education』に掲載された総説（741引用）が、この分野の出発点です [15]。

著者らは「教育におけるアルゴリズム的バイアスの具体的な影響——どの集団が影響を受けることが知られており、教育アルゴリズムの開発と展開のどの段階・どの主体が関与しているか」を整理しました。

そして「未知のバイアスから既知のバイアスへ、そして公正（fairness）から公平（equity）へ移行するための枠組み」を提案しています。

BKTのバイアスをめぐる、2つの報告

同じ2024年に、正反対の結果が報告されています。

報告Bは、バイアスの原因まで特定しています。「このバイアスは、モデルの『slip』パラメータが、生徒が習得状態を失ったかどうかを判断する際に解答速度を無視することの結果である可能性が高い」——そして解答速度を直接考慮する変種を提案し、「モデル性能を犠牲にせずに、公正性の有意な向上」を得たと報告しています [17]。

2019年のシミュレーション研究（59引用）は、より原理的な整理をしています。タイトルは「より公正に、しかし十分に公正ではない」 [21]。

「知識追跡アルゴリズムは、すべての生徒に同じ量の練習を与えるより実質的に公平である。しかしそれでも、不正確なモデルに依拠する場合には不公平でありうる」——原因は①集団全体に当てはめたモデルを使うこと ②生徒の学習について誤った仮定を置くモデルを使うことです。

第二言語学習のデータでの検証も、具体的な偏りを報告しています [22]。「両モデルとも、非モバイル利用者よりモバイル利用者を優遇する」「機械学習は、深層学習と比べて、開発途上国に対してより強いバイアスを示す」。

なお、公正性の系統的レビュー（2024年）は、やや希望的な所見も報告しています。「ほとんどの研究は、公正性と正確度のあいだに厳密なトレードオフを見出さなかった」 [23]。そして「アルゴリズムの公正性より先に、データと特徴量の公正性を評価すること」を勧告しています。

8. バイアスは、推薦によって増幅される

予測のバイアスには、もう一つ厄介な性質があります。

2025年の論文は、この構造を明確に述べています [24]。

「データのバイアス、すなわち問題群（概念など）の不均衡な分布によって、従来の知識追跡モデルは認知的バイアスに悩まされる。これは、成績上位者には認知的な負荷不足を、成績下位者には認知的な過負荷をもたらす傾向がある。さらに深刻なことに、このバイアスは知的教授システムによる練習問題の推薦によって増幅される」

別の研究は、「解答バイアス」という現象を指摘しています [25]。各問題について、正解と不正解の分布が極端に偏っているという現象です。

「既存のモデルは、知識追跡で高い予測性能を達成するための近道として、解答バイアスを記憶する傾向がある。それによって、生徒の知識状態を十分に理解することに失敗する」

9. しきい値は、技術ではなく政策である

この記事で最も実務に効く指摘です。

2026年、公開データセットを用いて「配備を志向した評価プロトコル」を開発した研究があります [14]。最初の4週間の活動から特徴量を作り、複数の分類器を比較したものです。

そして、次の点を検討しました——確率の信頼性（キャリブレーション）、しきい値への感度、部分集団ごとの公正性（ブートストラップによる不確実性つき）、選択的予測、そして処理能力に基づく上位x%への警告。

著者らの結論です。

「早期警告システムは、政策と結びついた意思決定システムとして評価されるべきであり、配備の前に、モデルのベンチマーキング、キャリブレーション、公正性の不確実性、そして処理能力を考慮した決定ルールを統合すべきである」

日本の塾という文脈

ここまでの研究は、ほとんどが大学とオンライン講座を対象にしています。日本の塾には、別の条件があります。

6節のとおり、中規模のデータではロジスティック回帰が最良でした [11]。数十人規模で「AIが分析」と言えることは、ほとんどありません。

10. 塾と家庭で、何が使えるか

ここからは、上の知見を当塾の実務に翻訳した部分です。研究が直接そう言っているわけではない箇所は、そう明示します。

(1)「マスター」表示を、事後テストで確かめる

5節のとおり、習得推定を事後テストと照合した研究はごくわずかです [9]。アプリが「習得済み」と言った単元を、2週間後に紙で出してみる。

(2) 予測を見たら「それで何を変えるのか」を先に決める

3節のとおり、介入の効果を評価した研究は689本中11本でした [1]。

(3) 高い正答率予測を、理解の証拠と読まない

8節のとおり、モデルは「みんなが間違える問題」を覚えるだけで高い精度を出せます [25]。

(4) 易しい問題ばかり出てくるようなら、手動で止める

8節の増幅の問題です [24]。これは当塾の実務判断です——適応型アプリが下位の生徒に易しい問題を出し続ける状態は、放置すると固定します。

(5) 使われている特徴量を聞く

4節のとおり、多くは成績と従事の指標だけです [2]。「AIが総合的に判断」という説明は、実際にはログイン回数と正答率のことかもしれません。

(6) 障害や特性のある生徒の扱いを、確認する

9節のとおり、障害の有無で警告率に差が出ています [14]。

(7) データ量が足りているかを、疑う

6節のとおり、中規模データではロジスティック回帰が最良でした [11]。これは当塾の実務判断です——数十人分の記録から「AIが予測」できることは、実質的にありません。そこにあるのは、講師の経験則を数字に置き換えたものです。それが悪いわけではありませんが、「AI」と呼ぶのは誠実ではありません。

11. この記事で言えないこと

• 「学習分析は無意味だ」とは言えません。予測精度は高く、介入研究も一部で有効性を示しています [18]。
• 「予測は当たる」とも単純に言えません。入学時データだけのモデルは AUC 0.69 で、59%を高リスクと判定しました [5]。
• 689本中11本という数字は2018年時点のものです [1]。その後も増えてはいますが、2026年のレビューも同じ断絶を指摘しています [2]。
• 公平性については、報告が割れています [16][17]。当塾には判定できません。
• 評価手続きが標準化されていないため、報告されるAUCは比較できません [13]。
• ここで挙げた研究の多くは高等教育・オンライン講座が対象です。小中高の塾に、そのまま当てはまるとは限りません。
• 日本のデータを用いた研究は、ほとんどありません。
• プライバシーと同意の法的側面は、この記事では扱っていません。
• 10節の運用は当塾の実務判断です。

当塾の立場

先に、この記事が当塾にとって不都合な部分を書きます。

塾は、生徒のデータを持っています。入退室記録、小テストの点数、宿題の提出状況、面談の記録。そしてそれを「分析しています」と言うことは、簡単です。

しかし——3節のとおり、予測から介入への効果は、ほとんど検証されていません [1]。そして8節のとおり、予測は予測対象そのものを作り変えます [24]。

「この子は伸びない」と当塾が判断したとき、その判断が結果を作っている可能性があります。アルゴリズムを使わなくても、同じことが起きます。当塾は、この危険から自由ではありません。

この記事の内容は、塾に来なくても実行できます

家庭でできることを書きます。費用はかかりません。

• アプリの「習得済み」を、2週間後の紙のテストで確かめる——この照合は、研究でもほとんど行われていません
• 「AIが分析」と言われたら、何を材料にしているか聞く——多くはログイン回数と正答率です
• 易しい問題ばかり出るようになったら、手動で難易度を上げてみる——適応の循環は放置すると固定します
• 予測を見る前に「それで何を変えるか」を決めておく——変えることがないなら、見る必要はありません
• そして——子どもに「データ上あなたは◯◯だ」と伝えない。判定は、伝えた瞬間に本人の行動を変え、次のデータを作ります

これを読んで、塾に通わずに実行する方がいるなら、それでいいと考えています。自分で回せる家庭が月謝を払う必要はありません。

それでも塾に通いたい方へ

塾に通いたい、通わせたいという方には、武蔵野個別指導塾を勧めます。理由を3つ書きます。

塾を検討する際は、次のように聞いてみてください。

• うちの子について、どんなデータを取っていますか
• そのデータで、実際に何を変えましたか
• 「追加の講習が必要」と判断する基準は何ですか

当塾がお答えできるようにしておくのが、こちらの仕事だと考えています。

まとめ

出典

本文中の番号に対応します。抄録に直接あたって確認したものだけを挙げています。結論に反する研究も、同じ基準で載せています。

1. 【689本中11本】Sønderlund, A. L. et al. (2018). The efficacy of learning analytics interventions in higher education: A systematic review. British Journal of Educational Technology. DOI: 10.1111/bjet.12720
2. 【75本の質評価済みレビュー】Lopez-Muñoz, G. L. et al. (2026). Student Dropout Prediction in Higher Education: A Systematic Review of Machine Learning Methods and Risk Factors. Journal of Information Technology Education: Research. DOI: 10.28945/5776
3. Chung, J. Y. & Lee, S. (2018). Dropout early warning systems for high school students using machine learning（165,715名）. Children and Youth Services Review. DOI: 10.1016/j.childyouth.2018.11.030
4. Lee, S. & Chung, J. Y. (2019). The Machine Learning-Based Dropout Early Warning System for Improving the Performance of Dropout Prediction（クラス不均衡への対処）. Applied Sciences. DOI: 10.3390/app9153093
5. 【59%を高リスクと判定】Carballo-Mendívil, B. et al. (2025). Predicting Student Dropout from Day One: XGBoost-Based Early Warning System Using Pre-Enrollment Data（約40,000名）. Applied Sciences. DOI: 10.3390/app15169202
6. Berens, J. et al. (2019). Early Detection of Students at Risk – Predicting Student Dropouts Using Administrative Student Data from German Universities and Machine Learning Methods. DOI: 10.5281/zenodo.3594771
7. Mubarak, A. A. et al. (2020). Prediction of students’ early dropout based on their interaction logs in online learning environment. Interactive Learning Environments. DOI: 10.1080/10494820.2020.1727529
8. Targino, R. et al. (2025). Student dropout prediction through machine learning optimization: insights from moodle log data. Scientific Reports. DOI: 10.1038/s41598-025-93918-1
9. 【BKTの25年】Šarić-Grgić, I. et al. (2024). Twenty-five years of Bayesian knowledge tracing: a systematic review. User Modeling and User-Adapted Interaction. DOI: 10.1007/s11257-023-09389-4
10. Abdelrahman, G. M. et al. (2022). Knowledge Tracing: A Survey. ACM Computing Surveys. DOI: 10.1145/3569576
11. 【ロジスティック回帰が競争力を持つ】Gervet, T. et al. (2020). When is Deep Learning the Best Approach to Knowledge Tracing?（9データセット）. Journal of Educational Data Mining. DOI: 10.5281/zenodo.4143614
12. 【複雑化の収穫逓減】Adhikary, P. D. et al. (2026). Knowledge Tracing Models in Educational Data Mining: Historical Evolution, Categorization, and Empirical Evaluation. IEEE Access. DOI: 10.1109/access.2026.3678846
13. 【評価が標準化されていない】Liu, Z. et al. (2025). Deep Learning Based Knowledge Tracing: A Review, a Tool and Empirical Studies. IEEE Transactions on Knowledge and Data Engineering. DOI: 10.1109/tkde.2025.3552759
14. 【しきい値は政策的選択】Wu, S. et al. (2026). Calibrated early-warning models with fairness auditing and selective prediction for course withdrawal risk: Evidence from OULAD. PLOS One. DOI: 10.1371/journal.pone.0352867
15. 【総説】Baker, R. S. & Hawn, A. (2021). Algorithmic Bias in Education. International Journal of Artificial Intelligence in Education. DOI: 10.1007/s40593-021-00285-9
16. 【群間でほぼ等しい】Zambrano, A. F. et al. (2024). Investigating Algorithmic Bias on Bayesian Knowledge Tracing and Carelessness Detectors. LAK ’24. DOI: 10.1145/3636555.3636890
17. 【内在的バイアスがある】Barrett, J. et al. (2024). Improving Model Fairness with Time-Augmented Bayesian Knowledge Tracing. LAK ’24. DOI: 10.1145/3636555.3636849
18. Bañeres, D. et al. (2023). An early warning system to identify and intervene online dropout learners（581名）. International Journal of Educational Technology in Higher Education. DOI: 10.1186/s41239-022-00371-5
19. Figueroa-Cañas, J. & Sancho-Vinuesa, T. (2021). Changing the recent past to reduce ongoing dropout: an early learning analytics intervention for an online statistics course（35名）. Open Learning. DOI: 10.1080/02680513.2021.1971963
20. S. K. et al. (2026). Evolution of Knowledge Tracing Models: A Comparative Analysis of Bayesian, Deep Learning and Transformer-Based Approaches. INDIACom 2026. DOI: 10.23919/indiacom70271.2026.11525667
21. 【より公正に、しかし十分ではない】Doroudi, S. & Brunskill, E. (2019). Fairer but Not Fair Enough: On the Equitability of Knowledge Tracing. LAK ’19. DOI: 10.1145/3303772.3303838
22. Tang, W. et al. (2024). Fair Knowledge Tracing in Second Language Acquisition（Duolingoデータ）. arXiv. DOI: 10.48550/arxiv.2412.18048
23. Idowu, J. K. (2024). Debiasing Education Algorithms. International Journal of Artificial Intelligence in Education. DOI: 10.1007/s40593-023-00389-4
24. 【推薦による増幅】Zhou, Y. et al. (2025). Disentangled Knowledge Tracing for Alleviating Cognitive Bias（11ベンチマーク）. The Web Conference 2025. DOI: 10.1145/3696410.3714607
25. 【解答バイアスという近道】Cui, C. et al. (2024). Model-agnostic counterfactual reasoning for identifying and mitigating answer bias in knowledge tracing. Neural Networks. DOI: 10.1016/j.neunet.2024.106495

この連載の他の記事

教育学・認知心理学・社会心理学・行動経済学・教育経済学の研究をもとにした連載です。

• 反転授業は何を変えるのか——「動画を家で見る」が本体ではない
• 「わかった気がする」と実際の学習量はなぜずれるのか
• 分散学習と交互学習——同じ時間の配り方で結果が変わる
• 認知負荷理論と「指導の最小化」論争
• 学習スタイル説はなぜ検証に耐えないのか
• マインドセット研究の現在——再現性の検証を経て何が残ったか
• 社会心理学的介入——短時間の介入が長期に効く条件
• 教育経済学——同じ費用で何が一番効くのか
• 行動経済学と教育——ナッジは何を変え、何を変えないか
• フィードバックはなぜ逆効果になりうるのか
• 読解は技能か知識か——背景知識が理解を決める
• リーディング・ウォーズ——初期の読み指導をめぐる論争
• 数学の概念理解と手続き習熟——どちらが先かという問いの誤り
• 作業記憶は訓練で増やせるか——「脳トレ」研究が示した転移の限界
• 能力別編成は誰の利益になるか——ピア効果と習熟度別指導の実証
• 睡眠は学習の一部である——記憶の定着、思春期の体内時計、始業時刻の実証
• 報酬は意欲を壊すのか——過剰正当化効果から大規模実験まで
• 「1万時間の法則」は何を言っていないか——意図的練習研究の実際
• 学歴は何の対価か——人的資本とシグナリングをめぐる実証
• 学んだことはなぜ別の場所で使えないのか——学習の転移をめぐる100年
• 「分かったつもり」はなぜ生じるか——メタ認知的モニタリングの研究
• 試験で実力が出ないという現象——テスト不安とステレオタイプ脅威
• 就学前教育の効果はなぜ「消えて、残る」のか
• 宿題は効くのか——学年・内容・家庭環境で符号が変わる
• ノートは何をしているのか——手書き優位説の再検証
• 教育に技術を入れると何が起きるか——60年分の評価
• 外国語は早いほどよいのか——臨界期をめぐる実証
• グループにすれば学ぶ、わけではない——協同学習の条件
• 教育研究をどう読むか——因果推論と効果量の作法
• 教師の「質」は測れるか——付加価値モデルの実証と限界
• 少人数学級は効くのか——テネシーSTAR実験から40年
• 1対1で教えると何が起きるか——チュータリング研究の効果量と、効かない条件
• 「非認知能力」は何を指しているか——自制心・やり抜く力・マシュマロ実験の再検証
• 夏休みに学力は下がるのか——測定が結論を左右した研究史
• 試験で学校を評価すると何が起きるか——説明責任政策の実証とキャンベルの法則
• 保護者の関与はどこまで効くか——宿題の手伝いより、一行の連絡が効く理由
• スマートフォンと注意——学校の持込禁止、「そこにあるだけ」の害、マルチタスクの実証
• 数学不安は成績を下げるのか——相関の大きさ、因果の向き、介入の再現性
• 教師の期待は生徒を変えるか——ピグマリオン効果の60年が残した結論