Student Performance Prediction / Knowledge Tracing Dataset

[AkihikoWatanabe]

公開されているデータセット

• Assistments 2009 -- 2010, Assistments 2015, Assistments Challenge 2017

  • https://sites.google.com/site/assistmentsdata/
  • https://sites.google.com/view/assistmentsdatamining/data-mining-competition-2017?authuser=0
  • 数学のデータセットであり、ASSISTments online tutoring platformのデータ
  • SPP/KTでもっとも広く利用されているデータセット
  • tutoringシステムで利用されているため問題マスタ等は公開されていないが、研究の目的等を伝えれば、問題マスタも利用可能になる可能性がある（要問い合わせ）

• KDD Cup: EDM Challenge Bridges to Algebra 2006 -- 2007

  • https://pslcdatashop.web.cmu.edu/KDDCup/downloads.jsp
  • 数学のデータセット、Cognitive Algebra tutoring platformのデータ (Carnegie Learning’s Cognitive Tutor)
  • こちらもASSISTMentsデータと共に広く評価に利用される

• Junyi Academy

  • 台湾の数学学習プラットフォーム
  • https://pslcdatashop.web.cmu.edu/DatasetInfo?datasetId=1198
  • あまり広くは利用されていなさそう

• statics 2011

  • https://pslcdatashop.web.cmu.edu/DatasetInfo?datasetId=507
  • https://pslcdatashop.web.cmu.edu/Project?id=48
  • 大学レベルのengineering Staticsコースのデータ

• synthetic-5

  • DKT Deep Knowledge Tracing, Piech+, NIPS, 2015 #297 論文が作成した人工データ
  • 2000人のvirtual studentの50種類のエクササイズに対する回答をシミュレーションしたデータセット
  • https://github.com/chrispiech/DeepKnowledgeTracing/tree/master/data/synthetic
  • DKTとの性能を比較する研究等では利用されている印象

• EdNet

  • TOEIC対策のためのonline学習プラットフォームから作成
  • https://arxiv.org/pdf/1912.03072.pdf
  • データセット公開直後はあまり注目されていなかったが、KaggleのRiiiDコンペで利用され、一躍脚光を浴びた
  • 今後広く利用されることになると思う

• Duolingo

  • 英語のデータセット（Knowledge Componentは無し）
  • Grammatical Errorの予測のshared taskがEMNLPで開催され、利用されていたはず
  • https://sharedtask.duolingo.com/2018.html

• slepemapy.cz

  • 地理のデータセット
  • 地理の事実（国、都市、山の名前と場所など）のAdaptive Practiceを提供するオンライン適応システムslepemapy.czからのもの。
  • http://learning-analytics-toolbox.org/dataset/adaptive-geography-practice-data-set/

• HOUR OF CODE EXCERCISE

  • プログラミング学習のhour of codeの生徒の学習データ
  • https://code.org/research
  • knowledge componentは含まれていなさそう

非公開データセット（proprietaryなデータとして論文で利用されていたりする）

• PKU JudgeOnline platform (poj.org)

  • プログラミング学習
  • 非公開; クロージングしたらしい・・・？

• Zhixue データセット

  • 数学のデータセット。非公開; iFLYTEK社が提供; Knowledge Component がexplicit hierarchy structureに従い、階層的に付与されているっぽい。
  • EKT: Exercise-aware Knowledge Tracing for Student Performance Prediction, Hu+, IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, 2019 #353 で利用されている

• khan academyデータ（DKT論文が利用）

  • こちらは公開されていない。How Deep is Knowledge Tracing?, Mozer+, EDM'16 #355 によると、DKT Deep Knowledge Tracing, Piech+, NIPS, 2015 #297 の共著者に問い合わせても使わせてもらえなかったとのこと。

• NFMB/NI データセット

  • Coursera: “Networks: Friends, Money, and Bytes”、およびCoursera: “Networks Illustrated: Principles without Calculus” のデータ
  • データ自体は公開されていないかもしれない？ Behavior-Based Grade Prediction for MOOCs Via Time Series Neural Networks, Chiang+, IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING, VOL. 11, NO. 5, AUGUST 2017 #357 で利用されている
  • Knowledge Componentに関するデータも入っていなさそう

• knewtonデータセット

  • Knewtonプラットフォームのデータ。非公開。
  • Back to the basics: Bayesian extensions of IRT outperform neural networks for proficiency estimation, Ekanadham+, EDM'16 #358 等で利用されている