SAINT+: Integrating Temporal Features for EdNet Correctness Prediction

[shnakazawa]

Shin, Dongmin, Yugeun Shim, Hangyeol Yu, Seewoo Lee, Byungsoo Kim, and Youngduck Choi. 2020. “SAINT+: Integrating Temporal Features for EdNet Correctness Prediction.” arXiv [cs.CY]. arXiv. http://arxiv.org/abs/2010.12042.

• 受講生の知識状態のモデル化を目的とした Knowledge tracing 分野の仕事。
• SAINT (Separated Self-AttentIve Neural Knowledge Tracing: Choi et al., 2020) をベースに改良を加えたモデル SAINT+ を提案。
• 受講時間に関係した特徴量を2つ加えることで制度が改善 (~1%)。

テーブルデータへの適用に特化したニューラルネットワークアーキテクチャのSAINTとは関係なし。(論文実装のときは原著を明確に引用しよう！)

Abstract

We propose SAINT+, a successor of SAINT which is a Transformer based knowledge tracing model that separately processes exercise information and student response information. Following the architecture of SAINT, SAINT+ has an encoder-decoder structure where the encoder applies self-attention layers to a stream of exercise embeddings, and the decoder alternately applies self-attention layers and encoder-decoder attention layers to streams of response embeddings and encoder output. Moreover, SAINT+ incorporates two temporal feature embeddings into the response embeddings: elapsed time, the time taken for a student to answer, and lag time, the time interval between adjacent learning activities. We empirically evaluate the effectiveness of SAINT+ on EdNet, the largest publicly available benchmark dataset in the education domain. Experimental results show that SAINT+ achieves state-of-the-art performance in knowledge tracing with an improvement of 1.25% in area under receiver operating characteristic curve compared to SAINT, the current state-of-the-art model in EdNet dataset.

(DeepL翻訳)

我々は、演習情報と生徒の反応情報を別々に処理するTransformerベースの知識トレースモデルであるSAINTの後継モデルであるSAINT+を提案する。SAINT+はSAINTのアーキテクチャを踏襲し、エンコーダが演習の埋め込み情報に対して自己注意層を適用し、デコーダが応答の埋め込み情報とエンコーダ出力に対して自己注意層とエンコーダ・デコーダ注意層を交互に適用するエンコーダ・デコーダ構造を持っている。さらに、SAINT+は応答埋め込みの中に、生徒が回答するまでにかかった時間である経過時間と、隣接する学習活動の間の時間間隔であるラグタイムという二つの時間的特徴埋め込みを組み込んでいる。我々は、教育分野において公開されている最大のベンチマークデータセットであるEdNetを用いて、SAINT+の有効性を実証的に評価した。実験の結果、EdNetデータセットにおける現在の最新モデルであるSAINTと比較して、受信者動作特性曲線下面積で1.25%の改善を示し、知識トレースにおいて最先端の性能を達成することが示された。

コード

• https://paperswithcode.com/paper/saint-integrating-temporal-features-for-ednet

解決した課題/先行研究との比較

• 受講生の知識状態のモデル化を目的とした Knowledge tracing 分野の仕事。
  • これがうまく行けば各生徒にパーソナライズされた学習体験の提供ができる！
• 近年の深層学習技術の発達に伴い、主役がベイズや協調フィルタリングを用いた手法から、深層学習へと移ってきていた。
• 本論文では2020年に発表されたSAINT (Separated Self-AttentIve Neural Knowledge Tracing: Choi et al., 2020) をベースに改良を加えたモデル SAINT+ を提案。

技術・手法のポイント

• SAINTはTransformer (Vaswani et al., 2017) ベースのモデルで、講義の情報と受講生の反応を別々に処理する。
  • エンコーダ部分には、ある一人の受講生がこれまで回答してきた問題の情報が、シーケンスとして与えられる。
  • デコーダ部分には、エンコーダからの出力と共に、その受講生がそれぞれの問題に対して正しく回答できたかの情報が与えられ、最終出力がなされる。
• SAINT+はそれに加えて以下の2つの時間的特徴情報を埋め込む。
  • 学生が回答するのにかかった時間
  • 前回の回答からの経過時間

評価指標

• EdNetデータセット (Choi et al., 2019) を用い実験。
• SAINTと比較し、AUCが1.25% 改善。
  • 具体的には0.7816 → 0.7914
• ACCも改善。0.7178 → 0.7252
• 時間的特徴情報をデコーダのみに加えたときがベストな性能となった。

重要な引用

• SAINT
  • Choi, Youngduck, Youngnam Lee, Junghyun Cho, Jineon Baek, Byungsoo Kim, Yeongmin Cha, Dongmin Shin, Chan Bae, and Jaewe Heo. 2020. “Towards an Appropriate Query, Key, and Value Computation for Knowledge Tracing.” arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2002.07033.
• EdNet dataset
  • Choi, Youngduck, Youngnam Lee, Dongmin Shin, Junghyun Cho, Seoyon Park, Seewoo Lee, Jineon Baek, Chan Bae, Byungsoo Kim, and Jaewe Heo. 2019. “EdNet: A Large-Scale Hierarchical Dataset in Education.” arXiv [cs.CY]. arXiv. http://arxiv.org/abs/1912.03072.