このリポジトリは、キュレーションマップシステムの一部です。
キュレーションマップのデータを生成し、データベースに挿入するためのモジュールです。検索エンジンを用いて文書を収集し解析を行ったあと、マップを生成します。
- Bing Search(Google Custom Search)APIを用いて文書を収集
- 文書ごとに解析(形態素等)、テキスト断片への分割
- テキスト断片と文書間のリンク生成
- テキスト断片、リンクの併合
- まとめ文書推定計算(HITS)
- リンク先を文書内テキスト断片への変更
- データベースに挿入
- Scala
- Json
- jsoup
- FelisCatusZero