メディア芸術データベース Web APIからデータを取得するためのクローラと、RDFへの変換スクリプト
すぐ使いたい方は、SPARQLエンドポイントとRDFデータのダンプファイルを以下で公開していますので、ご利用ください。
依存パッケージのインストール
$ pip install -r requirements.txt
$ scrapy crawl api [-a fieldId={animation,collection,game,manga,mediaart}]
取得したデータは分野ごとにJSON Lines形式で出力されます。
{animation,collection,game,manga,mediaart}.jsonl
- 全件取得はかなりサーバ負荷をかけていると思われるので、不用意に
DOWNLOAD_DELAY
を小さくしないようご注意ください。
$ ./convert_to_rdf.py *.jsonl
変換結果はN-Triples形式で madb.nt
ファイルに出力されます。
RDF語彙へのマッピングは、QName-likeなWeb APIレスポンス「メタデータキー名」からお気持ちを汲んで設定しました。(Web APIドキュメントを参照)