ニコニコデータセットのBigQueryへのロード

目的

ニコニコ動画のデータセットが公開された。分析するために、BigQUeryへデータをロードする。

環境変数　GOOGLE_APPLICATION_CREDENTIALSに gcloud auth application-default login したあとのconfig/gcloud/application_default_credentials.json を指定する。

今回は全てのデータがロードされた。

	元データ	BQロード	喪失レコード数	喪失率
コメント	4,126,253,731	4,126,253,731	0	0%
動画情報	19,712,836	19,712,836	0	0.0%

Name		Name	Last commit message	Last commit date
Latest commit History 37 Commits
comment		comment
comment_old		comment_old
video		video
README.md		README.md
gen_schema_json.py		gen_schema_json.py