public publishing server
Switch branches/tags
Nothing to show
Clone or download
Pull request Compare This branch is 43 commits ahead of ksato9700:master.
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Failed to load latest commit information.
lib
public
scraper
spec
src
test/data
.gitignore
Aptfile
Gruntfile.js
LICENSE
Procfile
README.md
TECHNOTE.md
package.json
updatedb.sh
upload_books.coffee

README.md

pubserver

Prototype of Aozora-bunko package management server prototype

青空文庫の書籍パッケージを受け取り、配布するためのサーバのプロトタイプです

動かし方

前提条件

  • MongoDB (2.6と3.0で確認しています)
  • foreman (gem install foreman)

コマンドラインでの起動

npm install
grunt coffee
foreman start web

環境変数

  • AOZORA_MONGODB_CREDENTIAL MongoDBにアクセスするユーザ名・パスワード "username:password@" (default: "")
  • AOZORA_MONGODB_HOST MongoDBのホスト名 (default: "localhost")
  • AOZORA_MONGODB_PORT MongoDBのポート番号 (default: 27017)
  • PORT pubserverの待ち受けポート番号 (default: 5000)

ブラウザからのアクセス

APIアクセス方法

以下は heroku.com で仮稼働しているプロトタイプサーバのURLです。 ローカルで動かす時にはホスト名を "localhost:5000"で適宜読み替えてください。

本のリストの取得

curl http://www.aozorahack.net/api/v0.1/books

追加パラメータ

  • title: タイトル名でのフィルタ
  • author: 著者名でのフィルタ (正しく動作していません)
  • fields: 取得する属性を指定
  • limit: 取得するアイテム数を制限
  • skip: 指定した分のアイテムをスキップしてそれ以降を取得
  • after: release_dateがこの日付よりも新しいモノのみを返す(YYYY-MM-DD)

個別の本の情報の取得

curl http://www.aozorahack.net/api/v0.1/books/{book_id}

本のカードを取得

curl http://www.aozorahack.net/api/v0.1/books/{book_id}/card

本の中身をテキストで取得

curl http://www.aozorahack.net/api/v0.1/books/{book_id}/content?format=txt

本の中身をhtmlで取得

curl http://www.aozorahack.net/api/v0.1/books/{book_id}/content?format=html

本の情報をアップロード

curl -Fpackage=@{package_file} http://www.aozorahack.net/api/v0.1/books

package_fileはaozora.txtとaozora.jsonが含まれるzipファイル。

人物情報のリストの取得

curl http://www.aozorahack.net/api/v0.1/persons

追加パラメータ

  • name: 著者名でのフィルタ

個別の人物の情報の取得

curl http://www.aozorahack.net/api/v0.1/persons/{person_id}

工作員情報のリストの取得

curl http://www.aozorahack.net/api/v0.1/workers

個別の工作員の情報の取得

curl http://www.aozorahack.net/api/v0.1/workers/{worker_id}

仕様

  • RAMLで記述してみたAPI仕様がここにあります

DBにデータ登録するためのスクリプト

書籍情報取得

https://github.com/aozorabunko/aozorabunko/raw/master/index_pages/list_person_all_extended_utf8.zip をダウンロード、そこに含まれるCSVファイルから情報取得し、DBに投入。

npm install -g coffee
coffee scraper/getbooks.coffee

人物情報、工作員情報取得

http//reception.aozora.gr.jp/{pidlist|widlist}.php からダウンロードしたHTMLファイルをscrapingしてDBに投入。結果は上記のAPIから取得できる。

npm install -g coffee
coffee scraper/getids.coffee