小説を読もう! の更新チェッカー
- 更新された小説をメールで通知する
- 更新履歴を含めて小説をデータベースに保存する
- 小説を読もう!のサーバに負荷がかからない様に更新チェックを行う
- 保存した小説を全文検索出来る(予定)
MySQLでの動作を前提としている。 データベースを作成し、下記のスクリプトを実行する。
/crawler/src/config/schema.sql
/crawler/src/test/resources/jdbc.properties については、自身の環境に合わせて変更すること。
登録した小説に更新があった場合、メールで通知出来る。
/crawler/src/test/resources/mail.properties については、自身の環境に合わせて変更すること。
任意のフォルダ/crawler.jar
/lib/ビルドしたときにダウンロードしたJarファイル
Usage: java [VM flags] <command>
VM flags:
-Dapp_home
実行フォルダを指定する(キャッシュ、ログ、レポートの保存先になる)
-jar
crawler.jarのパスを指定する
-Dhttp_proxy
任意でプロキシサーバーを指定する(http://hoge:piyo@foo.bar:8080)
command:
save=http://ncode.syosetu.com/小説のURL/
小説を登録する
登録済みの小説の場合、更新を確認する
del=http://ncode.syosetu.com/小説のURL/
小説を削除する
checkForUpdates
登録済みの全ての小説の更新を確認する
但し、1年以上更新の無い小説は対象外とする
sendUnreadReport
更新の確認結果をメールする
sendModifiedDateReport
登録済み小説の一覧(タイトル、最終更新日時)をメールする
examples:
・小説を追加
java -Dapp_home=/home/crawler -jar /home/crawler/crawler.jar save=http://ncode.syosetu.com/小説のURL/
・小説を削除
java -Dapp_home=/home/crawler -jar /home/crawler/crawler.jar del=http://ncode.syosetu.com/小説のURL/
・小説の更新を確認して、その結果をメールで送信
java -Dapp_home=/home/crawler -jar /home/crawler/crawler.jar checkForUpdates sendUnreadReport
YOMOU CRAWLER is released under version 2.0 of the Apache License.