#寫一個爬蟲之...幾啊,算了orz
爬蟲這東西做過幾次,該碰的問題都碰過後,好像就只剩下機械化的過程。
當然,直接的 GET/POST 使用,trace 了一些 javascript,也偷看了一些好或不好的 API 建構,這對沒真的架過站的傢伙好極了(好!)
接下來繼續寫下去大概就發展 caching / scheduling / database 串接這幾個方向。
開玩笑的一句,爬課程表是每個大大必經之路,所以爬完了之後,我也在前往大大的路上了(希望如此)吧。
以上。
#TODOs
- caching 列表網站,每次都要等個三四十秒,煩死了。
- 寫成 command line gem
- 好歹串個 Redis