Skip to content

Yukaii/ntust-courses-spider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

6 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

#寫一個爬蟲之...幾啊,算了orz

爬蟲這東西做過幾次,該碰的問題都碰過後,好像就只剩下機械化的過程。

當然,直接的 GET/POST 使用,trace 了一些 javascript,也偷看了一些好或不好的 API 建構,這對沒真的架過站的傢伙好極了(好!)

接下來繼續寫下去大概就發展 caching / scheduling / database 串接這幾個方向。

開玩笑的一句,爬課程表是每個大大必經之路,所以爬完了之後,我也在前往大大的路上了(希望如此)吧。

以上。

#TODOs

  • caching 列表網站,每次都要等個三四十秒,煩死了。
  • 寫成 command line gem
  • 好歹串個 Redis

About

寫給 118 的課程爬蟲。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages