Skip to content
JackonYang edited this page Jan 14, 2013 · 1 revision

数据库设计

基本功能

  1. 对初步解析出的原始数据,做最少处理。存入db。
  2. profile 页面。除了解析出的字段,增加字段 private. private > 0 表示权限问题无法访问。根据返回的页面类型设置不同的返回值。
  3. friendList 页面。解析出字段:friendList, name of friend. 前者1对多关系,后者1对1.分2个表存储。
  4. 所有 table 的主id字段设为 renrenId1,以减少 getSearched 方法的复杂度。
  5. 所有 item 设置 lastemodified 字段,默认值 now()

安全性

  1. 为了避免脏数据污染主库。设置temp库缓存待写入数据。

renrenDb

封装 renrenSpider 所需的数据读写方法。