Skip to content
princehaku edited this page Apr 21, 2014 · 1 revision

有的时候我们需要把第一次抓取结果作为第二次的参数注入继续抓取

  subaction:
    - {action: parser, rule: '.entry_cover .cover_img', setField: img}
    - {action: parser, rule: 'a', pos: 0, attr: href, setField: src}
    - {action: parser, strip: 'true', rule: '.entry_cover .score', setField: score}
    - {action: parser, rule: '.bio a', setField: dest}
    - action: fetcher
      url: http://www.verycd.com${#src}
      subaction:
      - {action: parser,strip: 'true', rule: '#contents_more', setField: description}

pyrailgun 提供了这样的方法

第一次抓取后获得的src

作为第二次的url里面的key进行再抓取

参数使用${#参数名}