雪球网股票的评论内容是不能直接访问的，必须要携带在第一次访问时雪球网写进本地的cookie（其实你随便打开一次官网就是属于第一次访问了，那时候 不需要cookie） 爬取思路是这样的，先挖取所有股票的代码，放进数据库，然后根据股票代码爬取每一只股票的评论，多了，一定要加入代理池，我这里用的上上一篇文章写的代理池，我 们给每个股票代码赋予一个状态值，一开始是outstanding，也就是1. 这是因为每个进程需要知道那些URL爬取过了、哪些URL需要爬取！我们来给每个URL设置三种状态：
outstanding:等待爬取的股票
complete:爬取完成的股票
processing:正在进行的股票，也可能是失败的爬取股票
嗯！当一个所有初始的股票状态都为outstanding；当开始爬取的时候状态改为：processing；爬取完成状态改为：complete；失败的股票重置状态为：outstanding。 为了能够处理股票进程被终止的情况、我们设置一个计时参数，当超过这个值时；我们则将状态重置为outstanding。 股票代码的爬取很简单，直接访问主页就好了。