Permalink
Browse files

add sina weibo downloader

  • Loading branch information...
1 parent feefc11 commit 46eabebd52fcdaae87ab4ebb15c6519667c465d0 Xudong Dai committed Feb 29, 2012
Binary file not shown.
@@ -0,0 +1,53 @@
+ת�������У�
+�е����Ŀ¼,
+ִ����������sina_blog_downloader.py -i sina_user_id.txt -o output
+���£�
+
+
+A:\>sina_blog_downloader.py -h
+
+ downloading mircoblogs from weibo.com,written by @medcl,url:http://log.medcl
+.net;
+ -------------------------------------------------------
+ usage:
+ rss_downloader.py [-i file_of_sina_user_id] [-o output_folder] [-c num_o
+f_threads] [-x num_of_sub_folder]
+
+ example:
+ rss_downloader.py -i sina_userId -o data -c 15 -x 20 -k 100 -s on
+
+ -i the location of input file which containing the sina userid
+ -o the folder where the downloading files will be stored
+ -c number of the working threads,these threads will working concurrentl
+y
+ -x specify the number of the sub-folder,calculated by userid % num_of_s
+ubfolder
+ -k skip_count
+ -h show help.
+ -s [on] [off] shutdown after download finished.
+
+
+A:\>sina_blog_downloader.py -i sina_user_id.txt -o output
+starting: Thu Feb 16 10:36:32 2012
+0
+1
+2
+3
+4
+5
+6
+7
+8
+9
+10
+11
+12
+13
+14
+thread:2,count:2,file:output/02-16/3/1685484143.json
+thread:3,count:3,file:output/02-16/15/1400935015.json
+thread:4,count:4,file:output/02-16/1/1140437381.json
+thread:1,count:1,file:output/02-16/11/1000112131.json
+finished: Thu Feb 16 10:36:32 2012
+
+A:\>
Binary file not shown.
Binary file not shown.
Binary file not shown.
@@ -0,0 +1,30 @@
+1140437381 y7tJw3cP7
+#微蓝辟谣#当前微博上有多人转发"晚上8:23分,上海警方已依法逮捕破坏国家互联网系统的上海交大2009级学生李某健。据悉犯罪嫌疑人李某健破坏了国际互联网的访问端口,致使大量含有不良信息的境外非法网站可以在国内浏览"。经核实,此条信息纯属编造,请勿听信谣言!@微博辟谣 @上海网安-SHWA
+1140437381 y7qqxwh1Q
+【传播非典谣言者被劳教2年】保定公安昨日查处一散布谣言案,刘某被劳教2年。2.19刘某发布“保定252医院确认一例非典”虚假信息,扰乱社会治安http://t.cn/zObn3Vx。1此处罚是否过重?2呼吁:未经司法程序剥夺公民人身自由的劳动教养制度须尽快废除。你是否支持废除劳教制度?投票http://t.cn/zObuaX1
+1140437381 y6G4Lc40F
+看到了网友评论,有位网友说:纠结于活熊取胆是否痛苦或者舒服没有必要,应该讨论活熊取胆的安全性和必要性。痛还是舒服,这个问题确实无解。关于安全性和必要性的问题,在随后的发布会上,16位动物学和中医药学专家可能会给出部分答案。
+1140437381 y6xC8Bzwx
+赶到泉州机场,同行队伍扩大为5人,坐车前往惠安。早晨三岁的女儿问我为什么去看熊,我说熊胆做药,所以有人在熊的肚子上开个囗取胆汁,说这是治病需要;又有人说肚子上有伤口,熊很痛,对熊不人道。女儿听哭了,说妈妈你去看看熊的肚子上有没有伤口。孩子展现的是人最纯真的对动物的感情。@经济之声
+1140437381 y6xC6yUHf
+到达注册处,据说今天已经有十几家媒体到达。拿到一份参观需知,要求参观过程中不要惊吓黑熊,不要用闪光灯等,签了知情同意书,拿到了参观流程等文字资料。明天在熊场的参观时长为一个半小时,媒体轮流进入熊舍参观。@经济之声
+1140437381 y6xC56tyW
+根据日程,归真堂明天在参观完后安排了80分钟左右的专家座谈,回答疑问。现在媒体最关心的是参观时间够不够了解清楚情况,归真堂的高层会不会出来面对媒体。
+1140437381 y6xC2qL2V
+打车前往归真堂养熊场所在地惠安县黄塘镇虎窟村,司机都不太认识归真堂这个新厂址。到了面前,大门紧锁,四个保安把守,据说这里的保安也是刚刚换上岗的,保安客气地说:"今天不能进,明天欢迎再来!"@经济之声
+1140437381 y6xC0CRn6
+绕到后山,在民族英雄施琅墓地旁的山凹中找到月熊生活地,一个小伙虽阻挠但还是让看了几分钟。这是一批还没取胆的幼熊,它们懒散地在高高架子上躺了好几层,很安静,小伙说熊吃饱了就这样,又追问了句,小伙喊着:有没打镇静剂,明天你们就知道了。他语气友好又戒备,我很难将他与虐熊黑心肠联系起来。
+1140437381 y64umwqH4
+你发帖的电脑在哪个位置,以及你是谁,网警都很容易弄的一清二楚【其实实名不实名都一个样】他们的意图无非是让你不便发言,不敢畅所欲言,更不敢揭露当地的一些丑恶事情。比如,不实名的情况下,你可能敢揭露你们单位的腐败情况,单位领导或许不知道是你干的;但实名的情况下,你就不会不有所顾忌了!
+1140437381 y5jJNDLLU
+绝对可靠消息,今晚《新闻联播》有重要新闻。
+1140437381 y5jFXsDBU
+//@兵通社: 【癫狂的音乐LOGO——见识见识北青诸位“搞笑达人”的风采】北青传媒股份有限公司“零尿点工作室”2012荣誉出品。@北青传媒 @北青传媒广告部 http://t.cn/zOwgzmv - 原文地址:http://weibo.com/1093574105/y59Rt89Sa - 原文地址:http://t.cn/zOwk4Xi
+1140437381 y5jzEhYxX
+龙年戴龙帽,@活动小队长 龙年送勋章。只要参与微活动的任意一个活动就可以领取龙年专属勋章“生龙活虎”。快来领取吧!http://t.cn/zOAJlrO
+1140437381 y5jzaqwnm
+#微群发博更清爽#群内公告更新提示、群内发布内容更清爽、长文本多图一万字功能开放!更有@魅族魅友家 魅族MX手机20台和@漫步者 M3Plus音箱80台总计100台逾10万元豪礼免费送,速来关注!玩微群、加关注、免费拿大奖!微群传送门http://t.cn/hBnSZ0 http://t.cn/zOZlf38
+1140437381 y4I8WBokl
+#北青Pad应用达人闯关大赛#大赛报名28日正式启动。记者从大赛承办方获悉,报名首日接到百余来电咨询,参赛“门槛”是“应用达人”们最关注的问题。承办方负责人告诉记者,“本次大赛的门槛,从技术角度讲接近于零,只要会普通的电脑操作就成,关键在于创意。”http://t.cn/zOZqfh2
+1140437381 y4HZsgkom
+#北青Pad应用达人闯关大赛#大赛报名28日正式启动。记者从大赛承办方获悉,报名首日接到百余来电咨询,参赛“门槛”是“应用达人”们最关注的问题。承办方负责人告诉记者,“本次大赛的门槛,从技术角度讲接近于零,只要会普通的电脑操作就成,关键在于创意。”http://t.cn/zOZqfh2
@@ -0,0 +1,30 @@
+1000112131 y7LU5i7V2
+【人保部:外出农民工月均收入达到2049元】新华网成都229日电(记者徐博、苑坚)人力资源和社会保障部副部长杨志明29日透露,2011年,外出农民工月均收入突破两千元大关,达到2049元,比2010年增加359元,增幅达21.2%。
+1000112131 y7LEHqtC7
+刚打一辆车,的士师傅突然自言自语:“我唯一的生活,就是在一条别人帮我决定的拥堵的路上,等待自己生命一点点的流失,换取这一点点我都不知道有没有意义的前行。。。”
+1000112131 y7LCvuLPW
+【229日,女性表白日,你表白了吗?】“女性表白日”可不是网友的恶搞哦。1288年的苏格兰政府宣布,在闰年的229日,女人可以向男人求婚。在这一天拒绝求爱者的男性需要为自己的拒绝付出“代价”,可以送给女士一个礼物。但愿今天表白的姑娘都如愿。得到礼物的姑娘也别气馁,继续加油。@happy张江
+1000112131 y7LBKdUnb
+【中国历史上最牛的一次西藏自驾游】一位牛人,刚拿到驾照就迫不及待买了辆国产二驱越野车,车牌都没上就踏上了魂牵梦绕的西藏之旅之后发生的事情我都快笑破肚皮了路过青海湖,谁能看出这是一辆连磨合期都没过的新车呢?
+1000112131 y7KpthPLN
+【国务院要求今年在京津冀及省会城市监测PM2.5】中广网消息,国务院今日发布空气质量新标准,新增PM2.5监测指标,今年在直辖市、省会城市和京津冀、长三角、珠三角等地区开展监测,2015年覆盖地级城市。 http://t.cn/zOqP9X0
+1000112131 y7KnEFmUk
+【河南漯河原市长吕清海全国人大代表资格被终止】新华网报道,全国人大常委会今日表决通过关于个别代表的代表资格的报告,因涉嫌严重违纪违法,河南漯河市原市长吕清海的代表资格被终止。吕清海去年79日任漯河市市长,49天后被双规。http://t.cn/zOGsVrq
+1000112131 y7JhC0Vfn
+#突发#【传媒大学有人跳楼身亡…】中国传媒大学47号楼有人跳楼,当场死亡!这栋楼是怎么了?这是47号楼第三个跳楼死的了!(Via:@DuRB_朱龙翔)有什么大不了的事非得寻死呢?!爸妈得多伤心啊…
+1000112131 y7I5JgJ3f
+《一次别离》高清在线!!奥斯卡最佳外语片实至名归,柏林电影节金熊奖、最佳男,女演员银熊奖,金球奖最佳外语片。。。本片深刻的反映了伊朗女性的处境,展现了亲情、人性、文化冲突和当下伊朗的宗教力量和社会形态,十分推荐!!!http://t.cn/zOGKmLi
+1000112131 y7I4aCnue
+【新闻出版总署署长柳斌杰将任清华新闻传播学院院长】据清华大学消息,新闻出版总署署长柳斌杰将于31日接受清华大学聘任,成为新一任清华大学新闻与传播学院院长。清华大学新闻与传播学院首任院长范敬宜于前年1113日逝世,此后院长职位一直空缺,柳斌杰将成为该院第二任院长。http://t.cn/zOGmJn7
+1000112131 y7I22gMSp
+【#iPad之争终审#】苹果出示“杀手锏”了!——苹果称深圳唯冠就商标转让事宜签订了一个签名函,这份证据至关重要:该证据是用深圳唯冠的信头纸写的,同时落款是唯冠的董事长。苹果称,深圳唯冠矢口否认其是协议当事人一方,这份证据出示之后对方的说法不攻自破。静待唯冠回复中……来自广东高院官微
+1000112131 y7HTMcaDA
+【《涪陵男子东莞丢肾》续 小伙承认两万元卖肾】 “肾是我自愿卖的,得了两万块钱。”昨天,当着东莞警方的面,舒镇对前去探望他的父亲如是说。面对为何卖肾,当初为何撒谎等诸多追问,他则避而不谈,让本已真相大白的案情,一时间又陷入扑朔迷离之中。——详见29日重庆商报都市新闻09
+1000112131 y7HNCFFnl
+【“北青精神”系列短片3:报画北青】以新颖的报纸画形式,生动阐释北青人“有新闻的地方就有我们”的新闻理念。视频创意、制作、配音:北青传媒广告部宣传策划总监汪楠 @青年说 @北青传媒广告部 @科技生活周刊 @北青网 @尚色Sunshine @CeCi姐妹 @田科武 @本周我值班 @刘鹤微博 http://t.cn/SJGh59
+1000112131 y7HEeydF6
+【演员白静今晨于住所被丈夫刺杀身亡】28日下午,据@巨春雷 微博透露,青年演员@白静 于今晨在住所被丈夫周成海刺杀身亡,目前警方已经控制现场。白静与丈夫之间有第三者,且有经济纠纷,案件正在进一步调查中。白静毕业于中戏2002级表演系,曾出演《见龙卸甲》《功夫咏春》等。 http://t.cn/hbcD52
+1000112131 y7HwniQHT
+【河北赵县化工厂车间发生爆炸 已致7人死亡】28日上午920分左右,位于河北石家庄赵县生物产业园的河北克尔化工有限公司一号车间发生爆炸。据现场了解,当时作业的时候一共是有13人,已经死亡7人,搜救出7具尸体,还有6人没有搜救出来。http://t.cn/zOGVj8i【全文308字】
+1000112131 y7DppCVUo
+【周镇宏因严重违纪被撤销十一届全国政协委员资格】据人民网,此决定今日政协第十一届全国委员会常务委员会第十六次会议通过。此前消息称,周镇宏作为2012年第一个落副部级官员,曾主政广东茂名五年。2011年,茂名腐败窝案曝光。落马多位领导干部均系周镇宏提拔。周镇宏116日被带走,接受组织审查。
@@ -0,0 +1,30 @@
+1400935015 y7DswlkH0
+今年北京高招录取率预计达85%。我的妈呀,还能再高点吗?
+1400935015 y7DkkC1yt
+今年北京高招录取率预计达85%。我的妈呀,还能再高点吗?
+1400935015 y7ADMfE0s
+男人喜歡不懂裝懂,女人喜歡懂裝不懂。真理啊!
+1400935015 y7zMxpO0F
+一张被大大简化的中国知识界“新左派”和“自由派”的思想地图
+1400935015 y7yGh899z
+【石家庄赵县化工厂爆炸已致7人遇难20多人送医】目前,已从车间搜救出7人死亡,在医院治疗已达20多人。最新情况是:明火已被扑灭,外围搜救结束。据现场目击者称,该厂整个一车间全被炸平了,附近村庄皆有震感,2000米内的房屋出现玻璃震碎现象。具体爆炸原因有待查实:http://t.cn/zOGtmdw
+1400935015 y7yuQ8tif
+今日上午910分左右,河北赵县一家化工厂发生爆炸,厂房及附近房屋的玻璃全部被震碎,附近村庄有震感,目前伤亡不详。长城网
+1400935015 y7u0kiMRU
+一直想找一个新闻总监,有新闻激情,有新闻理想,有新闻策划能力,南方系优先,报纸杂志优先,待遇钢钢地,必须地,包我身上,有意一起大干一把吗?亲
+1400935015 y7r6ozxQ9
+参加全国晩报都市报总编辑研讨班,发现两个特点:一是总编辑中男性占绝对多数;二是吸烟的老总真不少。
+1400935015 y7p54yaAA
+【“北青精神”系列短片2:北青给力】视频:北青集团2011年会筹备组;作曲:汪峰;歌词改编:杨菊芳;演唱:郝羿、邓宁、赵国明、李然 @青年说 @北青传媒广告部 @科技生活周刊 @北青网 @尚色Sunshine @CeCi姐妹 @北青新讲坛 @田科武 @本周我值班 @刘鹤微博 @小雨one http://t.cn/zObHk4h
+1400935015 y7o3v3aYJ
+1966824日凌晨,被红卫兵打得遍体鳞伤的老舍欲回家,然而,家人坚拒他进门要其好好反醒。他独自来到了太平湖,在湖边坐了整整一天,几乎没动过,最后步入湖水自尽。死后,连骨灰也未保留。老舍曾说,“我想写一出最悲的悲剧,里面充满了无耻的笑声。” ——是那个时代毁了亲情。
+1400935015 y7ju3x0Ec
+奥斯卡获奖影片<国王的演讲>字幕版24日登录北京各大影院,安贞UME 全天只安排两场,前景很不妙啊.为什么是这样?
+1400935015 y7jkMul6T
+【如何去甄别一条网络传播消息的真假?】新浪微博运营经理@李不凯 的《微博辨假手册》,详细阐述了新浪微博工作人员,是如何鉴别信息真假的。无论是重大国际新闻、还是新奇的国外新闻资讯、再到历史知识、科学信息、微博上的账号真假、甚至神奇的天朝新闻,参照执行,百假不侵。 http://t.cn/zO2HcIc
+1400935015 y7j9Exm48
+奥斯卡获奖影片<国王的演讲>字幕版24日登录北京各大影院,安贞UME 全天只安排两场,前景很不妙啊.为什么是这样?
+1400935015 y711tCeyC
+昨天由北京南海子麋鹿苑运抵辽宁的二十头麋鹿,其中一头雌鹿因路途艰险不幸在途中殒命。经调查,这头麋鹿与同车群鹿,可能在途中(很可能在京哈高速昨天长达七小时的交通堵塞中)受到惊吓,并死于此后的踩踏。@科技生活周刊 @童庆安 @魏刚1972
+1400935015 y6ZqT6Uaq
+在青促会上,见到了许多人的偶像@常昊,有要打招呼的吗?
@@ -0,0 +1,30 @@
+1685484143 y7LZu835E
+【注意:羽绒服放洗衣机甩干会爆炸!】据华商报,西安的冯大妈把洗好的羽绒衣放入洗衣机甩干时,洗衣机居然爆炸。业内人士提醒因为由于湿的羽绒服含水量很大,而羽绒服外层是带涂层的,有防水功能,水不容易甩出去,脱水机一般容量有限,这种情况下机器可能会发生爆炸。正值换季时候,提醒大家注意咯~
+1685484143 y7LKJxuUV
+据说今天作为女生尽可以提无理要求。为什么只有不到3小时今天就结束了才知道有这特权。可是,该提啥要求呢?
+1685484143 y7Lrr88VA
+智商进入下行通道
+1685484143 y7Lm0fD32
+"以贴标签、划强弱的方式动员舆论,并间接影响司法的手段,却是一柄双刃剑,一方面可能间接促成了司法正义...但也可能在过度简化和强化了的愤怒情绪中,遮蔽了某些需要细致甄别的事实...公众及媒体必须具备谨慎使用这柄双刃剑的自觉意识",张天蔚《少女毁容案背后的舆论监督与公平正义》, @北京青年报
+1685484143 y7I4fEJa4
+【黎瑞刚辞任上海市委副秘书长 任TVB总裁】香港《南华早报》29日头条:上海市委副秘书长、市委办公厅主任黎瑞刚确定离任,将任TVB总裁(如图)。我21日发布的微博消息无误。
+1685484143 y7GZYwZE0
+一出租车27日晚10点在学院桥被一黑色轿车追尾,撞过隔离带,对面车道五辆车受损。肇事车逃逸,疑为一年轻女子酒驾。司机两口子是我朋友,俩人开双班不易,车仅有交强险,正为五辆车修车费发愁。详见http://t.cn/zOGiQvP。寻目击者,求扩散。@吴鑫 @夏雷2010 @童庆安 @小小李妈 @焦小蓓 @纯蓝墨水2010
+1685484143 y7GZHoCYM
+每天都想离家出走
+1685484143 y7CDkaMdu
+不要给注定不属于自己的东西起名字。--war horse
+1685484143 y7z2igBP6
+说实话,我一直没有兰戈和RANGO对应起来,和@m__i 在机上分享rango爆笑场景的样子好像还是昨天。没法去旅行,但我可以再看一遍这只宠物晰蜴为了爱成长为英雄滴故事假装自己在飞机上
+1685484143 y7yow8oOG
+最近我很忙,我爱上了沙发两秒速降,环屋爬行八分钟,以及把麻麻的拖鞋捡回来给她穿上,以及开我们家巨大的书柜门
+1685484143 y7yc5cviZ
+变脸记:苹果是如何欺骗唯冠获得iPad商标的 | 在向美国加州联邦法院提交的一份修正后的上诉文件中唯冠披露了苹果是如何骗取其iPad商标的,有趣的是苹果在回应中并未否认这些指控。我们一起来看一下苹果如何上演了一场“精彩”的变脸大戏。 http://t.cn/zOGqKen by @怕水的鱼007
+1685484143 y7yb5qcsl
+由于名古屋市长河村隆之拒绝收回有关否定“南京大屠杀”的发言,由日中两国政府共同主办宣传日本文化与旅游的“日本南京周”活动,计划在39日至11日在南京举行。日方关系人士担心“日本南京周”活动会受到影响。但现在中国和南京市有关方面还没有就这一活动作出明确的答复。
+1685484143 y7twYkWPB
+一个人,走在寒冷的夜色里,有时候会莫名地涌出悲凉。没有方向。没有光亮。
+1685484143 y7s3X2h83
+Nokia诺基亚就是自己的各个产品线部门像武当各个门派一样,窝里互相掐,掐死拉倒。
+1685484143 y7s1kvNie
+Nokia诺基亚就是自己的各个产品线部门像武当各个门派一样,窝里互相掐,掐死拉倒。
Oops, something went wrong.

0 comments on commit 46eabeb

Please sign in to comment.