weibo-crawler
weibo-crawler copied to clipboard
只有user.csv文件
只有一个user.csv是什么原因呢,显示如下,但是没有生成姐夫哦文件夹 成功获取到页面 30 的数据。 ------------------------------已获取微博辟谣(1866405545)的第30页微博------------------------------ Progress: 1%|▊ | 30/2500 [01:33<1:52:00, 2.72s/it] 成功获取到页面 31 的数据。 ------------------------------已获取微博辟谣(1866405545)的第31页微博------------------------------ Progress: 1%|▊ | 31/2500 [01:33<1:22:27, 2.00s/it] 成功获取到页面 32 的数据。 ------------------------------已获取微博辟谣(1866405545)的第32页微博------------------------------ Progress: 1%|▊ | 32/2500 [01:34<1:02:35, 1.52s/it] 成功获取到页面 33 的数据。 ------------------------------已获取微博辟谣(1866405545)的第33页微博------------------------------ Progress: 1%|▉ | 33/2500 [01:34<47:55, 1.17s/it] 成功获取到页面 34 的数据。 ------------------------------已获取微博辟谣(1866405545)的第34页微博------------------------------ Progress: 1%|▉ | 34/2500 [01:43<2:28:38, 3.62s/it] 成功获取到页面 35 的数据。 ------------------------------已获取微博辟谣(1866405545)的第35页微博------------------------------ Progress: 1%|▉ | 35/2500 [01:44<1:48:19, 2.64s/it] 成功获取到页面 36 的数据。 ------------------------------已获取微博辟谣(1866405545)的第36页微博------------------------------ Progress: 1%|▉ | 36/2500 [01:52<2:59:14, 4.36s/it] 成功获取到页面 37 的数据。 ------------------------------已获取微博辟谣(1866405545)的第37页微博------------------------------ Progress: 1%|█ | 37/2500 [01:59<3:25:19, 5.00s/it] 成功获取到页面 38 的数据。 ------------------------------已获取微博辟谣(1866405545)的第38页微博------------------------------ Progress: 2%|█ | 38/2500 [01:59<2:28:08, 3.61s/it] 成功获取到页面 39 的数据。 ------------------------------已获取微博辟谣(1866405545)的第39页微博------------------------------ Progress: 2%|█ | 39/2500 [01:59<1:48:14, 2.64s/it] 成功获取到页面 40 的数据。 ------------------------------已获取微博辟谣(1866405545)的第40页微博------------------------------ Progress: 2%|█ | 40/2500 [02:00<1:20:42, 1.97s/it] 成功获取到页面 41 的数据。 ------------------------------已获取微博辟谣(1866405545)的第41页微博------------------------------ Progress: 2%|█ | 41/2500 [02:09<2:51:45, 4.19s/it] 成功获取到页面 42 的数据。 ------------------------------已获取微博辟谣(1866405545)的第42页微博------------------------------ Progress: 2%|█▏ | 42/2500 [02:15<3:19:10, 4.86s/it] 成功获取到页面 43 的数据。 ------------------------------已获取微博辟谣(1866405545)的第43页微博------------------------------ Progress: 2%|█▏ | 43/2500 [02:16<2:25:07, 3.54s/it] 成功获取到页面 44 的数据。 ------------------------------已获取微博辟谣(1866405545)的第44页微博------------------------------ Progress: 2%|█▏ | 44/2500 [02:16<1:46:32, 2.60s/it] 成功获取到页面 45 的数据。 ------------------------------已获取微博辟谣(1866405545)的第45页微博------------------------------ Progress: 2%|█▏ | 45/2500 [02:24<2:45:25, 4.04s/it] 成功获取到页面 46 的数据。 ------------------------------已获取微博辟谣(1866405545)的第46页微博------------------------------ Progress: 2%|█▎ | 46/2500 [02:30<3:13:34, 4.73s/it] 成功获取到页面 47 的数据。 ------------------------------已获取微博辟谣(1866405545)的第47页微博------------------------------ Progress: 2%|█▎ | 47/2500 [02:30<2:19:18, 3.41s/it] 成功获取到页面 48 的数据。 ------------------------------已获取微博辟谣(1866405545)的第48页微博------------------------------ Progress: 2%|█▎ | 48/2500 [02:37<2:55:33, 4.30s/it] 成功获取到页面 49 的数据。 ------------------------------已获取微博辟谣(1866405545)的第49页微博------------------------------ Progress: 2%|█▎ | 49/2500 [02:47<4:10:51, 6.14s/it] 成功获取到页面 50 的数据。 ------------------------------已获取微博辟谣(1866405545)的第50页微博------------------------------ Progress: 2%|█▎ | 50/2500 [02:48<2:59:55, 4.41s/it] 成功获取到页面 51 的数据。 ------------------------------已获取微博辟谣(1866405545)的第51页微博------------------------------ Progress: 2%|█▍ | 51/2500 [02:56<3:48:01, 5.59s/it] 成功获取到页面 52 的数据。 ------------------------------已获取微博辟谣(1866405545)的第52页微博------------------------------ Progress: 2%|█▍ | 52/2500 [02:56<2:43:34, 4.01s/it] 成功获取到页面 53 的数据。 ------------------------------已获取微博辟谣(1866405545)的第53页微博------------------------------ Progress: 2%|█▍ | 53/2500 [02:57<1:59:25, 2.93s/it] 成功获取到页面 54 的数据。 ------------------------------已获取微博辟谣(1866405545)的第54页微博------------------------------
其它微博也这样吗
是的换个id也是这样的
Progress: 100%|██████████████████████████████████████████████████████████████████| 2500/2500 [2:21:45<00:00, 3.40s/it] 微博爬取完成,共爬取0条微博 短暂sleep 46秒,避免被ban爬取完成后显示这样求解答
未能获取到用户信息,可能需要验证码验证。 收到的 JSON 数据:{'ok': 1, 'data': {'cards': [{'card_type': 11, 'card_group': [{'card_type': 42, 'display_arrow': 0, 'desc': '账号信息'}, {'item_type': 'verify_yellow', 'display_arrow': 1, 'actionlog': {'act_code': '594', 'ext': 'uid:0|ouid:1866405545', 'oid': '2302831866405545_-INFO', 'fid': '2302831866405545-INFO', 'cardid': '230283-WEIBO_INDEX_PROFILE_VERFIED_CARD', 'uicode': '10000198'}, 'card_type': 41, 'item_content': '', 'scheme': 'http://verified.weibo.com/verify?', 'itemid': '2302831866405545-WEIBO_INDEX_PROFILE_VERFIED_CARD'}, {'card_type': 41, 'item_name': '简介', 'item_content': '暂无简介'}]}, {'card_type': 11, 'card_group': [{'card_type': 42, 'display_arrow': 0, 'desc': '个人信息'}, {'card_type': 41, 'item_name': '性别', 'item_content': '男'}]}], 'cardlistInfo': {'show_style': 1, 'can_shared': 0, 'cardlist_menus': [{'name': '刷新', 'type': 'button_menus_refresh'}, {'name': '返回首页', 'params': {'scheme': 'sinaweibo://gotohome'}, 'type': 'gohome'}], 'cardlist_title': '', 'v_p': '42', 'desc': '', 'containerid': '2302831866405545-INFO', 'page': None}, 'scheme': 'sinaweibo://cardlist?containerid=2302831866405545-_INFO&_T_WM=33797554141&v_p=42', 'showAppTips': 0}} 检测到可能的验证码挑战,但未提供验证码 URL。请手动检查浏览器并完成验证码验证。 验证码验证失败或未完成,程序将退出。
登录微博网页 <weibo.com> 看看,应该提示验证码。
您好还是没有结果文件重新验证码后
可能是被暂时限制了,一般来说一段时间后限制会自动解除,过一段时间再看看。
您好爬取到2000条就不正常进行了怎么解决呢
可能是被暂时限制了,您过几天再看看。或者,如果方便,换个账号的cookie在另一台电脑运行看看。
好的谢谢
您好,我也遇到了这个问题,请问解决了吗?