weibo-crawler
weibo-crawler copied to clipboard
新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
微博只有日期, 没有时间。 ``` { "user_id": xxxx, "screen_name": "", "id": 4710605912xxxxx, "bid": "Lxxxxxx", "text": "xxxxxxxxxxx ", "article_url": "", "pics": "", "video_url": "", "location": "", "created_at": "**2021-12-04**", "source": "iPhone", "attitudes_count": 0, "comments_count":...
大佬好,按照教程: 以爬取迪丽热巴的微博为例,我们需要修改config.json文件,文件内容如下: 但是我找不到 config.json 这个文件
大佬好,我在配置好setting后开始python weibo.py运行,但几乎是命令行开始运行的一瞬间程序就会自动退出,无法运行,请问大佬我应该如何解决呢?
之前老大帮忙看的获取微博信息的部分已经实现了,再次感谢~现在遇到一个新问题,我需要批量爬多个微博的粉丝数、关注数和微博发布数三个数据,我看官方code说明了说了可以输出这部分用户信息的。。但是不知道怎么样去运行或者设置,请老大指导下,多谢~ config.json里目前改好运营main都是爬的微博内容。
保存csv文件或者保存到mysql数据库中,只能写入评论数,不能保存评论内容?能帮忙解决下吗?
在线视频最高画质1080p,但爬取下载的一般就默认480p。能否对视频画质进行优化?辛苦了。
请问能否实现特定(批量)微博的评论抓取呢,比如根据一列bid,来抓取这些微博前50条热门评论?谢谢
config.json内容如下 { "user_id_list": "user_id_list.txt", "query_list": "query_list.txt", "filter": 0, "remove_html_tag": 1, "since_date": "2020-11-27", "start_page": 1, "write_mode": ["csv"], "original_pic_download": 0, "retweet_pic_download": 0, "original_video_download": 0, "retweet_video_download": 0, "download_comment":0, "comment_max_download_count":100, "result_dir_name": 0, "cookie": "...",...
假如要爬取2020-1-1到2020-10-1 这段时间内的全部微博这个时间需要怎么设置?