weibo-search

weibo-search copied to clipboard

在运行一段时间后Mysql中没有保存爬取的数据

4

在爬取一个小时后，存进数据库的频率变慢，每隔大约三分钟才存入十几条，三小时后没有数据存入数据库，但控制台显示仍在爬取数据。 DOWNLOAD_DELAY 设置为10 FURTHER_THRESHOLD设置为25 目前已运行7小时控制台仍在打印爬取信息，数据库里没有新增。

mtxz007

毕业论文授权问题

3

作者您好，我是一名大四的本科毕业生，本科毕业论文计划采用微博爬取的数据进行文本分析，请问您weibo-search这个项目能不能作为开源项目用到我的毕业论文里？ 因为我看weiboSpider那个项目说明了授权问题，这个项目里好像没有说明，如果可以的话，您希望怎么署名呢？ 最后，非常感谢您的无私贡献，祝您万事顺心~

shendunjunshandiangou

已下载pymysql，但是连不上

2

 

fanjingbo123

运行中断提示TypeError: expected string or bytes-like object

4

2021-12-06 00:16:15 [scrapy.core.scraper] ERROR: Spider error processing (referer: https://s.weibo.com/weibo?q=%E8%80%81%E6%97% A7%E5%B0%8F%E5%8C%BA&typeall=1&suball=1&timescope=custom:2021-01-01-0:2021-07-01-0) Traceback (most recent call last): File "d:\软件安装\python\lib\site-packages\scrapy\utils\defer.py", line 120, in iter_errback yield next(it) File "d:\软件安装\python\lib\site-packages\scrapy\utils\python.py", line 353, in __next__ return...

yang-Learn

选择存入MySQL数据库，库、表已建立，已爬取到内容，但数据库中内容为空。

2

  修改过settings.py MYSQL_DATABASE = 'weibokey'  请问这种问题该如何解决呢

banlangen1111

请问各位大佬这样的是被ban了嘛

4

twisted.internet.error.ConnectionRefusedError: Connection was refused by other side: 10061: 由于目标计算机积极拒绝，无法连接。.

fanjingbo123

存储文件

4

爬完之后默认保存的csv文件找不到了

wwwwwxxxxx1

请问有其他方法启动爬虫程序吗

2

我想用Java传时间参数然后调用cmd启动爬虫，但百度查到不能同时传参和调用cmd命令，只能传参运行python文件。导致参数是单独传递的，cmd启动爬虫时，上一条传递的参数失效，启动报错为 日期参数显示为crawl与search

yanhuac1

准备运行程序时出现包安装的问题

1

大佬求助，我在控制台输入运行命令后出现以下情形  应该是少了urllib2包，但是我下载的时候又出现了另外一个问题  请问有大佬可以解释一下怎么回事嘛

fanjingbo123

微博2015年的数据不能爬取，其他年份都可以，好奇怪哦。请问大神这是什么原因呢？

3

mytcamellia