Boris

Results 92 comments of Boris
trafficstars

> ok,大佬🐂🍺。 > 等大佬的管理平台出来了,开始慢慢迁移。 好哒

> 自动入库报错 > > ## setting配置 > MYSQL_IP = "localhost" > MYSQL_PORT = 3306 > MYSQL_DB = "qgzz" > MYSQL_USER_NAME = "root" > MYSQL_USER_PASS = "root" > 2021-12-17 18:51:04.270 |...

> @qianyin123 > 用命令创建items 时,setting 里设置的数据库没有生效 你的setting.py是在项目的根目录下么?按照项目的结构,在items里创建item试试

> @AlanWeekend > batch_interval 是批次定时执行的间隔时间吗?我设置间隔0.016小时。这个批次执行完了之后,并没有更新is_done字段。也没有在0.016小时之后重新开始执行批次。需要我手动重新执行start_monitor_task()。才会把is_done更新为1,然后创建了一个新的批次记录?如果我要做循环执行的,怎么做? 不是定时启动执行, 只是时间间隔,定时启动需要自己设置定时计划

> @AndrewAndrea > start_request打印为啥不显示呢 不知道哇

> 请问大佬,我像这样启动一个爬虫之后,当出现“爬虫不自动结束, 等待下一轮任务...”之后,能否手动添加任务,该如何添加呢 > > spider = test_spider.TestSpider(redis_key=redis_key, thread_count=2, delete_keys="feapder:test_spider__0*", auto_stop_when_spider_done=False) > spider.start() ``` import feapder from feapder.db.mysqldb import MysqlDB class SpiderTest(feapder.Spider): def start_requests(self): # TODO 下发任务 def parser(self, request,...

> > > 请问大佬,我像这样启动一个爬虫之后,当出现“爬虫不自动结束, 等待下一轮任务...”之后,能否手动添加任务,该如何添加呢 > > > spider = test_spider.TestSpider(redis_key=redis_key, thread_count=2, delete_keys="feapder:test_spider__0*", auto_stop_when_spider_done=False) > > > spider.start() > > > > > > ``` > > import feapder >...

> @ChinaEamonn > 8. 失败重试 中 `code` 应该替换为 `status_code` 是的,明天我改下

> @ShellMonster > 你好,部分情况下数据抓取量会比较少,想存储为csv格式,请问这个怎么用类似yield item的方法进行存储。 自定义pipeline: https://boris-code.gitee.io/feapder/#/source_code/pipeline

> @ShellMonster > 你好,部分情况下数据抓取量会比较少,想存储为csv格式,请问这个怎么用类似yield item的方法进行存储。 自定义pipeline