feapder

feapder copied to clipboard

使用说明 - feapder-document

2

https://boris.org.cn/feapder/#/feapder_platform/usage feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

Boris-code

https://boris.org.cn/feapder/#/feapder_platform/question feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

Boris-code

https://boris.org.cn/feapder/#/source_code/%E7%9B%91%E6%8E%A7%E6%89%93%E7%82%B9 feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

Boris-code

如何屏蔽某些exception的打印

4

例如我跑代理隧道会经常报一些代理方面的ProxyError，这种不是我所能掌控的错误并且信息价值对我不大，可否进行屏蔽？

QinJun-1998

ydf0509

https://boris.org.cn/feapder/#/source_code/logger feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

Boris-code

分布式爬虫启动爬虫之后如何手动添加任务

4

请问大佬，我像这样启动一个爬虫之后，当出现“爬虫不自动结束， 等待下一轮任务...”之后，能否手动添加任务，该如何添加呢 spider = test_spider.TestSpider(redis_key=redis_key, thread_count=2, delete_keys="feapder:test_spider__0*", auto_stop_when_spider_done=False) spider.start()

shengtaovvv

简介及部署 - feapder-document

1

https://boris.org.cn/feapder/#/feapder_platform/%E7%88%AC%E8%99%AB%E7%AE%A1%E7%90%86%E7%B3%BB%E7%BB%9F feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

Boris-code

批次爬虫-BatchSpider - feapder-document

7

https://boris.org.cn/feapder/#/usage/BatchSpider feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

Boris-code

start_requests 能否爬取一个 url 数组，或者将 url 作为参数传进去

4

现在 start_requests 的写法是将要爬取的 url 写死在 `yield feapder.Request("https://www.baidu.com/")` 中。 如果想要同时爬取多个 url，怎么处理比较科学呢？ 能否直接传入一个数组？或者在 start 方法的地方，通过循环将 url 一个个传进去？

KerwinChen