Perpetually

Results 7 issues of Perpetually

是服务器出bug了么? ![Snipaste_2021-10-09_15-57-47](https://user-images.githubusercontent.com/39957226/136649702-19b3f528-4a77-456c-8321-72fb6ced57e3.jpg)

微信群过来的资深用户我提两个建议: 1 列表页不用xpath直接提取。 2 详情页content可以记录image位置 第一点可以参考一下崔庆才的这个项目 https://github.com/Gerapy/GerapyAutoExtractor 我用了一段时间,体验还可以。然后目前的LIstPageExtractor 经常会出错,不太方便。

拒绝处理
讨论

**Bug 描述** next.crawlab.cn/zh/guide/installation/docker.html#%E5%8D%95%E8%8A%82%E7%82%B9%E9%83%A8%E7%BD%B2) **复现步骤** 该 Bug 复现步骤如下 1单节点部署 2上传爬虫文件 3启动爬虫(命令是python3 run.py) 4启动失败了,ModuleNotFoundError: No module named 'requests' **期望结果** 在底部安装依赖栏,选择了python安装到所有节点

bug

[新闻网](https://channel.chinanews.com/u/news/gnmtjc.shtml) [法制网](http://www.legaldaily.com.cn/node_103588.htm) 例如上面两个网站会抓取失效

1增加一个page字段,可以直接获取到列表页所有的page不用做翻页了 2增加一个翻页方式,例如每页100条,不用一直往下拉 3点击done以后同一个页面会出现多个xpath,而且都不同容易有干扰 4点击done以后会重复添加xpath,而且不太好去重 5无法验证xpath是否正确,希望能添加一个xpath验证接口