feapder
feapder copied to clipboard
路径补全关闭
1,开始请求时 无法更改post请求,必须要设置下载中间件才能正常请求。 2,路径自动补全这个功能无法关闭😩,当我保存路径时不希望带上域名。 3,提供的mysqlDB非常好用,相比scarpy 好了太多,但是 对于下载保存文件不友好,当我需要info保存数据库,照片下载下来的时候就头疼了,没有提供下载文件对应的教程和方法。
- 啥叫更改post请求?request有method参数可以指定请求方式
- 后续feapder版本可以加个配置
- 下文件tools里有方法
感谢您的回复, 我需要爬取的内容 在start_requests时需要带上params 使用poat请求,会响应json类型数据给我。 这问题在scrapy中是用scrapy_Requests无法正常响应需要使用scrapy_Formrequests才能正常响应。而在feapder通过修改下载中间件 才能正常响应
request有method参数可以指定请求方式, method="POST"
对的,我使用了,但是无效。我晚些把代码贴出来给你看一下

对了,我按照你说的是使用了tools下的download_file的方法下载照片,但是我发现他无法设置请求头,我临时改成了这个
,我想让他像feapder.Request那样具有重试的功能
我是使用request完成一个爬虫,想使用框架维护他。就找到了feapder,上手很容易。但是我安照官方文档使用时候遇到了很多坑。暂时弃坑系统学了scrapy后并使用完成我的爬虫。又转回了feapder。可能对框架又了解有些坑无法复现了。
对了,我按照你说的是使用了tools下的download_file的方法下载照片,但是我发现他无法设置请求头,我临时改成了这个
,我想让他像feapder.Request那样具有重试的功能
yield feapder.Request("文件地址")
然后在解析函数里保存 response.content 也是可以的
copy.deepcopy(data)的问题吧~