feapder icon indicating copy to clipboard operation
feapder copied to clipboard

路径补全关闭

Open renewii opened this issue 3 years ago • 9 comments
trafficstars

1,开始请求时 无法更改post请求,必须要设置下载中间件才能正常请求。 2,路径自动补全这个功能无法关闭😩,当我保存路径时不希望带上域名。 3,提供的mysqlDB非常好用,相比scarpy 好了太多,但是 对于下载保存文件不友好,当我需要info保存数据库,照片下载下来的时候就头疼了,没有提供下载文件对应的教程和方法。

renewii avatar Apr 14 '22 11:04 renewii

  1. 啥叫更改post请求?request有method参数可以指定请求方式
  2. 后续feapder版本可以加个配置
  3. 下文件tools里有方法

Boris-code avatar Apr 14 '22 12:04 Boris-code

感谢您的回复, 我需要爬取的内容 在start_requests时需要带上params 使用poat请求,会响应json类型数据给我。 这问题在scrapy中是用scrapy_Requests无法正常响应需要使用scrapy_Formrequests才能正常响应。而在feapder通过修改下载中间件 才能正常响应

renewii avatar Apr 14 '22 12:04 renewii

request有method参数可以指定请求方式, method="POST"

Boris-code avatar Apr 14 '22 12:04 Boris-code

对的,我使用了,但是无效。我晚些把代码贴出来给你看一下

renewii avatar Apr 14 '22 12:04 renewii

image

renewii avatar Apr 14 '22 16:04 renewii

对了,我按照你说的是使用了tools下的download_file的方法下载照片,但是我发现他无法设置请求头,我临时改成了这个 image ,我想让他像feapder.Request那样具有重试的功能

renewii avatar Apr 14 '22 16:04 renewii

我是使用request完成一个爬虫,想使用框架维护他。就找到了feapder,上手很容易。但是我安照官方文档使用时候遇到了很多坑。暂时弃坑系统学了scrapy后并使用完成我的爬虫。又转回了feapder。可能对框架又了解有些坑无法复现了。

renewii avatar Apr 14 '22 16:04 renewii

对了,我按照你说的是使用了tools下的download_file的方法下载照片,但是我发现他无法设置请求头,我临时改成了这个 image ,我想让他像feapder.Request那样具有重试的功能

yield feapder.Request("文件地址")

然后在解析函数里保存 response.content 也是可以的

Boris-code avatar Apr 15 '22 07:04 Boris-code

图片

copy.deepcopy(data)的问题吧~

ybw-github avatar Apr 15 '22 09:04 ybw-github