feapder

feapder copied to clipboard

新增Qmsg酱报警：https://qmsg.zendee.cn/docs/api/ 将send_msg的keyword移动到函数参数

CMJNB

/usr/local/python3/lib/python3.11/site-packages/pymysql/connections.py:846: UserWarning: Previous unbuffered result was left incomplete warnings.warn("Previous unbuffered result was left incomplete") 感觉与这个有关系，有设置了REQUEST_FILTER_SETTING 为 filter_type=3 同时在入库前，有进行一行mysql find查询hash，但是最后还是会重复，从重复的入库时间来看，在同秒进入的。 `hash = torrent['info_hash'] sql = f"SELECT `t_id`,`t_hash`,`t_douban_id`,`t_imdb_id` FROM `mv_torrent` WHERE t_hash='{hash}'"...

oyjcmyn

playwright方式报错

9

**问题** 运行示例test_playwright.py 报错playwright._impl._errors.Error: It looks like you are using Playwright Sync API inside the asyncio loop.\nPlease use the Async API instead. python环境 conda python 3.10 feapder[render] 1.9.0 **截图**  **代码**...

wangfan002

网页返回编码错误

1

**需知** 升级feapder，保证feapder是最新版，若BUG仍然存在，则详细描述问题 > pip install --upgrade feapder **问题** 在使用feapder请求网址，https://www.bookschina.com/8342179.htm 的时候 用requests请求返回的数据是正常的 但是使用feapder请求的网页数据 字符串部分就是乱码 并且 在请求的时候使用了参数 auto_request=False 然后在回调中手动用requests请求，返回的数据是正常的，但是使用 response = feapder.Response(response) 把Response转换之后 字符串就开始乱码。 已经尝试过吧 resposen.code = "utf-8" 和 gb231 都是不可以的。 **截图**...

ruikai0103

已经是最新版 问题： 在框架中抽象出来func 函数用于所有请求调用 yield from func() 在第一个函数 for循环请求2次 用了meta参数第一次传递{'aa':aa}，第二次{‘aa’:bb} 到后面回调函数中 打印request.mate 发现都是{‘aa’:aa} 在第一个函数定义 aaa ={} 第二个函数增加不一样的数据传递时aaa['zz']='dsa'，， 到第三个函数的时候 aaa 数据就会是相同的。

VinceYcc

AirSpider爬虫的parse函数中使用ThreadPoolExecutor线程池报错误

1

我想在AirSpider爬虫中的parse函数中使用ThreadPoolExecutor线程池实现并发下载图片，但是会报错误：|cannot schedule new futures after interpreter shutdown。 我的python是3.10. 代码类似下面： def parse(self, request, response): with ThreadPoolExecutor(max_workers=10) as executor: tasks = [] for i in range(1, 10): tasks.append(executor.submit(math.sqrt, i)) for future in...

yjm2018

任务线程和爬虫线程常驻，第一次运行结束后运行第二天的任务时入库不成功，报mysqldb错误

4

|mysqldb.py|add_batch|line:291|ERROR| error:'MysqlDB' object has no attribute 'connect_pool' 重启爬虫线程后入库正常 咋回事呢

cidiry

自定义下载器为curl_cffi报错

4

```python from curl_cffi import requests as cffi_requests import random aaa = [ "edge99", "edge101", "chrome99", "chrome100", "chrome101", "chrome104", "chrome107", "chrome110", "chrome116", "chrome119", "chrome120", "chrome123", "chrome124" ] from feapder.network.downloader.base import Downloader...

cidiry

使用自定义代理池时，判断生效的条件是必须指定代理api，但是如果代理池本身不需要api的话，为了使它生效，还是要另外写一个值上去。可以优化下判断自定义代理池的条件，比如自定义代理模块路径和api任意一个存在即可生效。 

KevinWang22

发现一个描述细节问题 hh

1

**版本**  **问题** 时间戳这里写错了 hhh **截图** 

CrankyChili