feapder

feapder copied to clipboard

大佬好： 在使用命令创建爬虫时 是否可以自定义模板。

HaagenOpes

解决这个[bug](https://github.com/Boris-code/feapder/issues/290)

qe-present

看了源码，Dedup类没有提供close方法，如何确保一个爬虫任务完成之后redis连接关闭？防止大量redis连接未关闭导致redis服务不可用

OSinoooO

feapder.core.handle_failed_items 中，HandleFailedItems.reput_failed_items_to_db方法，data = eval(data_str) redis中保存失败的数据，可能携带 deatetime 类。 例如data_str = {'create_time': datetime.datetime(2025, 10, 22, 10, 3, 16), 'city_name': '无锡市'} 会报以下错误：NameError: name 'datetime' is not defined. Did you forget to import 'datetime'...

QiuLusssss

无法手动设置字符编码可能会进入自动识别字符编码模块，导致其他语言识别乱码。

AboutDark

**需知** 升级feapder，保证feapder是最新版，若BUG仍然存在，则详细描述问题 > pip install --upgrade feapder **问题** 使用playwright报错 playwright._impl._errors.Error: It looks like you are using Playwright Sync API inside the asyncio loop. Please use the Async API instead. **截图**...

Linrupin

尝试解决时间默认 UTC 的问题，发现 PooledDB 支持 setsession，故扩展

someoneiscoding

**需知** 升级feapder，保证feapder是最新版，若BUG仍然存在，则详细描述问题 > pip install --upgrade feapder **问题** 使用“爬虫工具库”中的“curl转feapder” 和 “curl转requests”，报错：解析失败: No closing quotation **截图** **代码** 原始curl ```curl curl 'https://www.ons.gov.uk/employmentandlabourmarket/peoplenotinwork/unemployment/timeseries/mgsx/lms/data' \ -H 'accept: application/json, text/javascript, */*; q=0.01' \ -H 'accept-language:...

suyinLoong

suyinLoong

**需知** 升级feapder，保证feapder是最新版，若BUG仍然存在，则详细描述问题 > pip install --upgrade feapder **问题** PlaywrightDriver截图报错 **截图**  **代码** def parse(self, request, response): browser: PlaywrightDriver = response.driver browser._user_agent page: Page = browser.page page.wait_for_timeout(1000) page.screenshot(path=f'output\{self.prtsc}.png',timeout=5000) # page.wait_for_timeout(2000) ```python...

cy248740603