feapder

feapder copied to clipboard

浏览器渲染功能是否可以添加支持drissionpage库？

6

DrissionPage 是一个基于 python 的网页自动化工具。 它既能控制浏览器，也能收发数据包，还能把两者合而为一。 可兼顾浏览器自动化的便利性和 requests 的高效率。 它功能强大，内置无数人性化设计和便捷功能。 它的语法简洁而优雅，代码量少，对新手友好。 官网：https://drissionpage.cn/ 项目地址：https://github.com/g1879/DrissionPage

FRzhuizhu

BatchSpider可以指定抓取时间吗？

1

BatchSpider可以指定比如每天08:00-19:00进行任务这种吗

keeleys

新增Qmsg酱报警：https://qmsg.zendee.cn/docs/api/ 将send_msg的keyword移动到函数参数

CMJNB

response 的判断

1

**需知** 可否写成这样 if response is None: response = ( request_temp.get_response() if not setting.RESPONSE_CACHED_USED else request_temp.get_response_from_cached( save_cached=False ) ) **问题** 这个response 为404的时候我不希望走进判断逻辑里面重新下载 **截图**  **代码** ```python ```

TTTSHU

修复playwright获取状态码的bug

1

修复playwright响应状态码错误的bug

floyd-lovelace

Playwright启动浏览器方式有好多种： 1：launch 2：launch_persistent_context 3：connect_over_cdp(这个用处大) 4：connect 这个能不能升级下添加这几个功能呀， 目前我看貌似就调用了launch，启动新的浏览器实例

apollo9527a

这个框架确实比scrapy好用，有个2问题需要请教下： 1：我登录一个网站后，浏览器会存储这个网站的相关信息，以后不会再叫我登录了，但是通过feapder Request render=True方式打开的 浏览我登录的相关信息会丢失，导致显示没有登录。貌似cookie丢了？或者开启了无痕模式？ 2：打开指纹浏览器后，会有个代理地址，怎么通过配置这个浏览器代理地址来使用指纹浏览的啊？

apollo9527a

如何让AirSpider在调用时每次的浏览器实例都为最新

1

各位大佬好，最近在使用`feapder`这个爬虫框架，框架设计的非常棒。自己由于不是专业的爬虫，在使用过程中有一些问题，自己完成没有思路了。希望得到大佬位的指点！不胜感激 ### 有如下的需求： 现在使用了`AirSpider`浏览器渲染（Playwright）模式，进行抓取两个网站的数据，针对不同的API进行拦截json。 在一个启动的服务，通过接口交互，来触发并以`xxxSpider().start()`方式调用。 ### 问题 在执行其中其中一个`AirSpider`时，通过`url_regexes`拦截的数据，都是正常且任务执行完成都通过`response.close_browser(request)`方式关闭了浏览器。 但是再次通过`xxxSpider().start()`调用第二个网站爬虫时，拦截的接口数据都为None。 自己尝试定位了问题，发现执行第二网站爬虫时，使用的浏览器实例为第一个爬虫完成后，框架中缓存的（可以理解为第二个爬虫的设置都没有生效）浏览器实例，目前没有找到解决方案，恳请各位大佬指点下！ ### 期望 希望每次执行`xxxSpider().start()`之后系统都能按设定重新生成一个指定的浏览器实例，不使用框架缓存的实例 ### 复现代码仓库 [https://github.com/javaswing/feapder-demo](https://github.com/javaswing/feapder-demo)

javaswing

url = 'site.com?catid=this_catid&id=this_id' print(tools.get_param(url, "catid")) print(tools.get_param(url, "id"))

s0ing

修复mongodb批量更新时,多个满足条件的数据只更新一条的问题.

chang-xiao-feng