feapder icon indicating copy to clipboard operation
feapder copied to clipboard

能否实现打开本地html文件并解析的功能?

Open iptag opened this issue 3 years ago • 5 comments

大佬的parse解析函数写的很棒,很适合小白分析网页数据并定位节点。 但每次都需要向网站发送request,然后根据网站回传的response进行解析,有些网站又做了反爬处理,时不时就弹验证,需要手动处理。实际上,小白写代码时需要不停的获取response(也就是网站的html文件)来编写代码,那就考虑把网站的html保存到本地,然后调用feapder处理,查看了说明文档和网上的实例,都没提及这点,所以想请教大佬该怎么操作?谢谢!

iptag avatar Aug 23 '22 00:08 iptag

feapder shell --help

Boris-code avatar Aug 27 '22 11:08 Boris-code

feapder shell --help

多谢大佬指点。 但这个shell -u(--url)命令好像有问题, 每次运行都提示错误:

C:\Users\xxx>feapder shell -u https://www.baidu.com
2022-08-31 09:44:48.158 | DEBUG    | feapder.network.request:get_response:line:316 |
                -------------- request for ----------------
                url  = h
                method = None
                body = {'proxies': None, 'timeout': 22, 'stream': True, 'verify': False, 'headers': {'User-Agent': 'Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}}

查了下原因,好像是:post传入的参数不对,可能应该传入列表(list参数),但实际传入的是字符串 https://blog.csdn.net/qxqxqzzz/article/details/90241303 我用的python3.8.10

iptag avatar Aug 31 '22 01:08 iptag

image

Boris-code avatar Aug 31 '22 02:08 Boris-code

image

win10,python3.8.10,feapder1.79 oracle-arm,Ubuntu22.04.1,python3.10,feapder1.79

两个环境测试,都提示上面错误。。。。

iptag avatar Aug 31 '22 02:08 iptag

image

把feapder\commands\shell.py中的204行 args.url[0]改为args.url 就正常了。。。。

iptag avatar Aug 31 '22 09:08 iptag

已修复

Boris-code avatar Nov 14 '22 06:11 Boris-code