pilot icon indicating copy to clipboard operation
pilot copied to clipboard

selenium如何爬取js现实的网页

Open Totie-O opened this issue 9 months ago • 1 comments

李老师,我最近想用selenium模拟浏览器,登录淘宝千牛后台(我想下载自家公司的链接评论) image 但是我在浏览器上面能定位到这个两个输入框,但是用python代码去模拟浏览器点击会报错,说定位不到这个元素 image 我猜原因可能是网页通过动态生成,但这种网页我以前没有遇到过,不知道怎么解决,李老师能不能给个指引啥的,谢谢

Totie-O avatar Apr 28 '24 17:04 Totie-O

这类大厂的商业网站一般会有很多防抓取的设计,不容易搞定,可能要针对目标网站做尝试,可以先搜索下有没有人干过,比如

https://blog.csdn.net/qq_53953480/article/details/130606111

这个你有试过么?

neolee avatar Apr 29 '24 06:04 neolee

感谢李老师的指点,我成功用selenium爬到自己想评论了

Totie-O avatar Jul 19 '24 16:07 Totie-O