phpspider icon indicating copy to clipboard operation
phpspider copied to clipboard

建议在get_urls方法增加钩子,方便添加额外的地址识别方法

Open baopaul opened this issue 6 years ago • 0 comments

最近采集的一个站,它是通过js的onclick location.href 方法跳转到详情页去,然后一直就获取不了详情页地址,后来查看了下代码,在get_urls方法中是通过 selector::select($html, '//a/@href'); 获取的页面链接地址,所以获取不地址,后来我是直接更改的这个方法,在这个下面增加了获取的方法,并合并到上面的结果集中去,顺利的完成了爬取。

baopaul avatar Oct 18 '18 08:10 baopaul