owner888
owner888
支持的,首先设置好内容页规则,比如: 'content_url_regexes' => array( "http://www.mafengwo.cn/i/\d+.html", ), 然后在on_scan_page里面批量生成内容页url $spider->on_scan_page = function($page, $content, $phpspider) { for ($i = 0; $i < 1000; $i++) { $url = "http://www.mafengwo.cn/i/{$i}.html"; $phpspider->add_url($url); } };
add_url是会去重的,用add_scan_url($url, $options = array(), $allowed_repeat = true)方法,默认$allowed_repeat为true,说明允许重复
请看这里 https://doc.phpspider.org/development_skills/simulateLanding.html
@wblbird 你这写错了阿,两个ip应该用数组,而不是连着写阿
@BrainGithub 你那个地方可能被墙了,你加一下QQ群,里面有pdf的文档
在on_start里面不可能就有cookie的啊,所以肯定是空的啊
> ![image](https://user-images.githubusercontent.com/106953402/172116165-b459eb41-06db-4fc8-8c5e-af9b6e4b6cb0.png) ![image](https://user-images.githubusercontent.com/106953402/172116251-c810f8f1-6674-4589-858f-03ae5056aff3.png) 类似这种html代码 这种只能用 chromedriver了
应该是redis版本太低了,昨天有一个童靴就遇到这个问题,把redis更新一下即可
没有用cls_curl了,requests是cls_curl优化后的版本,win就不考虑性能了,能运行单进程测试就不错了,没必要去折腾它
没必要去结合,并不会打来性能的提升