owner888

支持的，首先设置好内容页规则，比如: 'content_url_regexes' => array( "http://www.mafengwo.cn/i/\d+.html", ), 然后在on_scan_page里面批量生成内容页url $spider->on_scan_page = function($page, $content, $phpspider) { for ($i = 0; $i < 1000; $i++) { $url = "http://www.mafengwo.cn/i/{$i}.html"; $phpspider->add_url($url); } };

add_url是会去重的，用add_scan_url($url, $options = array(), $allowed_repeat = true)方法，默认$allowed_repeat为true，说明允许重复

请看这里 https://doc.phpspider.org/development_skills/simulateLanding.html

@wblbird 你这写错了阿，两个ip应该用数组，而不是连着写阿

@BrainGithub 你那个地方可能被墙了，你加一下QQ群，里面有pdf的文档

在on_start里面不可能就有cookie的啊，所以肯定是空的啊

>   类似这种html代码 这种只能用 chromedriver了

应该是redis版本太低了，昨天有一个童靴就遇到这个问题，把redis更新一下即可

没有用cls_curl了，requests是cls_curl优化后的版本，win就不考虑性能了，能运行单进程测试就不错了，没必要去折腾它

没必要去结合，并不会打来性能的提升