owner888

页面超过3M不处理一般是内存溢出了，有报错吗 ？

兄弟测试结果如何，能否提供代码

这个不应该啊，兄弟是因为文章有多个url吗，还是你重复跑程序了呢

采集好几个网站，你都写一个配置吗，你可以分开写啊，比如qiushibaike.php，mafenwo.php，然后分别运行，那当然是要写两次，如果你都是为了采集一份内容，比如采集几个小说站，放到一个数据库表去，那你可以在规则哪里同时配置两个网站的url规则

可以的啊，什么问题呢 ？

开200个试试，可能对方网站太慢了

可以采集，直接请求ajax地址，ajax地址可以在chrome里面查看，不懂可以百度

> 我想在抓取新闻网站，网站是动态加载的，通过浏览器是能看到它的请求更多数据的接口，也能请求下载到数据，但是是json格式的，相当于是能取到列表页数据的，这种场景还是比较多的，怎么能通过框架哪个中间件接口能嵌入进去继续爬取呢？目前我看到的是通过addUrl可以提前告诉框架所有详情页的url这种方式 是的，通过addUrl可以实现

是一直运行直到抓完所有数据自动停止的哈，看到程序退出了，就是全抓完了

我建议是直接浏览器登录然后拿cookie，当然你想要自己手动输入验证码也可以，而且简单得不得了，但是这样操作不比直接浏览器拿cookie麻烦多了么 ？