多进程爬虫

[Zzzyc0528]

作者您好，想请问一下怎么进行多进程爬虫呢？我的想法是先将程序用jupyter notebook打开，然后调用multiprocessing包，但是不知道怎么把搜索关键词传进去。。

[dataabc]

这个我也不清楚，但是可能容易被限制。

[Zzzyc0528]

就是我看我的CPU利用率一直是个位数...感觉有点浪费资源,或许作者您有什么提高CPU利用率的办法吗？

[dataabc]

我不怎么使用，你网上搜索吧，不要速度太快，否则容易被限制。