rad icon indicating copy to clipboard operation
rad copied to clipboard

新增功能建议

Open sinlee1 opened this issue 4 years ago • 5 comments

  • 看起来只能针对某个单一的域名进行爬取,建议增加一个批量读取的URL的

    • 如:本地新建txt文本,把需要爬取的目标放到里面,然后批量爬取
  • 另外只能针对高级版进行深度融合吗?社区办支持吗?文档里面没有说明~

sinlee1 avatar Aug 12 '20 10:08 sinlee1

第一点很抱歉,商业版欢迎你~ 另外目前确实只有高级版支持深度融合,社区版暂不支持。

我们会考虑后续社区版功能的迭代,以及是否放出一些商业版才有的功能,还请持续关注。

chinaykc avatar Aug 12 '20 10:08 chinaykc

希望往后的版本能够推出批量爬取的功能➕1

moluochengbai avatar Aug 12 '20 10:08 moluochengbai

同提

Ethancck avatar Aug 12 '20 10:08 Ethancck

* 看起来只能针对某个单一的域名进行爬取,建议增加一个批量读取的URL的
  
  * 如:本地新建txt文本,把需要爬取的目标放到里面,然后批量爬取

* 另外只能针对高级版进行深度融合吗?社区办支持吗?文档里面没有说明~

我已经实现了,批量爬取+进程池,写了个外部调用脚本,可以根据进程池的数量来控制chrom同时对哪些目标爬取

fumengze avatar Aug 14 '20 04:08 fumengze

* 看起来只能针对某个单一的域名进行爬取,建议增加一个批量读取的URL的
  
  * 如:本地新建txt文本,把需要爬取的目标放到里面,然后批量爬取

* 另外只能针对高级版进行深度融合吗?社区办支持吗?文档里面没有说明~

我已经实现了,批量爬取+进程池,写了个外部调用脚本,可以根据进程池的数量来控制chrom同时对哪些目标爬取 放出来?

Ethancck avatar Aug 14 '20 05:08 Ethancck