go_spider

go_spider copied to clipboard

https://github.com/Jack-Cherish/python-spider https://github.com/GoJerry/JSCrack 特别是这个项目

passerbyo

我现在想获取html里面的script内容要怎么获取，并且获取完后我想过滤

xiaobaiban

The items of the PageItems are map[stirng]string, but many times we want to save some struct. It is not very convenient.

lay-g

bluesand

自定义的程序处理爬虫过程processor； 自定义的结构体中如有某个属性存在资源竞争，需要定义sync.Mutex，加锁吗?

FlashFeiFei

增加并发数量会导致爬取相同请求，且大多数请求未被处理

1

我将并发数调到20 ，但是发现同一个请求被重复爬取，且大多数请求未被处理  

CoderPoet

taskname有什么用处

top

OYF5457

自动转码有的时候会出问题，参见： #30

keepeye

比如这个url `https://www.repian110.com/film6/48765/48765.js` 应该是gbk编码的文件，里面有一个圆点，httpdownloader自动转码后变成乱码，而iconv转gbk到utf8是正常的。

keepeye