proxypool icon indicating copy to clipboard operation
proxypool copied to clipboard

启动提示这个错误,是怎么回事啊

Open lxl315 opened this issue 5 years ago • 11 comments

⚡ root@instance-69nkc38q  ~ ./proxypool 2019/04/19 11:21:36 [TRACE] Log path: 2019/04/19 11:21:36 [TRACE] Log Mode: File (Info) 2019/04/19 11:21:36 [ INFO] ProxyPool 2019/04/19 11:21:37 Starting server 0.0.0.0:3000 2019/04/19 11:21:37 Chan: 0, IP: 810 panic: runtime error: invalid memory address or nil pointer dereference [signal SIGSEGV: segmentation violation code=0x1 addr=0x18 pc=0x818708]

goroutine 71 [running]: github.com/henson/proxypool/getter.IP89(0x0, 0x0, 0x0) D:/goworker/src/github.com/henson/proxypool/getter/89ip.go:27 +0x478 main.run.func1(0xc00060a7e0, 0xc000665330, 0x93bf18) D:/goworker/src/github.com/henson/proxypool/main.go:72 +0x2b created by main.run D:/goworker/src/github.com/henson/proxypool/main.go:71 +0xee

lxl315 avatar Apr 19 '19 03:04 lxl315

@lxl315 你操作了什么才出现这个啊,你是用了http://localhost/v2/https 还是怎样操作了呢。

sndnvaps avatar Apr 19 '19 04:04 sndnvaps

@sndnvaps 不是,我就是第一次启动 这个程序,我在linux下面执行了 ./proxypool 过一会就报错了。上面就是日志。程序直接就退出了。

lxl315 avatar Apr 19 '19 04:04 lxl315

@lxl315 你的数据库,配置的是mysql吗,还是其它数据呢。 根据提示,这显示错误为 获取ip地址的时候出错了。可能要待几天,我才有空检查问题, 暂时解决方案: 在main函数里面,注释掉出错的这个 89ip 功能

sndnvaps avatar Apr 19 '19 04:04 sndnvaps

@sndnvaps 我是mysql数据库,以前也出现过。当时我也把对应功能注销了。等下我试试吧。谢谢你啦

lxl315 avatar Apr 19 '19 04:04 lxl315

@lxl315 有的时候,不要爬得太厉害了,你可以自己写一个调用接口来获取数据库中的 地址

sndnvaps avatar Apr 19 '19 04:04 sndnvaps

@sndnvaps 是这样的我把这个程序启动后,就不管了。然后我另外一个爬虫,会调用 http://xxx.xx:3000/v2/ip 这个地址来获取ip的。可能是我的getter 方法获取代理的太多了。我应该去掉几个?

lxl315 avatar Apr 19 '19 04:04 lxl315

@lxl315 现在网站有防爬虫机制的,如果代理够用了,可以暂时停止。 用自己的接口,直接调用数据库中的ip地址。这个程序是60s,还是多少分钟爬一次网站的。 我担心出现,网站把你的ip ban了。这就不好了。

sndnvaps avatar Apr 19 '19 04:04 sndnvaps

@sndnvaps 明白了。反爬这个没关系。我的爬虫是如果ip没有被ban,就一直用这个ip,如果ban了,就会重新获取一个ip,不过我的proxypool程序一直开着。后面获取差不多的ip的时候我就先暂停就行了

lxl315 avatar Apr 19 '19 04:04 lxl315

ok, have a good day.

sndnvaps avatar Apr 19 '19 04:04 sndnvaps

thanks

lxl315 avatar Apr 19 '19 05:04 lxl315

panic: runtime error: invalid memory address or nil pointer dereference [signal SIGSEGV: segmentation violation code=0x1 addr=0x18 pc=0x818708]

goroutine 71 [running]: github.com/henson/proxypool/getter.IP89(0x0, 0x0, 0x0) D:/goworker/src/github.com/henson/proxypool/getter/89ip.go:27 +0x478

可以看下我的修改 https://github.com/henson/proxypool/issues/44

nlh1996 avatar Jun 18 '19 01:06 nlh1996