DIYSearchEngine

DIYSearchEngine copied to clipboard

将页面上的超链接插入 pages 表，但是会碰到页面中有泛解析站群的网站，内容都是js生成随机调用链接，就会无限循环爬虫 我遇到了很多这样的站，如下： "link_url": "http://smp47ccf.gdyaauc.com", "href_domains": [ "http://05u2svrf.zjjzgh.org", "http://0l3p7aft.qiliangjy.top", "http://19vmozz2.zcfgwn.com", "http://1lgvfoe.sdjdlw.com", "http://2xys6axot.qifeng365.com.cn", "http://3a8n6t66d.jscysg.com", "http://3b5g5f5.sckcjsqg.com", "http://4tbtzl1uu.tumourcloud.com", "http://5rwocxf.666ic.net", "http://5wjhuzbgw.t4h.cn", "http://61loq0d.lshlyd.com",] "link_url": "http://nmmqtrv.ciduw.com", "href_domains": [ "http://1.ciduw.com", "http://11.ciduw.com", "http://1118741.ciduw.com", "http://112.ciduw.com", "http://112579.ciduw.com", "http://12237.ciduw.com", "http://1227.ciduw.com",...

c1y2m3

感觉很厉害 建议做个 docker 部署流程

tengzhinei

牛

sky-L