gscan_quic icon indicating copy to clipboard operation
gscan_quic copied to clipboard

☎ IP去重,小白专用

Open blob2015 opened this issue 8 years ago • 9 comments
trafficstars

主任说不开项目也开了,怎么着也得捧场啊,是吧


前戏: 一、简单粗暴,删除所有的有些麻烦的“格式”,只保留x.x.x.x-y.y.y.y【意会即可,别抠】,111.111.111.111【往往中间加了|、"",、空格、或者单独一行,这个嘛,格式转换,看是否有需要,再说,这里就先省下了,免得搞复杂了】,222.222.222.0/24【记住,最后的那个模样,即以0/24结尾,其他的什么0/16什么的,麻烦,全咔嚓了】 只留3种格式!只留3种格式!只留3种格式! x.x.x.x-y.y.y.y 111.111.111.111 222.222.222.0/24

二、安装excel 2007及以上版本,或者EmEditor Pro【新版好像已经集成了去重插件。老旧些的,就不怎么知道了,可能需要额外安装插件?可以搜“emeditor插件”,XP的只能用14.8.1及以下了。自己找啊】 EmEditor Pro,有钱的可以去捧个场,感觉还是一款不错的软件,就是比较贵……1000多,好像……

三、把之前的3种格式,只留2种格式:111.111.111.111以及剩下的二选一! 111.111.111.111用来快速筛选,x.x.x.x-y.y.y.y或者222.222.222.0/24用来寻花问柳

四、分别建立两种“格式”的文件,一种“格式”,一个文件,别混了 至于怎么筛选,再说,或者你也可以开动下脑筋,搜索下——其实,只要你安装了excel或者EmEditor,都不是事,排序一下,就能搞定?



一分钟解决: 一、复制粘贴到excel,然后点击“数据”→“删除重复项”,搞定 可以参照:https://jingyan.baidu.com/article/86f4a73e356f1c37d7526962.html

二、或者复制粘贴到EmEditor Pro,点击“删除重复行”,搞定 之前可以先排序下?好像有两个插件,一个老的,一个新的,是不是需要排序,有点迷糊了,反正俺用的这个,不用排序也行?



后话,或者说前话? 其他的怎么筛选,怎么怎么把111.111.111.111变成222.222.222.0/24,有人提起,再说,个人建议:多用搜索引擎多动手,从简单的开始,能用就行,你可以的 正则有点麻烦,写几句小程序、或者说宏【比如document.selection.Replace("(.*)\n?","\x22\1\x22,",eeReplaceAll | eeFindReplaceRegExp,0);】,也有些麻烦,但其实,很多时候,不用那些,也是可以的啦……

blob2015 avatar Jul 17 '17 03:07 blob2015

写的不错

Kisesy avatar Jul 17 '17 04:07 Kisesy

我现在的去重采用了排除 1.9.22.0 1.9.22.0/24 1.9.22.0-255 1.9.22.123-255 1.9.22.0-1.9.22.255 1.9.0.0/16 比如以上几个,经过去重之后只会剩下 1.9.0.0/16 一个,保留最大范围的一个 这样有个缺陷,就是这个大范围能用的肯定特别少,其实不应该留着 所以扫之前,可以按你的方法去掉大范围的

也许以后可以只保留 /24 范围的或者写个新的去重的工具

Kisesy avatar Jul 17 '17 04:07 Kisesy

@Kisesy 主任这样,可以让程序计算嘛,那是无所谓了 其实对于俺们这种小白,个人觉得1.9.22.0/24最好理解了 😀 可能效率也相对高些,因为毕竟0/16覆盖后面两位,“打击面”比较广 0/24则只覆盖末尾,扫描个数大大减少 😀 但谁让1.9.0.0/16省事呢 能用就行,太精细了,反而容易得病 😀 不干不净,吃了放心

blob2015 avatar Jul 17 '17 04:07 blob2015

我是网络抄的hosts去重 IP去重也行的 awk '!x[$0]++' hosts > hosts1

hcym avatar Jul 17 '17 05:07 hcym

很好很好

我把我那个未经整理的拽上来吧,一方面可以让@Kisesy 当个实例再研究研究去重算法,一方面方便大家当个扫描的列表自己扫 iprange.txt iprange.zip

俩文件一样的,一个得自己改扩展名,个头稍大,一个zip打包小一些,解压缩覆盖就能使,看大家方便吧

我自己北京联通线路,用这个,配置选项比较严格的前提下扫到接近两万的可用ip

ghost avatar Jul 17 '17 08:07 ghost

学习了一下正则,花了一点儿时间我把我那个未经整理的数据源整理好了

https://github.com/Kisesy/gscan_quic/files/1157961/iprange.zip

ghost avatar Jul 19 '17 04:07 ghost

恭喜,正则入手,这种整理都是小case了啦 😀 看了下,2700多,剩下的ip,对于你来说,也是寥寥无几了 😀

blob2015 avatar Jul 19 '17 04:07 blob2015

感谢

xrwz007 avatar Jul 26 '17 06:07 xrwz007

@blob2015 @Kisesy 多谢主任建仓!谢谢@blob2015推荐的软件很好用!阿弥陀佛!

slulu164 avatar Jul 29 '17 00:07 slulu164