anti-AD icon indicating copy to clipboard operation
anti-AD copied to clipboard

少数domain已经失效无法解析了

Open kousyougi opened this issue 3 years ago • 9 comments

现在有清单有四万多笔, 我刚刚随便测试几个,有些已经无法解析了。 像前面几行的 00-gov.cn s8.001fzc.com yn.001fzc.com

请问可不可以隔一段时间,自动测总清单上的domain是不是还能有效解析,再输出? 不然时间久了这个清单会越来越多无效domain,挡案越来越大。

谢谢

kousyougi avatar Mar 17 '21 15:03 kousyougi

这个提议无疑是非常棒的!是的。我们在很早之前就讨论过这个话题 https://github.com/privacy-protection-tools/anti-AD/issues/175#issuecomment-659339218 ,甚至他都提出了方案,实测效果不佳,出于精力和技术方案都极度缺乏,这个东西就一直搁置下来了。你看,想法都有,就是实施上还没有找到正确的路了,还在苦苦摸索之中……,你有没有更好的方案?可以分享一些吗?

gentlyxu avatar Mar 20 '21 00:03 gentlyxu

可以用定时解析一下域名列表里面的域名,然后对于无结果的就重试几次,然后如果还是无结果就存起来,最后统一写入到文件里面,等下次任务执行时可以跳过这部分域名

但是这对于一些正则表达式的域名似乎不太好处理

而且对于 DNS 抢答,总是会返回结果,虽然广告域名这个几率很低,不过放到 github actions 上也应该没事

CalmLong avatar Mar 20 '21 05:03 CalmLong

刚才看了下#175,发现和我说的方案差不多,对于处理效率可以使用并发

https://github.com/privacy-protection-tools/anti-AD/issues/175#issuecomment-694313876 说的也很有道理,除非有大量的无效域名,不然也很难感知性能上的问题

CalmLong avatar Mar 20 '21 05:03 CalmLong

可以用定时解析一下域名列表里面的域名,然后对于无结果的就重试几次,然后如果还是无结果就存起来,最后统一写入到文件里面,等下次任务执行时可以跳过这部分域名

但是这对于一些正则表达式的域名似乎不太好处理

而且对于 DNS 抢答,总是会返回结果,虽然广告域名这个几率很低,不过放到 github actions 上也应该没事

有些广告域名的主域名不提供服务,解析这些域名会无结果。一些域名虽然能够正常解析,但已经失去了效用,例如会自动跳转到域名销售页。你提出的方案我在维护GFWList的时候也想到过,但是存在较大的局限性,个人认为较难自动化完成,仍需要人工审核。

DreamFerry avatar Mar 21 '21 10:03 DreamFerry

可以用定时解析一下域名列表里面的域名,然后对于无结果的就重试几次,然后如果还是无结果就存起来,最后统一写入到文件里面,等下次任务执行时可以跳过这部分域名 但是这对于一些正则表达式的域名似乎不太好处理 而且对于 DNS 抢答,总是会返回结果,虽然广告域名这个几率很低,不过放到 github actions 上也应该没事

有些广告域名的主域名不提供服务,解析这些域名会无结果。一些域名虽然能够正常解析,但已经失去了效用,例如会自动跳转到域名销售页。你提出的方案我在维护GFWList的时候也想到过,但是存在较大的局限性,个人认为较难自动化完成,仍需要人工审核。

  1. 广告域名的主域名不提供服务加到无效域名列表并没有问题
  2. 能够正常解析但是被跳转到销售页面,如果这个域名在广告列表中,则它会被 DNS 解析器拦截,如果不存在广告列表中则并无影响

主要的问题在于自动化处理的过程中所有的域名只能作为完整域名来解析,即 *.github.com 会被当成 github.com 来处理,因为无法得知一个主域名下面有多少个子域名,至少自动化是无法得知的,因为如果完全得知就不会出现下面的问题

还有一个情况就是根据上面的体现,如果 *.github.com 被判定是无效域名被移除了,而 ad.github.com 也是广告域名,且 ad.github.com 并不在列表内,这时候就会出现广告域名放行的问题,因为原本是通过 *.github.com 来处理拦截的

即使出了移除无效域名的版本,依然还是要和原来的并存

除非是所有的广告域名都是完整的域名,否则自动化永远也不可精准处理,所以对于使用设备的资源占用和不精准的处理总要选择一个

CalmLong avatar Mar 21 '21 10:03 CalmLong

对于处理无效域名带来的影响是因人而异的,虽然看起来有那么多的问题,实际上对于不同的使用者感知也是有非常大的区别,既然总是有人提出这类需求,说明这种方案也是合理存在的,尽管解决方案并不完善。

一些 hosts 列表会附带这种已经移除无效域名的版本,因为 hosts 列表都是完整域名,没有上面的那种问题。对于 anit-AD 来说难度就在于多种多样的规则,比如正则表达式和 * 这类规则。

CalmLong avatar Mar 21 '21 10:03 CalmLong

如果只有我一个人想解决方案。那无疑是单调的、片面的。我希望网友们集思广益,各抒己见啊

gentlyxu avatar Mar 26 '21 14:03 gentlyxu

如果只有我一个人想解决方案。那无疑是单调的、片面的。我希望网友们集思广益,各抒己见啊

要么去https://github.com/FusionPlmH/dead-block 搬砖 引入deadblock ?

qpzr avatar Mar 27 '21 23:03 qpzr

如果只有我一个人想解决方案。那无疑是单调的、片面的。我希望网友们集思广益,各抒己见啊

要么去https://github.com/FusionPlmH/dead-block 搬砖 引入deadblock ?

还是尽量考虑自己做一套

gentlyxu avatar Mar 28 '21 01:03 gentlyxu

参考dnsmasq-china-list 在用的那个 域名检查?

https://github.com/felixonmars/dnsmasq-china-list/blob/master/verify.py

xlighting2017 avatar Mar 28 '21 08:03 xlighting2017

参考dnsmasq-china-list 在用的那个 域名检查?

https://github.com/felixonmars/dnsmasq-china-list/blob/master/verify.py

我看看

gentlyxu avatar Apr 02 '21 13:04 gentlyxu

现在有清单有四万多笔, 我刚刚随便测试几个,有些已经无法解析了。 像前面几行的 00-gov.cn s8.001fzc.com yn.001fzc.com

请问可不可以隔一段时间,自动测总清单上的domain是不是还能有效解析,再输出? 不然时间久了这个清单会越来越多无效domain,挡案越来越大。

谢谢

还有90多万行的规则(BlueSkyXN那个)以及217多万行的规则(Potterli20的,目前2175491)呢,里面有很多已经失效的,不过测试过放在服务器上面影响不大,主要是放在移动设备上就耗资源了。如果能精简是最好不过的。我目前是AdGuardHome配合AdGuard客户端使用,AdGuardHome上面拦截debuff堆满,然后自己看AdGuard的拦截记录维护一个可能出现HTTPDNS逃逸的广告域名列表,我觉得这也是个解决方案(虽然非常麻烦)

cxw620 avatar Jan 21 '22 11:01 cxw620

neoHosts 最后一次更新停留在2020年3月12日,是不是可以移除了。

hosts-blocklists也宣布收工了 This is the end.. #900 https://github.com/notracking/hosts-blocklists/issues/900

还不打算更新吗

qpzr avatar Sep 02 '23 13:09 qpzr