【引擎技术】页面相似度比较的探讨

[VillanCh]

https://github.com/Nekmo/dirhunt

1. 不同类型的 Content-Type 的比较：JS / JSON / HTML
2. HTML 比较相似度的方案：Strings 后和包含标签（SQLmap 会把页面 strings 化）
3. 状态码也应该参与比较
4. “页面长度”