pwcrack-framework icon indicating copy to clipboard operation
pwcrack-framework copied to clipboard

70亿超大记录字典 `updatedb` 失败

Open wgetnz opened this issue 2 years ago • 4 comments

F:\pwcrack-framework>ruby pwcrack initdb "D:\Desktop\devtools\big.txt.unique.txt" [*] Start creating the local DB...

F:/pwcrack-framework/lib/cli_cmd/initdb.rb:33:in readlines': index 268435456 too big (IndexError) from F:/pwcrack-framework/lib/cli_cmd/initdb.rb:33:in initdb' from F:/pwcrack-framework/lib/cli.rb:82:in get_input' from F:/pwcrack-framework/lib/cli.rb:61:in commandline!' from pwcrack:24:in `

'

F:\pwcrack-framework>

70亿数据无法导入

wgetnz avatar Jan 28 '23 18:01 wgetnz

updatedb 超大数据失败 F:\pwcrack-framework>ruby pwcrack updatedb [*] Start update the local DB...

F:/pwcrack-framework/lib/cli_cmd/updatedb.rb:34:in readlines': index 268435456 too big (IndexError) from F:/pwcrack-framework/lib/cli_cmd/updatedb.rb:34:in updatedb' from F:/pwcrack-framework/lib/cli.rb:84:in get_input' from F:/pwcrack-framework/lib/cli.rb:61:in commandline!' from pwcrack:24:in `

'

F:\pwcrack-framework>

wgetnz avatar Jan 28 '23 19:01 wgetnz

假如你的字典不重复的可见字符组成,那你字典大于 32G,生成的本地字典理论上有 691G 左右,而目前看本框架的支持最大字典数是 2.6亿条,你确定需要导入70亿条记录的字典?

L-codes avatar Jan 30 '23 01:01 L-codes

假如你的字典不重复的可见字符组成,那你字典大于 32G,生成的本地字典理论上有 691G 左右,而目前看本框架的支持最大字典数是 2.6亿条,你确定需要导入70亿条记录的字典?

需要的,空间足够,密码来自rockyou2021.txt+自己收集后去重的数据,86G左右,79亿+条

wgetnz avatar Jan 30 '23 05:01 wgetnz

readlines 的限制出错好解决,但是生成过程是存储在内存中再保存到本地,大小估算有 800多G,哪怕内存有压缩功能,也需要4~600G的运行内存,你如果开启swap来跑,也会很慢,哪怕你机器性能好,updatedb成功了,你后续调用 localdb 插件查询的时候也会很慢,目前框架没考虑到这么大记录的数据库管理和搜索,建议用其它成熟的彩虹表工具

L-codes avatar Jan 30 '23 05:01 L-codes