crawlergo icon indicating copy to clipboard operation
crawlergo copied to clipboard

Published 20 hours ago • verified publisher icon Qianlitp

输出的json不合法

Open ox1234 opened this issue 2 years ago • 6 comments

命令：crawlergo -c chrome-mac/Chromium.app/Contents/MacOS/Chromium -t 10 --output-json result.json https://ucenter.huolala.cn/ 输出的json使用jq处理，json不合法： image 具体在这里： image 感觉是个bug

ox1234 avatar Oct 14 '22 09:10 ox1234

收到 看起来写入内容的时候有点问题

Qianlitp avatar Dec 06 '22 03:12 Qianlitp

我也遇到了同样的问题，使用版本0.4.4 会在req_list字段中某个url的数据中突然插入，all_domain_list和sub_domain_list的字段数据，导致json识别报错，希望能尽快修复

komomon avatar Mar 08 '23 03:03 komomon

好像太大的json就会出现这个问题，我用的是最新版的crawlergo

komomon avatar Mar 08 '23 04:03 komomon

师傅这个问题还没解决吗，大概好像结果1.8M左右就会出现这个问题

komomon avatar May 31 '23 16:05 komomon

image

komomon avatar May 31 '23 16:05 komomon

大佬有计划解决吗？

kxcode avatar May 15 '24 09:05 kxcode