Qwen icon indicating copy to clipboard operation
Qwen copied to clipboard

💡 [REQUEST] - 能不能把微调语料的格式改为jsonl(Json Line)

Open zhengyangyong opened this issue 6 months ago • 1 comments

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

现在一个Json大数组,语料记录数多了,使用编辑器打开卡的要死,但是多行Json就没问题,因为文本编辑器都能多行窗口加载。搞一个大Json审核语料除了写个程序没法弄

基本示例 | Basic Example

{"id" :"","conversations" :[]} \r\n {"id" :"","conversations" :[]} \r\n {"id" :"","conversations" :[]} \r\n {"id" :"","conversations" :[]} \r\n ...

缺陷 | Drawbacks

使用不方便,Review语料太卡

未解决问题 | Unresolved questions

No response

zhengyangyong avatar Dec 27 '23 09:12 zhengyangyong

您用jsonl review数据,然后写一个格式转换脚本,转成相应的json数据格式,是不是也可以。

jklj077 avatar Dec 29 '23 04:12 jklj077

我现在就是这么干的,如果能原生支持更好了

zhengyangyong avatar Jan 02 '24 01:01 zhengyangyong