MiniCPM
MiniCPM copied to clipboard
[Bug]: dataset.py文件conversation_to_ids方法input_ids调用shape属性错误
Is there an existing issue ? / 是否已有相关的 issue ?
- [X] I have searched, and there is no existing issue. / 我已经搜索过了,没有相关的 issue。
Describe the bug / 描述这个 bug
dataset.py文件conversation_to_ids方法input_ids调用方法错误。 input_ids的类型是一个list,list类型的变量没有shape属性,而在conversation_to_ids方法却调用了shape,导致在微调是出现ERROR:dataset:data fetch error。
To Reproduce / 如何复现
Expected behavior / 期望的结果
我不明白代码中input_ids.shape[-1]>max_length的含义,所以无法更改,请代码维护人员修正这个bug。
Screenshots / 截图
就是上述地方报错
Environment / 环境
- OS: [e.g. Ubuntu 20.04]
- Pytorch: [e.g. torch 2.0.0]
- CUDA: [e.g. CUDA 11.8]
- Device: [e.g. A10, RTX3090]
Additional context / 其他信息
No response
你好,这个是否是minicpmv的dataset.py文件,如果是,可否请您在minicpmv中再提一次。