MiniCPM icon indicating copy to clipboard operation
MiniCPM copied to clipboard

[Bug]: dataset.py文件conversation_to_ids方法input_ids调用shape属性错误

Open KeepFaithMe opened this issue 1 year ago • 1 comments

Is there an existing issue ? / 是否已有相关的 issue ?

  • [X] I have searched, and there is no existing issue. / 我已经搜索过了,没有相关的 issue。

Describe the bug / 描述这个 bug

dataset.py文件conversation_to_ids方法input_ids调用方法错误。 input_ids的类型是一个list,list类型的变量没有shape属性,而在conversation_to_ids方法却调用了shape,导致在微调是出现ERROR:dataset:data fetch error。

To Reproduce / 如何复现

1726319224865

Expected behavior / 期望的结果

我不明白代码中input_ids.shape[-1]>max_length的含义,所以无法更改,请代码维护人员修正这个bug。

Screenshots / 截图

1726319224865 就是上述地方报错

Environment / 环境

- OS: [e.g. Ubuntu 20.04]
- Pytorch: [e.g. torch 2.0.0]
- CUDA: [e.g. CUDA 11.8]
- Device: [e.g. A10, RTX3090]

Additional context / 其他信息

No response

KeepFaithMe avatar Sep 14 '24 13:09 KeepFaithMe

你好,这个是否是minicpmv的dataset.py文件,如果是,可否请您在minicpmv中再提一次。

LDLINGLINGLING avatar Sep 17 '24 09:09 LDLINGLINGLING