CPM-Bee icon indicating copy to clipboard operation
CPM-Bee copied to clipboard

使用单卡进行微调时,dataset会报End of dataset的错

Open Suncicie opened this issue 1 year ago • 1 comments

如题,使用预处理数据脚本预处理数据后,在进行微调时,dataset报错,不太确定是预处理脚本的问题,还是dataset迭代的问题

376 if self._max_repeat_times is not None: 377 if self._repeat_times >= self._max_repeat_times: --> 378 raise EOFError("End of dataset") 379 print('_prepare_new_epoch, 2') 380 nw_unused_block: List[int] = []

Suncicie avatar Jun 01 '23 10:06 Suncicie

这个问题我们无法复现,您可以检查下数据集路径下是否有meta.bin,如果没有可能会引发该错误,或者您可以提供一些关于数据集的信息,这样可以帮助判断问题所在

gongbaitao avatar Jun 19 '23 08:06 gongbaitao