CPM-Bee
CPM-Bee copied to clipboard
使用单卡进行微调时,dataset会报End of dataset的错
如题,使用预处理数据脚本预处理数据后,在进行微调时,dataset报错,不太确定是预处理脚本的问题,还是dataset迭代的问题
376 if self._max_repeat_times is not None: 377 if self._repeat_times >= self._max_repeat_times: --> 378 raise EOFError("End of dataset") 379 print('_prepare_new_epoch, 2') 380 nw_unused_block: List[int] = []
这个问题我们无法复现,您可以检查下数据集路径下是否有meta.bin,如果没有可能会引发该错误,或者您可以提供一些关于数据集的信息,这样可以帮助判断问题所在