Bert-Chinese-Text-Classification-Pytorch 换成自己的数据集后编码报错

换成自己的数据集后编码报错

Open muzimua opened this issue 2 years ago • 3 comments

将自己csv格式的数据另存为txt后，运行该程序报错UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte，要怎么解决呢？需要修改哪些地方呢

Mar 06 '22 04:03 muzimua

编码问题，搜索查一下就能解决了

Mar 07 '22 02:03 chenglong19920630

感谢回复，我通过把自己的数据内容完全复制粘贴到原始的数据集txt中，可解决该问题。

Mar 07 '22 02:03 muzimua

你处理数据集的时候，类别是手动标注的吗

Oct 25 '22 06:10 liyuqiu-div