Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

不支持txt文件的中文输入

Open fabulousfeng opened this issue 1 year ago • 8 comments

vs_path, _ = local_doc_qa.init_knowledge_vector_store(filepath)

image 1.txt有中文就出现 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128) 错误

fabulousfeng avatar May 04 '23 13:05 fabulousfeng

我也是这个问题

xlcaptain avatar May 05 '23 03:05 xlcaptain

添加了知识库之后进行对话,之后再新增知识库就会出现这个问题。如果是一直新增知识库,没有对话是可以新增上去的。

xlcaptain avatar May 05 '23 03:05 xlcaptain

添加了知识库之后进行对话,之后再新增知识库就会出现这个问题。如果是一直新增知识库,没有对话是可以新增上去的。

我这init就不行

fabulousfeng avatar May 05 '23 11:05 fabulousfeng

unstructured == 0.6.1 unstructured-inference == 0.4.2 这两个包更新为这个版本,可以解决该问题

xingxing3230 avatar May 10 '23 09:05 xingxing3230

我想把文件字符的编码格式改为encoding='utf-8'在哪修改呢

Mr-IT007 avatar May 14 '23 11:05 Mr-IT007

添加了知识库之后进行对话,之后再增加知识库就会出现这个问题。如果是一直新增加知识库,没有对话是可以新增加上的去的。

我也是这个问题, 请问解决了吗

wujiekd avatar May 16 '23 09:05 wujiekd

更新包版本之后没有生效

ffy-FFRain avatar May 18 '23 08:05 ffy-FFRain

试试重启,80%情况下,可以解决该问题 @ffy-FFRain

xingxing3230 avatar May 18 '23 08:05 xingxing3230

最新版更新为自动监测txt encoding类型。

imClumsyPanda avatar May 21 '23 16:05 imClumsyPanda