transformers-stream-generator icon indicating copy to clipboard operation
transformers-stream-generator copied to clipboard

Published 20 hours ago • verified publisher icon LowinLi

中文乱码

Open lucasjinreal opened this issue 2 years ago • 5 comments

原版是没有问题的，加上stream之后就乱码了；

你叫什么名字 我���������（Matt）。

lucasjinreal avatar Jun 01 '23 07:06 lucasjinreal

并且我怎么感觉你这个stream是一个假的stream，是按照换行符来输出的呢？

lucasjinreal avatar Jun 01 '23 07:06 lucasjinreal

因为有的汉字是多个token解码出来的，默认是每个token做解码，可以改成多个token一起解码

LowinLi avatar Jun 05 '23 06:06 LowinLi

已更新example，再试试看看

LowinLi avatar Jun 05 '23 07:06 LowinLi

@LowinLi 怎么修复的啊

lucasjinreal avatar Jun 05 '23 07:06 lucasjinreal

因为有的汉字是多个token解码出来的，默认是每个token做解码，可以改成多个token一起解码

就是在流式输出的token上，改下解码方法。

LowinLi avatar Jun 05 '23 10:06 LowinLi