linh31332
linh31332
可以试试别的引擎启动试试，用的 transformers 会出现这个问题，改了vllm 就可以了。
也遇到一样的问题, 看了一圈，对比了下GLM3和GLM4官方提供的示例，它们终止的 token id 不一样，目前FastChat 似乎还没有兼容到 glm4 的对话模板  
> 没有解决方案吗 可以自己修改 FastChat 的代码，把GLM4 对应模板补充上去
> > 没有解决方案吗 > > 可以自己修改 FastChat 的代码，把GLM4 对应模板补充上去 https://github.com/lm-sys/FastChat/pull/3402/commits/a34dcc08dbd23bd226ebcec748211b7a3a9c28d1#diff-21c1e357f53a0a6d5d5a812e75710d0e3b013c889373a7c6c5019c491b2c05f1%20 可以参考这个，有大佬改了
I got the same error after use the prompt tune，and found the new prompt have some issues（eg. lost of {record_delimiter}, wrong format... ）, modify manually according to the init prompt...
> > I got the same error after use the prompt tune，and found the new prompt have some issues（eg. lost of {record_delimiter}, wrong format... ）, modify manually according to the...
frontend/src/services/api.ts 前端代码里面的后端服务地址写的localhost 在本地访问是可以的 如果通过ip访问就会出现这个问题 修改成服务ip就可以了