api-for-open-llm icon indicating copy to clipboard operation
api-for-open-llm copied to clipboard

💡 [REQUEST] - 请问可以支持中国电信大模型Telechat吗?流程可以跑通,但是回复content会被截断

Open Song345381185 opened this issue 1 year ago • 9 comments
trafficstars

起始日期 | Start Date

8/2/2024

实现PR | Implementation PR

整体流程可以跑通,正常读取模型,启动服务,调用API

相关Issues | Reference Issues

回复内容上出现截断

摘要 | Summary

让Telechat可以完美适配

基本示例 | Basic Example

content:“XXXXX,XXXX。XXXXX ¥%*&(某些字符,每次不一样,然后就断了)”,role:assistant

缺陷 | Drawbacks

回复内容上出现截断,初步判定是Templates里没有相关配置,导致回复内容stop

未解决问题 | Unresolved questions

附上Telechat开源模型链接https://github.com/Tele-AI/Telechat/tree/master/models/12B-V2

Song345381185 avatar Aug 02 '24 08:08 Song345381185