api-for-open-llm
api-for-open-llm copied to clipboard
💡 [REQUEST] - 请问可以支持中国电信大模型Telechat吗?流程可以跑通,但是回复content会被截断
trafficstars
起始日期 | Start Date
8/2/2024
实现PR | Implementation PR
整体流程可以跑通,正常读取模型,启动服务,调用API
相关Issues | Reference Issues
回复内容上出现截断
摘要 | Summary
让Telechat可以完美适配
基本示例 | Basic Example
content:“XXXXX,XXXX。XXXXX ¥%*&(某些字符,每次不一样,然后就断了)”,role:assistant
缺陷 | Drawbacks
回复内容上出现截断,初步判定是Templates里没有相关配置,导致回复内容stop
未解决问题 | Unresolved questions
附上Telechat开源模型链接https://github.com/Tele-AI/Telechat/tree/master/models/12B-V2