CogVLM2
CogVLM2 copied to clipboard
提供的CogVLM2/basic_demo/openai_api_demo.py 无流式输出效果
System Info / 系統信息
cuda12.1 torch2.3.0
Who can help? / 谁可以帮助到您?
@zr
Information / 问题信息
- [X] The official example scripts / 官方的示例脚本
- [ ] My own modified scripts / 我自己修改的脚本和任务
Reproduction / 复现过程
1、直接运行openai_api_demo.py启动服务 2、使用示例的请求发送请求 3、结果是等所有的文字完成生成后再一下子逐个返回,没有一个个生成的感觉
Expected behavior / 期待表现
希望能做相应的修复