CogVLM2 icon indicating copy to clipboard operation
CogVLM2 copied to clipboard

提供的CogVLM2/basic_demo/openai_api_demo.py 无流式输出效果

Open LRHstudy opened this issue 1 year ago • 0 comments

System Info / 系統信息

cuda12.1 torch2.3.0

Who can help? / 谁可以帮助到您?

@zr

Information / 问题信息

  • [X] The official example scripts / 官方的示例脚本
  • [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

1、直接运行openai_api_demo.py启动服务 2、使用示例的请求发送请求 3、结果是等所有的文字完成生成后再一下子逐个返回,没有一个个生成的感觉

Expected behavior / 期待表现

希望能做相应的修复

LRHstudy avatar May 21 '24 07:05 LRHstudy