bikesharing

是完整的，直接打印response，用你们给的app里面的openai_demo.py是好的 ------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2025年2月24日(星期一) 下午2:52 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [THUDM/CogAgent] vllm支持的有问题 ，总是返回Grounded de (Issue #43) 你这个输出是不是不完整 — Reply to this email directly, view it on...

vllm推理你们测试过吗？

使用vllm 0.7.2版本是可以的。最新版0.7.3不可用。谢谢。另外，vllm启动参数很多，真的咱们的模型，有没有推荐的启动参数命令行？ ------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2025年2月24日(星期一) 下午3:46 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [THUDM/CogAgent] vllm支持的有问题 ，总是返回Grounded de (Issue #43) vllm要用最新版 — Reply to this email directly, view it...

目前看还是不要使用vllm了，支持的不好。 ------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2025年4月3日(星期四) 上午9:05 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [THUDM/CogAgent] vllm支持的有问题 ，总是返回Grounded de (Issue #43) @sixsixcoder 请问您在使用运行启动 vllm_openai_server.py有修改哪些内容吗，我的会报这个错：ValueError: ChatGLMForConditionalGeneration has no vLLM implementation and the...

    感谢给大家带来这么好的大模型。我把在应用中遇到的严重问题给您反馈一下。     问题1：目前我们用了8块nvidia 4090，使用openai_demo.py文件启动服务，运行一段时间，服务会卡住，就是不响应，需要重启服务。     问题2：用了vllm（0.7.2）来部署，推理速度快了不少，由15秒左右降到10秒左右，但推理结果有问题，见截图：明明是桌面，却说当前是登录界面。 推理结果： ------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2025年2月24日(星期一) 下午3:46 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [THUDM/CogAgent] vllm支持的有问题 ，总是返回Grounded de...