devsky
devsky
> 那应该是vllm安装没有成功 直接docker部署的 如何从新安装，大神指点 root@a73600e73869:/workspace# pip show vllm Name: vllm Version: 0.4.0 Summary: A high-throughput and memory-efficient inference and serving engine for LLMs Home-page: https://github.com/vllm-project/vllm Author: vLLM Team Author-email: License:...
> vllm 换的是这个
什么时候能处理一下
是的 每次返回都是两张 触发两次请求 我一开始以为网络问题 加了限流还那样
billingUsage 这个接口顺便问下大神 什么时候跟新最新升级的gpt
我指的是3·5 16k 和函数调用，超时时间我已指定 但是还是有错误
没太明白 传到req.setMessage 里面吗 有没有示例代码 大神
这个上下文只能传一个吗？ req.setPrompt(res.getAnswer() + "\n" + "Human: 你叫什么");