bbbugg
bbbugg
我今天也遇到了，gemini刚输出完的一瞬间，回答会清空，显示等待回复，然后再一次性的显示回复。
在环境变量里一起改呢
> > 在环境变量里一起改呢 > > 自定义的ai服务商也可以一起改吗? 我是找一个提供的但我不用的服务商，环境变量里自定义URL、Key和model_lists，替换成我自定义的模型服务商
> 试试在`weclone/core/inference/vllm_infer.py` 的 `engine_args` 里加一条 `"gpu_memory_utilization": 0.95,` 老哥厉害了, 之前试的`"gpu_memory_utilization": 0.9`都不行, `"gpu_memory_utilization": 0.95`就可以了.
> 存在同样问题，添加了参数后还是会出现这个问题 ERROR 05-17 03:31:17 [core.py:343] raise ValueError("No available memory for the cache blocks. " ERROR 05-17 03:31:17 [core.py:343] ValueError: No available memory for the cache blocks. Try increasing `gpu_memory_utilization`...
> 请问这个步骤大概需要多少显存呢？ 我跑的时候看了一下，显存跑满了，这个线程用了22G多的显存
话说Lobechat里清除上下文和删除对话有什么区别
同样遇到了，用的原生Google模型服务商，试了最新的几个gemini模型都报错，不带图片提问没问题 
之前的话是这样，没有img标签 