小海

@dosu-bot 已经开启了 以下是启动日志，而且不用vllm模式启动是可以占用两块gpu的 (langchain-chat-2024) [root@adsl-172-10-0-187 Langchain-Chatchat]# CUDA_VISIBLE_DEVICES=0,1 nohup python startup.py -a > output.log 2>&1 & [1] 6777 (langchain-chat-2024) [root@adsl-172-10-0-187 Langchain-Chatchat]# tail -f output.log nohup: 忽略输入 2024-03-13 15:08:58,593 - startup.py[line:655] -...

@dosu-bot 只占用了一个显卡

@dosu-bot 基于以上配置，只使用了一个显卡，问题根源在哪？

此问题为解决，请提供解决方案

@dosu-bot 此解决方案不对

@dosu-bot 问题就是server_config.py 开启"infer_turbo": 'vllm'设置，加载的模型是chatglm3-6b， startup.py -a启动报错，ImportError: /home/user/anaconda3/envs/langchai-chat/lib/python3.11/site-packages/vllm/_C.cpython-311-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops15to_dtype_layout4callERKNS_6TensorEN3c108optionalINS5_10ScalarTypeEEENS6_INS5_6LayoutEEENS6_INS5_6DeviceEEENS6_IbEEbbNS6_INS5_12MemoryFormatEEE以下是打印的详细日志 24-03-13 09:51:31,055 - startup.py[line:655] - INFO: 正在启动服务： 2024-03-13 09:51:31,055 - startup.py[line:656] - INFO: 如需查看 llm_api 日志，请前往 /home/chatglm3/Langchain-Chatchat/logs ==============================Langchain-Chatchat Configuration============================== 操作系统：Linux-3.10.0-1160.108.1.el7.x86_64-x86_64-with-glibc2.17....

Api Key 使用与鉴权模式会放到开源版本吗？

@c121914yu 最新开源版本，只有key的名称，无法限制过期时间，自定义auth key等操作

@dosu-bot 这是vllm模式chatglm3-6b模型的输出，为什么带着,如何配置处理 好的，北京是一座拥有悠久历史和丰富文化的城市。以下是一些建议的旅游景点和活动：1. 故宫博物院：北京的故宫是中国古代皇家宫殿，也是世界上最大的古代木质建筑群。2. 天安门广场：作为北京的标志性地标，天安门广场是中国的象征之一，也是世界上最大的城市广场之一。3. 颐和园：颐和园是北京著名的皇家园林，被誉为“皇家园林博物馆”，是中国古代建筑和园林艺术的杰出代表。4. 长城：长城是中国古代的军事防御工事，也是世界文化遗产之一，是中国的象征之一。5. 王府井大街：王府井大街是北京的著名商业街，拥有各种古老的店铺和品牌，也是品尝北京美食的好去处。此外，您还可以尝试北京的特色美食，如北京烤鸭、炸酱面等。希望这些建议能对您有所帮助，祝您在北京旅途愉快！

@dosu-bot vllm启动高并发时，问答交互，回答时候偶尔带着 “br/”等标签