xbl916
xbl916
**例行检查** [//]: # (方框内删除已有的空格，填 x 号) + [x] 我已确认目前没有类似 issue + [x] 我已确认我已升级到最新版本 + [x] 我已完整查看过项目 README，尤其是常见问题部分 + [x] 我理解并愿意跟进此 issue，协助测试和提供反馈 + [x] 我理解并认可上述内容，并理解项目维护者精力有限，**不遵循规则的 issue 可能会被无视或直接关闭** **问题描述** docker方式无法启动，cl100k_base.tiktoken下载不到 **复现步骤** 一直无法启动...
**提交 issue 前，请先确认：** - [x] 我已看过 **FAQ**，此问题不在列表中 - [x] 我已看过其他 issue，他们不能解决我的问题 - [x] 我认为这不是 Mirai 或者 OpenAI 的 BUG **表现** 描述 BUG 的表现情况 开器转语音功能，企业微信无法发送语音 **运行环境:** - 操作系统：？ - Docker： 一键docker部署...
FP8量化支持
可否加入对FP8量化模型的支持 vllm0.43中加入了FP8量化模型的支持。 我尝试在xin中注册Qwen2-7B-Instruct-FP8这个模型，启动时报错见附件日志 [xin报错日志.txt](https://github.com/user-attachments/files/15845984/xin.txt) 相同环境下，我直接通过vllm命令行方式是可以启动的python -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --port 8001 --gpu-memory-utilization 0.9 --served-model-name Qwen2-7B-Instruct-FP8 --model /data2/Qwen2-7B-Instruct-FP8 vllm启动过程见日志附件 [vllm日志.txt](https://github.com/user-attachments/files/15845992/vllm.txt) 对比2个日志可以看到无论是从xin启动还是从vllm命令行启动，传递给vllm的llm_engine.py:161] Initializing an LLM engine (v0.5.0.post1) with config:所带的参数都是一样的，环境也相同，不知道为何从xin启动就会失败。 不知道后续xin能否支持，或者现在有啥解决方案吗 谢谢
我用中文提问，生成的结果也始终是英文？使用的模型是qwen2.5-32b
老设备，只能跑gguf，希望能支持