luqian

When I run the end2end module, extract_mentions() needs to load the config.json file in the entity_db folder, but the downloaded entity_db folder does not contain this file. Traceback (most recent...

你好，想了解上lawyer-llama支持在国产ARM架构的服务器上部署吗

大模型流式输出卡顿

2

### System Info / 系統信息 xinference镜像版本：xprobe/xinference v1.6.1 模型：qwen2.5-32b 推理引擎：transformer 我用xinfernece通过transformer引擎部署了qwen2.5-32b模型 在推理的时候，发现每隔好几个data块才返回一次，导致前端显示的时候（自带的gradio以及对接到dify平台都是）每隔十几个字符显示一次，感官上很卡顿 ### Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？ - [x] docker / docker - [ ] pip...