he498

Results 1 comments of he498

使用 Dify 智能助手通过 xinference 与 chatglm3-6b 对话报错

我也出现了这个问题。我的环境是 cuda 11.8，python 3.10.14。自行在hugging face下载的chatglm3-6b模型，在xinference进行自定义模型的注册。使用dify接入xinference。在开启工具时，请求到xinference中，就会出现该错误。注册自定义模型以及启动运行模型的参数如图 ![a6e941cbcbaf68ab249d77a418c00f41182df87c43861b9a79dbbd54a1c4ba27QzpcVXNlcnNcaGVyaW1cQXBwRGF0YVxSb2FtaW5nXERpbmdUYWxrXDE3ODg3MTg1ODFfdjJcSW1hZ2VGaWxlc1wxNzE1NTg5NjYyNjE0X0QwM0QwMkRELTg3Q0MtNGFhZS05RTQ1LTBDREExODFBRjg4Qi5wbmc=](https://github.com/xorbitsai/inference/assets/95606642/7a93d361-b661-425b-806f-42f78e1ef084) ![bf6d1d9f6bbefe20e18ed9c1ae6945caeeefc36a2a0daa71f54ee4c85949710dQzpcVXNlcnNcaGVyaW1cQXBwRGF0YVxSb2FtaW5nXERpbmdUYWxrXDE3ODg3MTg1ODFfdjJcSW1hZ2VGaWxlc1wxNzE1NTg5ODY0NTk2XzU5NzA2MUMzLUUzRDktNGZjOC04NjNBLTFGRDdCNEQwOTU2MC5wbmc=](https://github.com/xorbitsai/inference/assets/95606642/27b38ba1-a692-43cb-9901-8535b1f699ce)