FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

Xinference module engine如何选择

Open goactiongo opened this issue 1 year ago • 1 comments

请问下Xinference module engine如何选择 里面包括llama.cop Transformers以及vLLM等多个引擎,oneapi或fastgpt支持哪种引擎。

我实在是崩溃了,xinferemce费老劲下载了n个模型,结果只有一个好用,其他所有模型oneapi报错无可用渠道。

请问应该参照什么标准到xinference里下载模型

mmexport1722771119317

goactiongo avatar Aug 04 '24 11:08 goactiongo

哪种模式不影响接口,没渠道就是 model 没填对而已。

c121914yu avatar Aug 06 '24 12:08 c121914yu