FastGPT
FastGPT copied to clipboard
Xinference module engine如何选择
请问下Xinference module engine如何选择 里面包括llama.cop Transformers以及vLLM等多个引擎,oneapi或fastgpt支持哪种引擎。
我实在是崩溃了,xinferemce费老劲下载了n个模型,结果只有一个好用,其他所有模型oneapi报错无可用渠道。
请问应该参照什么标准到xinference里下载模型
哪种模式不影响接口,没渠道就是 model 没填对而已。