QAnything 支持更多的7B大模型

支持更多的7B大模型

Open fifiand1 opened this issue 11 months ago • 3 comments

在单显卡<=16G显存，例如4080上，7B模型是否是最优解？

希望能增加支持Llama、Gemma的7B模型

Mar 20 '24 02:03 fifiand1

可以尝试用ollama等提供openAI API的本地LLM包装器实现

Mar 30 '24 15:03 deutschthomas

可以尝试用ollama等提供openAI API的本地LLM包装器实现

这个是否能跑通，还望赐教，我用 ollama 和 LLM 都没有跑通

Apr 27 '24 01:04 cakat