airllm icon indicating copy to clipboard operation
airllm copied to clipboard

关于对话模型是否能使用airllm

Open wzz981 opened this issue 1 year ago • 1 comments

我看示例中加载的大模型都属于“base”模型,并没有加载“chat”模型的例子,如果能够使用的话可以提供一些例子吗,谢谢

wzz981 avatar Jan 07 '24 05:01 wzz981

inference的角度chat和base没有本质的区别的。base可以的话chat也可以的。

lyogavin avatar Jan 08 '24 23:01 lyogavin