Gitreceiver

Results 4 comments of Gitreceiver

openai类的模型可以导入了,域名结尾需要加v1

那么如果我使用量化方法,直接的做法是客户端将model转换为tensor,再将tensor量化,传输给服务端,服务端反量化,将tensor转换为model,进行模型聚合。 我考虑的问题是,tensor和model的转化函数中的计算开销是多大,还有,有没有更好的量化方案。

> 如果你想调用本地的ollama 中的大模型,域名aip试试:http://host.docker.internal:11434/ 我的是这样成功的。 是的,后来改成这个:http://host.docker.internal:11434/

> 如果没有问题,该 issue 先关闭了。 没问题