ollama 怎么运行它

[DavidSche]

trafficstars

使用ollama 怎么运行phi3-Chinese模型？

[CHEFRA]

从modelscope下载模型文件，用llama.cpp把safetensor格式转换成gguf，然后写modelfile，在命令行创建这个模型，就可以ollama run了。

ollama： https://github.com/ollama/ollama/blob/main/docs/import.md#quantize-the-model

llama. cpp： https://github.com/ggerganov/llama.cpp/blob/952d03dbead16e4dbdd1d3458486340673cc2465/README.md#run-the-quantized-model