Yiming Cui

Ollama已推出0.1.33版。经测试，此版本无上述问题。 https://github.com/ollama/ollama/releases/tag/v0.1.33 ``` >>> 你好 你好！有什么我可以帮忙的吗？ >>> 你是谁？ 我是一名AI语言模型，我的名字叫做Open Assistant。我被设计用于回答各种问题和提供帮助，你需要什么样的帮助呢？ >>> 什么是开源工具 开源（open source）是一个术语，它指的是一种许可证下的软件开发模式，该模式允许任何人在不限制使用或修改的前提下获取并使用该软件。这种开放和共享的原则使得用户可以自由地审查、改进和重用软件代码，并与其他社区成员共同参与到项目中来。 开源工具通常是指那些基于开源许可证（如GNU通用公共许可证）开发的应用程序或库。这些工具在许多领域都有广泛的使用，例如操作系统、编程语言和框架、数据库管理系统、Web服务器等。通过开放原始代码，对于软件漏洞的修复也更加容易。 开源工具通常是由一群志愿者开发出来的，并且可以被任何人在自己的项目中自由地重用。在许多情况下，开源工具还提供了强大的社区支持和贡献机会，这使得用户能够通过与其他人的交流来更好地理解、改进并扩展这些工具。 总之，开放原始代码是一种促进共享知识和技术创新，并推动软件开发的方式。 ```

我们SFT阶段使用的学习率是1e-4，bs=1K，你可以根据实际情况调整（观察开发集loss等手段）。

``` base_model=/public/home/xx/xx/model/Llama-2-7b-hf ``` 这个项目是基于**1代LLaMA**的，而你传入的是二代，合并之后的模型没有任何意义。

参阅我们在Mixtral上的论文 Section5.1：https://arxiv.org/abs/2403.01851

主要：ollama是哪个版本的？需要v0.1.33以上 次要：modelfile贴一下

https://github.com/ymcui/Chinese-LLaMA-Alpaca-3/wiki/ollama_zh#step-1-下载对应平台的应用程序 ollama必须使用0.1.33以上版本。目前最新是0.1.34。

多卡问题不太清楚，自行排查吧。 刚刚试了以下，completion/chat/embedding功能都正常。另外， 你加载的是instruct模型吗？看路径名并不是。 ### completion 请求： ``` curl http://localhost:19327/v1/completions -H "Content-Type: application/json" \ -d '{"prompt": "请你介绍一下中国的首都"}' ``` 返回： {"id":"cmpl-C4ULnmFXM3hrB4oVarG2fM","object":"text_completion","created":1715057211,"model":"llama-3-chinese","choices":[{"index":0,"text":"北京是中华人民共和国的首都，位于华北平原中部。它是一个历史悠久、文化底蕴深厚的大都市，也是政治、经济和文化中心之一。此外，它还是世界上最大的城市之一，有着丰富多彩的人文景观，如故宫、天安门广场等。"}]} ### chat 请求： ``` curl http://localhost:19327/v1/chat/completions \ -H "Content-Type: application/json" \...

你用的transformers版本是多少？相关依赖版本贴出来。

1. ollama什么版本？ 2. 看错误提示，似乎是和你的文件路径有关系，你用双引号括起来？

在colab上试了一下，模型文件并没有问题。你检查一下模型下载是否完整（比如比对sha256值）？ 另外也可以尝试更新到最新版0.1.34。 不太清楚你这个windows下是不是因为路径名/模型名问题导致的，第一条错误就是和路径相关的。