ollama 使用 ggml-model-q8_0.gguf 运行 llama3-zh-inst，有大量不相关的回复内容

[larkwins]

提交前必须检查以下项目

• [X] 请确保使用的是仓库最新代码（git pull）
• [X] 已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• [X] 第三方插件问题：例如llama.cpp、text-generation-webui等，建议优先去对应的项目中查找解决方案。

问题类型

模型推理

基础模型

Llama-3-Chinese-Instruct-8B（基座模型）

操作系统

Linux

详细描述问题

ollama 下面运行 llama3-zh-inst，能运行成功，但是回复内容有大量不相关的， 使用的gguf是 ggml-model-q8_0.gguf，从hf上下载的 https://huggingface.co/hfl/llama-3-chinese-8b-instruct-gguf/tree/main

依赖情况（代码类问题务必提供）

No response

运行日志或截图

[ymcui]

1）llamacpp才改过pre-tokenizer，其他下游程序（如ollama）不一定能很快适配；2）modelfile可能要更新；

我建议是再等等下游适配；另外就是可以直接用源头的llamacpp推理。

[ymcui]

刚刚试了一下原版Meta-Llama-3-8B-Instruct也是类似的问题，等下游适配吧。 llama.cpp里没有此类问题。

[lazyracket]

1）llamacpp才改过pre-tokenizer，其他下游程序（如ollama）不一定能很快适配；2）modelfile可能要更新；

我建议是再等等下游适配；另外就是可以直接用源头的llamacpp推理。

刚安装完，就遇到了无限循环自问自答的情况，等等Ollama适配吧

[kaka2008]

我用ollama运行ggml-model-f16.gguf，同样的问题，答非所问。问个你好都能出一堆乱七八糟的东西。

[xujh1969]

没错，一直在自问自答，无休无止

[ymcui]

Ollama已推出0.1.33版。经测试，此版本无上述问题。 https://github.com/ollama/ollama/releases/tag/v0.1.33

>>> 你好
你好！有什么我可以帮忙的吗？

>>> 你是谁？
我是一名AI语言模型，我的名字叫做Open Assistant。我被设计用于回答各种问题和提供帮助，你需要什么样的帮助呢？

>>> 什么是开源工具
开源（open source）是一个术语，它指的是一种许可证下的软件开发模式，该模式允许任何人在不限制使用或修改的前提下获取并使用该软件。这种开放和共享的原则使得用户可以自由地审查、改进和重用软件代码，并与其他社区成员共同参与到项目中来。

开源工具通常是指那些基于开源许可证（如GNU通用公共许可证）开发的应用程序或库。这些工具在许多领域都有广泛的使用，例如操作系统、编程语言和框架、数据库管理系统、Web服务器等。通过开放原始代码，对于软件漏洞的修复也更加容易。

开源工具通常是由一群志愿者开发出来的，并且可以被任何人在自己的项目中自由地重用。在许多情况下，开源工具还提供了强大的社区支持和贡献机会，这使得用户能够通过与其他人的交流来更好地理解、改进并扩展这些工具。

总之，开放原始代码是一种促进共享知识和技术创新，并推动软件开发的方式。

[larkwins]

👍