Chinese-LLaMA-Alpaca-3 icon indicating copy to clipboard operation
Chinese-LLaMA-Alpaca-3 copied to clipboard

ollama 使用 ggml-model-q8_0.gguf 运行 llama3-zh-inst,有大量不相关的回复内容

Open luckzack opened this issue 2 months ago • 4 comments

提交前必须检查以下项目

  • [X] 请确保使用的是仓库最新代码(git pull)
  • [X] 已阅读项目文档FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案。
  • [X] 第三方插件问题:例如llama.cpptext-generation-webui等,建议优先去对应的项目中查找解决方案。

问题类型

模型推理

基础模型

Llama-3-Chinese-Instruct-8B(基座模型)

操作系统

Linux

详细描述问题

ollama 下面运行 llama3-zh-inst,能运行成功,但是回复内容有大量不相关的, 使用的gguf是 ggml-model-q8_0.gguf,从hf上下载的 https://huggingface.co/hfl/llama-3-chinese-8b-instruct-gguf/tree/main

image

依赖情况(代码类问题务必提供)

No response

运行日志或截图

image

luckzack avatar Apr 30 '24 06:04 luckzack