Chinese-LLaMA-Alpaca-3
Chinese-LLaMA-Alpaca-3 copied to clipboard
ollama 使用 ggml-model-q8_0.gguf 运行 llama3-zh-inst,有大量不相关的回复内容
提交前必须检查以下项目
- [X] 请确保使用的是仓库最新代码(git pull)
- [X] 已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案。
- [X] 第三方插件问题:例如llama.cpp、text-generation-webui等,建议优先去对应的项目中查找解决方案。
问题类型
模型推理
基础模型
Llama-3-Chinese-Instruct-8B(基座模型)
操作系统
Linux
详细描述问题
ollama 下面运行 llama3-zh-inst,能运行成功,但是回复内容有大量不相关的, 使用的gguf是 ggml-model-q8_0.gguf,从hf上下载的 https://huggingface.co/hfl/llama-3-chinese-8b-instruct-gguf/tree/main
依赖情况(代码类问题务必提供)
No response