qwen.cpp Does it support Qwen1.5 Model?

Does it support Qwen1.5 Model?

Open kicGit opened this issue 1 year ago • 8 comments

Feb 08 '24 03:02 kicGit

同问，llama.cpp的转换脚本好像不能正常转化

Feb 15 '24 09:02 wanshichenguang

可以试试ollama，一条命令即可体验。

Feb 15 '24 09:02 sweetcard

可以试试ollama，一条命令即可体验。

你测试的效果如何？我用ollama测试qwen1.5-0.5b，效果极差

Feb 19 '24 02:02 kicGit

可以试试ollama，一条命令即可体验。

你测试的效果如何？我用ollama测试qwen1.5-0.5b，效果极差

0.5b太小了。目前要做到效果好，很难的

Feb 19 '24 02:02 sweetcard

同问，llama.cpp的转换脚本好像不能正常转化

老哥解决了吗

Feb 19 '24 08:02 anaivebird

huggingface 上有 gguf 的版本，可以直接用。

https://huggingface.co/Qwen/Qwen1.5-1.8B-Chat-GGUF

Feb 24 '24 23:02 YiandLi

huggingface 上有 gguf 的版本，可以直接用。

https://huggingface.co/Qwen/Qwen1.5-1.8B-Chat-GGUF

如果是自己微调过的版本，怎么转换gguf呢

Feb 24 '24 23:02 anaivebird

huggingface 上有 gguf 的版本，可以直接用。 https://huggingface.co/Qwen/Qwen1.5-1.8B-Chat-GGUF

如果是自己微调过的版本，怎么转换gguf呢

老哥，自己微调过的模型转换成gguf的问题解决了吗？

Feb 28 '24 08:02 helloHKTK