chatglm.cpp 请问是否有将chatglm.cpp合并到llama.cpp的计划？

请问是否有将chatglm.cpp合并到llama.cpp的计划？

Open Autumn-Whisper opened this issue 1 year ago • 7 comments

Dec 10 '23 16:12 Autumn-Whisper

这个得看llama.cpp作者同不同意

Dec 11 '23 13:12 catmeowjiao

我可以尝试往 llama.cpp 迁移，但他们现在应该没办法支持 tool call / code interpreter 之类的功能

Dec 12 '23 08:12 li-plus

顺便问一下, code interpreter目前只支持chatglm吗?

Dec 12 '23 09:12 miku1958

目前llama.cpp已经支持Baichuan2了, 试了一下用convert-hf-to-gguf.py直接能创建, 但为什么chatglm.cpp需要的内存比llama.cpp少那么多

Dec 12 '23 09:12 miku1958

用llama.cpp转换Baichuan2的gguf版本后试了一天, 愣是没有办法解决死循环的问题, 我还是继续用chatglm.cpp吧, 如果有解决方法可以告诉我一下谢谢

Dec 14 '23 09:12 miku1958

用llama.cpp转换Baichuan2的gguf版本后试了一天, 愣是没有办法解决死循环的问题, 我还是继续用chatglm.cpp吧, 如果有解决方法可以告诉我一下谢谢

这个我有办法，之前我量化yi-6b-200k的模型时也是这样，加上一个停止符就可以了，官方告诉我的

Apr 22 '24 10:04 dfengpo

关注

Apr 30 '24 08:04 zhanzushun