Langchain-Chatchat
Langchain-Chatchat copied to clipboard
vicuna模型是否能接入?
您好!关于MOSS模型和vicuna模型,都是AutoModelForCausalLM来加载模型的,但是稍作更改(模型路径这些)会报这个错误。这个错误的造成是什么
ERROR 2023-05-12 02:57:13,240-1d: Tokenizer class LlamaTokenizer does not exist or is not currently imported.
INFO 2023-05-12 02:57:13,240-1d: 模型未成功加载,请到页面左上角"模型配置"选项卡中重新选择后点击"加载模型"按钮
这是因为目前master对每个checkpoint兼容不同,建议参考dev_llm分支,此分支抽象了checkpointloader
@glide-the 你好,看了下代码,有点看不懂,按照dev-llm分支加载别的模型具体操作是啥啊
@glide-the 你好,看了下代码,有点看不懂,按照dev-llm分支加载别的模型具体操作是啥啊
doc有个启动选项的文档,哪里可以看看
@glide-the 最终会选择接入某个llama模型到master吗。为了本地运行节省vram,要么用ggml,要么用gptq。这两个技术和glm,moss目前都不兼容。感觉国产llm在压缩技术上有点脱节,只有int4/int8量化。
@glide-the 最终会选择接入某个llama模型到master吗。为了本地运行节省vram,要么用ggml,要么用gptq。这两个技术和glm,moss目前都不兼容。感觉国产llm在压缩技术上有点脱节,只有int4/int8量化。
版本迭代应该需要一段时间,目前这个项目的设计架构还在完善当中
目前已经可以接入,请更新到最新代码
@zRzRzRzRzRzRzR 请问这是什么原因,自己合并后,模型另起了一个名字
@zRzRzRzRzRzRzR 请问这是什么原因,自己合并后,模型另起了一个名字
但是如果路径放到baichuan-13b里面,就可以正常运行
@zRzRzRzRzRzRzR 请问这是什么原因,自己合并后,模型另起了一个名字
但是如果路径放到baichuan-13b里面,就可以正常运行
问题得到解决,首先,Transformer版本问题应该为4.33.2。其次,模型合并的问题,这两个解决了就可以了