Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

Published 20 hours ago • verified publisher icon chatchat-space

vicuna模型是否能接入？

Open zp2459 opened this issue 1 year ago • 5 comments

您好！关于MOSS模型和vicuna模型，都是AutoModelForCausalLM来加载模型的，但是稍作更改（模型路径这些）会报这个错误。这个错误的造成是什么

ERROR 2023-05-12 02:57:13,240-1d: Tokenizer class LlamaTokenizer does not exist or is not currently imported.
INFO  2023-05-12 02:57:13,240-1d: 模型未成功加载，请到页面左上角"模型配置"选项卡中重新选择后点击"加载模型"按钮

zp2459 avatar May 12 '23 03:05 zp2459

这是因为目前master对每个checkpoint兼容不同，建议参考dev_llm分支，此分支抽象了checkpointloader

glide-the avatar May 12 '23 05:05 glide-the

@glide-the 你好，看了下代码，有点看不懂，按照dev-llm分支加载别的模型具体操作是啥啊

baolixiong avatar May 12 '23 05:05 baolixiong

@glide-the 你好，看了下代码，有点看不懂，按照dev-llm分支加载别的模型具体操作是啥啊

doc有个启动选项的文档，哪里可以看看

glide-the avatar May 12 '23 05:05 glide-the

@glide-the 最终会选择接入某个llama模型到master吗。为了本地运行节省vram，要么用ggml，要么用gptq。这两个技术和glm，moss目前都不兼容。感觉国产llm在压缩技术上有点脱节，只有int4/int8量化。

yhyu13 avatar May 15 '23 05:05 yhyu13

@glide-the 最终会选择接入某个llama模型到master吗。为了本地运行节省vram，要么用ggml，要么用gptq。这两个技术和glm，moss目前都不兼容。感觉国产llm在压缩技术上有点脱节，只有int4/int8量化。

版本迭代应该需要一段时间，目前这个项目的设计架构还在完善当中

glide-the avatar May 15 '23 10:05 glide-the

目前已经可以接入，请更新到最新代码

zRzRzRzRzRzRzR avatar Sep 27 '23 13:09 zRzRzRzRzRzRzR

image @zRzRzRzRzRzRzR 请问这是什么原因，自己合并后，模型另起了一个名字

Guanchaofeng avatar Oct 24 '23 04:10 Guanchaofeng

image @zRzRzRzRzRzRzR 请问这是什么原因，自己合并后，模型另起了一个名字

但是如果路径放到baichuan-13b里面，就可以正常运行

Guanchaofeng avatar Oct 24 '23 04:10 Guanchaofeng

image @zRzRzRzRzRzRzR 请问这是什么原因，自己合并后，模型另起了一个名字

但是如果路径放到baichuan-13b里面，就可以正常运行

问题得到解决，首先，Transformer版本问题应该为4.33.2。其次，模型合并的问题，这两个解决了就可以了

Guanchaofeng avatar Oct 24 '23 15:10 Guanchaofeng