WebGLM icon indicating copy to clipboard operation
WebGLM copied to clipboard

retrieve模型不变的情况下,修改代码以使用其他模型(除了WebGLM和WebGLM-2B)是否可行呢?

Open Danny-C-Auditore opened this issue 1 year ago • 2 comments

Danny-C-Auditore avatar Jul 16 '23 16:07 Danny-C-Auditore

通过在其他模型文件中更改auto_map字段是否可以达到更换模型的效果呢? image

Danny-C-Auditore avatar Jul 16 '23 17:07 Danny-C-Auditore

你好!如果想要使用其他AutoModelForSeq2SeqLM支持的模型,可以直接透过传入不同的checkpoint来完成,不过可能需要重新组织prompt。如果要使用其他AutoModelForSeq2SeqLM不支持的模型,得在model/modeling_webglm.py中进行修改。

hanyullai avatar Jul 24 '23 08:07 hanyullai