ChatGLM-webui 加入 ChatRWKV 支持，请问开发者有没有联系方式

加入 ChatRWKV 支持，请问开发者有没有联系方式

Open BlinkDL opened this issue 1 year ago • 5 comments

Hi 大家好，我是 RWKV 的作者，目前有中英文 Chat 模型和小说模型，7B 和 14B：

https://zhuanlan.zhihu.com/p/618011122

RWKV 现在有 pip package 可以直接调用推理，支持 INT8 量化，支持 streaming 模式（可以用很小显存运行），支持拆分到多张显卡：

https://pypi.org/project/rwkv/

大家可以合作加入 RWKV 支持吗？如有兴趣可以加 RWKV 的 QQ 群，谢谢。请问 ChatGLM 有没有群，我也加。

Apr 02 '23 09:04 BlinkDL

我不是作者。

在huggingface的仓库里写config.json，然后就可以加参数--model BlinkDL/rwkv-4-raven，而不需要这边做什么改动因为用的是AutoModel.from_pretrained 举例 { "_name_or_path": "THUDM/chatglm-6b", "architectures": [ "ChatGLMModel" ], "auto_map": { "AutoConfig": "configuration_chatglm.ChatGLMConfig", "AutoModel": "modeling_chatglm.ChatGLMForConditionalGeneration", "AutoModelForSeq2SeqLM": "modeling_chatglm.ChatGLMForConditionalGeneration" }, "bos_token_id": 150004, "eos_token_id": 150005, "hidden_size": 4096, "inner_hidden_size": 16384, "layernorm_epsilon": 1e-05, "max_sequence_length": 2048, "model_type": "chatglm", "num_attention_heads": 32, "num_layers": 28, "position_encoding_2d": true, "torch_dtype": "float16", "transformers_version": "4.23.1", "use_cache": false, "vocab_size": 150528 } 和ChatGLM项目的其余几个py