CJJ-amateur-programmer

Bug: Incompatible with Newest Qwen 2

11

### Contact Details _No response_ ### What happened? I downloaded the `gguf` version of `Qwen2-7B-Instruct` from https://modelscope.cn/api/v1/models/qwen/Qwen2-7B-Instruct-GGUF/repo?Revision=master&FilePath=qwen2-7b-instruct-q8_0.gguf (also available at https://huggingface.co/Qwen/Qwen2-7B-Instruct-GGUF/resolve/main/qwen2-7b-instruct-q8_0.gguf ), and loaded the model by running `llamafile.exe -m...

最新的rwkv-6-world模型转换后运行出错

1

模型下载链接： https://modelscope.cn/models/Blink_DL/rwkv-6-world/file/view/master?fileName=RWKV-x060-World-7B-v2.1-20240507-ctx4096.pth&status=2 下载后以cuda fp16i8 -> cuda fp16 *1策略直接运行，没有问题； 以同样的策略转换，然后切换至转换完毕的量化模型，以同样策略运行，最后会报错： `{"detail":"failed to load: 'types.SimpleNamespace' object has no attribute 'n_head'"}` 无论是否开启“使用自定义CUDA算子加速”均出现该问题。 用同样的配置转换RWKV-5-World并运行，没有问题。 所使用的RWKV-Runner版本1.8.2，1.8.1版本测试结果也类似。