xiaolong

您好，我在加载baichuan2-13b时候遇到相似问题，在0.3.3与0.4版本均存在，RuntimeError: No suitable kernel. h_in=32 h_out=15360 dtype=Float out_dtype=BFloat16

是的，我也是这样添加的，测试没有问题，在0.3.3与0.4中均没有问题

我看您有不断提交pr，您可以帮忙在下次提交pr把这部分合并上去，我就不专门提pr了！另外问下，在0.4版本与您之前提交qkv的pr合并了之外，还做了哪些改动，比如我看到下面这部分，以便我选择是否需要更新到0.4版本，因为我基于0.3.3重写了ModelRunner,worker到LLMEngine部分 ` @classmethod def can_replace_layer(cls, source_layer: nn.Module, lora_config: LoRAConfig, packed_modules_list: List, model_config: Optional[PretrainedConfig]) -> bool:`