Janus icon indicating copy to clipboard operation
Janus copied to clipboard

因为需要迁移到310视频卡上,需要先转换成onnx格式,测试了多种方法都有技术阻碍

Open furanger opened this issue 1 year ago • 0 comments

一种是转换成 transformers、llama、swift格式 ,然后出现了 ValueError: The checkpoint you are trying to load has model type multi_modality but Transformers does not recognize this architecture ,看了一下 应该是transformers 里没有配置文件中的multi_modality类别 第二种方法是onnxruntime,先启动模型,然后传输给onnxruntime,有了multi_modality类型了, 又报了 NotImplementedError: Module [MultiModalityCausalLM] is missing the required "forward" function 目前还没看懂MultiModalityCausalLM 类与AutoModelForCausalLM的forward应该如何设计,有什么好建议吗?

btw - 研化好像转换成了R1 但R1没有用MultiModalityCausalLM类

furanger avatar Mar 18 '25 12:03 furanger