transformers 4.42.4以后已经没有_flash_attention_forward方法

Open Snowdar opened this issue 1 year ago • 2 comments

如题，由于model dispatch attention部分未兼容新版transformers，不能更新transformers以训练llama3.1

Jul 31 '24 07:07 Snowdar

请问你的问题解决了吗？我这边升级到transformers==4.44.2可以训练llama3.1，但是没办法再训练qwen2了，之前transformers==4.41.2是正常训练qwen2的。（xtuner==0.1.21）

Sep 05 '24 13:09 young-chao

官方应该已经更新兼容了新版本transformers在 2024年9月5日，21:56，young_chao @.***> 写道：请问你的问题解决了吗？我这边升级到transformers==4.44.2可以训练llama3.1，但是没办法再训练qwen2了，之前transformers==4.41.2是正常训练qwen2的。

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: @.***>

Sep 07 '24 23:09 Snowdar