lyt719

> 你好，现在还不可以用hf的trainer。想实现的话需要修改一下hf的trainer训练循环中的backward和step，换成adalomo里的fused_backward。 我想再请教您一下，adalomo集成到hf后可以支持其他大模型吗？

> > 你好，现在还不可以用hf的trainer。想实现的话需要修改一下hf的trainer训练循环中的backward和step，换成adalomo里的fused_backward。 > > @lyt719 I've raised an issue to ask for the intergration here [huggingface/transformers#29649](https://github.com/huggingface/transformers/issues/29649) 但还不能给出集成进去的时间 非常感谢！