FATE FATE-LLM-pellm

FATE-LLM-pellm

Open dongdongzhaoUP opened this issue 11 months ago • 3 comments

求问，在FATE-LLM中的pellm中，将base_model替换为添加了adapter（如lora等）的peft_model，在客户端训练后、聚合时仅传递给aggregator adapter部分的参数、不传递base_model参数是在哪里实现的？

Mar 03 '24 11:03 dongdongzhaoUP

请问用的底层fate是哪个版本？

Mar 04 '24 02:03 mgqa34

谢谢回复。我看的是2.0.0，您也可以用您熟悉的版本说明

Mar 04 '24 06:03 dongdongzhaoUP

谢谢回复。我看的是2.0.0，您也可以用您熟悉的版本说明

https://github.com/FederatedAI/FATE/blob/master/python/fate/ml/aggregator/base.py#L152 可以看下这里，聚合的是的trainable parameters(requires_grad=True)

Mar 04 '24 08:03 mgqa34