LM-Infinite icon indicating copy to clipboard operation
LM-Infinite copied to clipboard
verified publisher icon Glaciohound

是否和其他peft兼容？

Open pursure-Hy opened this issue 1 year ago • 1 comments

对于非base-model的LLama，而是经过自己的peft方法微调的model，可以直接使用吗？

pursure-Hy avatar Feb 17 '25 16:02 pursure-Hy

理论上应该是可以的，LM-Infinite 只和模型架构有关，和具体参数无关。peft微调过的模型，只要是有合理的LM功能，LM-Infinite应该就可以在上面实现长度延展的效果。有人和我们说，在speech Transformer上，LM-Infinite也可以工作，这应该也印证了它的通用性。如果有后续的问题请告诉我！

Glaciohound avatar Jul 13 '25 19:07 Glaciohound