Video-LLaMA icon indicating copy to clipboard operation
Video-LLaMA copied to clipboard

Published 20 hours ago • verified publisher icon DAMO-NLP-SG

llm在两个阶段都是keep frozen吗？

Open King-king424 opened this issue 1 year ago • 1 comments

King-king424 avatar May 12 '24 04:05 King-king424

是的 准确的说除了Q-former部分是learnable的，VideoLLaMA的其他组件在pretrain和sft阶段都是frozen的，但是我们在VideoLLaMA 2里面调整了训练策略，LLM部分在SFT阶段是更新的

lixin4ever avatar Jun 03 '24 13:06 lixin4ever