dyyoungg

> llava 1.5 有支持 long sequence 训练吗？ 目前看起来没有

> 能不能问下你的长序列训练场景是什么呢？我看目前Llava训练的序列长度普遍不长 目前很多视频理解模型都是基于llava的，但是理解长度都短，长视频的理解需要更多的图像token

> 长序列训练不是问题，目前 xtuner 已经支持了。主要问题是需要多模态的长序列数据集 我其实困惑就在于 多模态数据集处理的时候，是要过vision encoder和projector的，但是如果多图的话，比如几百上千张图，不可能等到你把llm的sequence都拼完了 再来切吧，这样效率感觉就低了。就是有vision encoder之后感觉 这套训练流程 似乎得改