Yuxuan Zhang

1. 16 cards can be fully parameter trained 2. 8 cards can be fine-tuned

yes

https://github.com/a-r-r-o-w/cogvideox-factory Try this framwork

diffsuers记得更新，按照req装依赖

我们之后会尝试用diffuser方案进行微调尝试，不过这需要一段时间，我们还在排期中

更新transformers==4.42.4和我们huggingface的文件

我检查下这个问题，我估计是combine开启之后没有插入user头，感谢你的耐心

你的数据集设置最大长度 max_len需要超过你的数据集长度，不然就会被截断。截断之后，special token 151337也被截断导致数据不完整。 （因为这个脚本是先拼接的special token再进行截断的）

对，目前要用工程来遏制，或者直接指定这个token 为stop token

如果你是2B模型，你应该使用FP16微调，此外，这个错误我没有遇到过，单卡正常吗