pppppM
pppppM
@1518630367 请问使用的新旧 xtuner 都是多少？
@1518630367 这个问题已经被定位到并修复 #697
训练超长序列，需要使用序列并行 https://xtuner.readthedocs.io/zh-cn/docs/acceleration/train_extreme_long_sequence.html#id7
XTuner 默认会拼接数据至 max length 以提升 gpu 利用率，导致实际 iter 和数据条数不符 https://xtuner.readthedocs.io/zh-cn/docs/acceleration/pack_to_max_length.html
应该使用的是 xtuner 的 main 分支？这个问题在 #697 中已经修复 @mikewin
`autoawq` appears to support quantization for llava models, have you tried it? We are developing a quantized version of the VL model in `lmdeploy`, but it won't be released until...
https://xtuner--664.org.readthedocs.build/zh-cn/664/acceleration/length_grouped_sampler.html 可以先参考下我们正在撰写的文档，会对 gpu 利用率有比较大的影响
请问使用的 NPU 具体型号是？
@Richie-yan 感谢关注，因为 npu 部分文档的缺失可能对您造成了比较大的困扰 test_sft_trainer_235B.py 是一个在 H800 上做精度回归的脚本，里面的一些参数设置应该在 256 * A3 上跑不起来，比如 pack max length 和 global batch size，需要对应改成 32k 和 512（256 * A3 共有 512 DP） 另外，600 tgs 是...
@qsh-zh Thank you for your attention! Indeed, offloading and re-computation techniques will be used, but they will not affect the speed. The speed test results in the README on 256...