预训练上下文问题

[samaritan1998]

Hi： 请问设置num_images_expected=48 max_packed_tokens=32000时 实际的seqence length差不多是16k 可以正常跑，但是我设置num_images_expected=100 max_packed_tokens=32000时，就跑不起来（显存溢出），显存是8 * 8 * 80G, 原理上应该可以跑吧（文本的可以跑起来), 请问要支持32k代码里需要改什么地方么？

谢谢