InternVL icon indicating copy to clipboard operation
InternVL copied to clipboard
Published 3 months ago • verified publisher icon OpenGVLab

InternViT−6B−448px−V1.5怎么进行TP拆分

Open yjzhong89 opened this issue 1 year ago • 0 comments

请问一下，我在使用megatron对InternViT进行TP拆分时，发现num_attention_heads=25，这个数值无法被2的倍数整除，这个数值当初在设计时是怎么考虑的呢？是否可以替换成其他数值，比如24？

yjzhong89 avatar May 22 '24 03:05 yjzhong89