微调阶段batch_size=19200是否意味着负样本数量也是19000+？还是只是根据train_group_size进行设置的值。

[sunzhaoyang1]

如title。

[staoxiao]

embedding的话，负样本数量是train_group_size*batch_size-1

[sunzhaoyang1]

embedding的话，负样本数量是train_group_size*batch_size-1

就是说在计算loss的时候， anchor pos neg 其中neg中元素的数量是（train_group_size*batch_size-1）对吗？

[staoxiao]

是的

[sunzhaoyang1]

是的

非常感谢您的回复，以及我发现进行梯度累积的运算速度似乎比不进行梯度累积要快，batch size的大小是否有一些选择的依据？

[staoxiao]

梯度累积无法提高负样本数量，只能通过单次batch size提高负样本。

[sunzhaoyang1]

好的谢谢