bgeM3 batch_size参数是什么意思？

Open gggdroa opened this issue 1 year ago • 3 comments

这个参数是配置什么的呢？

May 30 '24 07:05 gggdroa

batch_size 参数用于配置推理/微调时一个 batch(批次) 中的数据量，一般需要根据 GPU 的显存大小设置合理的 batch_size

May 31 '24 03:05 hanhainebula

batch_size 参数用于配置推理/微调时一个 batch(批次) 中的数据量，一般需要根据 GPU 的显存大小设置合理的 batch_size

比如 batch_size=12，程序会根据list长度，以12为一批进行推理哈？

Jun 07 '24 03:06 gggdroa

@gggdroa @hanhainebula 请问批量跑，数值不一样，原因是什么？https://github.com/FlagOpen/FlagEmbedding/issues/338

Jul 11 '24 10:07 cristianohello