数据并行多卡推理方式

Open MikeHollyWong opened this issue 2 years ago • 2 comments

请问bge-reranker-large有推荐的数据并行多卡推理实现方式吗

Dec 04 '23 04:12 MikeHollyWong

FlagReranker默认使用DataParallel： https://github.com/FlagOpen/FlagEmbedding/blob/master/FlagEmbedding/flag_models.py#L138 DistributedDataParallel会更高效，使用方式可以参考： https://github.com/staoxiao/RetroMAE/blob/master/src/cross_encoder/run.py#L106

Dec 04 '23 04:12 staoxiao

非常感谢，实用🙏

Dec 04 '23 04:12 MikeHollyWong