lmdeploy icon indicating copy to clipboard operation
lmdeploy copied to clipboard
Published 1 month ago • verified publisher icon InternLM

多模态批处理

Open zzf2grx opened this issue 1 year ago • 1 comments

请教下，多模态批处理，想处理以下的场景：对同一张图，同一个prompt重复多次。 实际测试耗时没有明显减少，而且重复多次的结果基本一样，没有多样性。 想请教下，对于这种情况，图片提特征部分能否只进行一次，以及输出多样性如何提高。 谢谢

zzf2grx avatar Aug 16 '24 08:08 zzf2grx

你这个需要修改下server的逻辑吧，对有图片进行VIT网络后生成的embedding和ranges只计算一次，然后进行LLM的时候，设置采样，增加种子等，可以提高多样性

sjzhou4 avatar Aug 16 '24 09:08 sjzhou4