SDBI 用共享内存输出

用共享内存输出

Open cailun01 opened this issue 3 years ago • 5 comments

您好！我看到在Readme中提到”输出还没有全用shared memory“，可是我看到在源码里面，模型进程推理出结果后，通过一块共享内存把输出传递给Backend进程(结果处理线程)，再通过另一块共享内存把输出传回数据(业务)进程。

请问对输出使用共享内存还有优化的空间吗？

Mar 26 '21 13:03 cailun01

https://github.com/YellowOldOdd/SDBI/blob/master/SimpleDBI/backend.py#L455 其实这里还是动态申请的变量，在目前的benchmark里没有影响，但如果模型输出尺寸比较大，queue的put和get的延迟会变高～

Mar 29 '21 06:03 YellowOldOdd

原来如此，感谢！那么新建一个子进程运行mps_model_handler函数，与output_handler共享内存，应该就能解决了吧？

Mar 29 '21 11:03 cailun01

是的，其实只要能避免向Queue里直接塞数据就好～

Mar 30 '21 02:03 YellowOldOdd

谢谢！

Mar 30 '21 07:03 cailun01

现在有个动态shape的bug，我顺便把输出也改好

Mar 31 '21 03:03 YellowOldOdd