bert-utils icon indicating copy to clipboard operation
bert-utils copied to clipboard

Published 20 hours ago • verified publisher icon terrifyzhao

为什么encode里用queue来实现

Open BucherLi opened this issue 5 years ago • 3 comments

如题 为什么用在encode里用queue来异步获取句向量呢？而且我看里面设置的queue的长度为1，如果有并发的时候 会不会导致丢失数据呢

BucherLi avatar Jun 01 '19 08:06 BucherLi

@BucherLi estimator执行predict每次都会去加载图，用queue能避免这个问题

terrifyzhao avatar Jun 03 '19 03:06 terrifyzhao

estimator执行predict每次都会去加载图，用queue能避免这个问题

并发安全吗，多线程同时调用encode的时候。会不会造成数据丢失，是不是得给queue加锁

BucherLi avatar Jun 06 '19 02:06 BucherLi

@terrifyzhao 并发安全吗，多线程同时调用encode的时候。会不会造成数据丢失，是不是得给queue加锁

BucherLi avatar Jun 18 '19 09:06 BucherLi