InferLLM icon indicating copy to clipboard operation
InferLLM copied to clipboard

Published 20 hours ago • verified publisher icon MegEngine

decode & decode_iter 多线程会不会有问题

Open guangyuanyu opened this issue 1 year ago • 0 comments

如果多个线程同时使用model的 decode 和 decode_iter方法，会不会有问题？

guangyuanyu avatar Jun 04 '23 12:06 guangyuanyu