加入spk_model后，一个模型似乎只能推理一次

[orangenuinee]

Notice: In order to resolve issues more efficiently, please raise issue following the template. （注意：为了更加高效率解决您遇到的问题，请按照模板提问，补充细节）

❓ Questions and Help

Before asking:

1. search the issues.
2. search the docs.

What is your question?

Code

model = AutoModel( model="paraformer-zh", vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 60000}, punc_model="ct-punc", spk_model="cam++", ngpu=args.ngpu, ncpu=args.ncpu, device=args.device, ) @app.post("/recognition/", status_code=200) def doc_query_stream(args: meeting_info_request, response: Response): rec_results = model.generate( input=args.file_path, is_final=True, batch_size_s=300, batch_size_threshold_s=60, )

我使用fastapi来做一个小demo时，在全局初始化的模型，然后请求过来时进行推理，但是发现再第二次往后的请求响应速度会非常慢，比第一次慢非常多，慢到请求直接断开了。

• Any other relevant information:

[animebing]

你可以尝试在每一次调用 model.generate 后，再调用一次 torch.set_num_threads(4)，我不清楚这样做的原因，但是应该可以解决这个问题

[johnmartinolli]

torch.set_num_threads(4)这个管用， 是什么原理呢