JustinSong
JustinSong
```py device = torch.device('cpu') reranker = FlagEmbeddingReranker( top_n=k, model=RERANK_MODEL_NAME, use_fp16=True ) reranker._model.to(device) ``` reranker can't invoke private propertiy`_model`.
@tslmy you are right,but FlagEmbeddingReranker has been initialized. I want to initialize the model when it is set by device,rather than to set device after model initialization which is complete
@liukuijun666 不支持修改源码？
@nobodyiam 没有，我把jdk调高了之后 就好了
@XuanYang-cn Pymilvus是否可以避免使用common.proto这种太通用的命名，或许使用比如：milvus_common.proto这种可以规避跟别的库撞车的风险，而且可以凸显出自己的业务场景如milvus_common的milvus代表的是自己的业务场景milvus
@XuanYang-cn 目前我想到的只能能过自己编写一个web服务进行隔离，是否还有其他方案可供参考？
@elacuesta how to solve it?
@wenzhaoabc 你试试 vllm 貌似不行
@wenzhaoabc 你加--gpu-memory-utilization 改成0.2 也没用