雨飞

+1, I got the same issue

我这边部署，只能使用模型的 id，换成自己本地的路径 Qwen1.5-0.5B-Chat 这个模型也没法部署成功了，有人试过部署自己本地模型吗？ 一直要我去网上下载模型才可以， requests.exceptions.HTTPError: Response details: 404 page not found, Request id: 34d9d19ab9d84aa782284f15547c5e20 ```python from transformers import AutoTokenizer from vllm import LLM, SamplingParams model_path="/app/Qwen1.5-0.5B-Chat" # Initialize the tokenizer...

这个有没有推荐的版本呢，随便升级可能会导致我们其他的环境出问题

我这边有类似的结论，embedding+reranker 对比只使用embedding或者embeddig+bm25算法都有提升。但是只要微调了embedding模型，效果就会下降。 感觉和embedding模型的微调的关系比较大。

@mechigonft 尝试了老哥你的方案，发现reranker模型训练确实有问题，最后输出的结果没有区分度了。我还尝试训练了一个epoch的方式，reranker模型还是会存在问题；但是换成其他的向量模型挖掘，或者不使用难负例去微调，reranker模型输出就还算正常，recall 50 大概有0.01的提升

same error when I use the api client `INFO: 127.0.0.1:43128 - "POST /v1/chat/completions HTTP/1.1" 500 Internal Server Error ERROR: Exception in ASGI application Traceback (most recent call last): File "/opt/conda/lib/python3.10/site-packages/vllm/engine/async_llm_engine.py",...

We provide some toy data for the code, such as the CDR task dataset. You can find the detail information on the website http://www.biocreative.org/tasks/biocreative-v/track-3-cdr/. The task data is also free...

可以看一下是否是程序内部限制了显存比例呢

 When I updated the code, I got another error，the RuntimeError: CUDA error: no kernel image is available for execution on the device. Anyone helps me? cuda version 11.8 awq...