ericalduo

Qwen1.5-7B-Chat vLLM 部署调用-速度测试 hf命令错误

1

[vLLM部署](https://github.com/datawhalechina/self-llm/blob/master/Qwen1.5/07-Qwen1.5-7B-Chat%20vLLM%20%E6%8E%A8%E7%90%86%E9%83%A8%E7%BD%B2%E8%B0%83%E7%94%A8.md) 测试原始方式（使用 hunggingface 的 transformers 库）的速度： ``` python benchmark_throughput.py \ --model /root/autodl-tmp/qwen/Qwen1.5-7B-Chat \ --backend hf \ --input-len 64 \ --output-len 128 \ --num-prompts 25 \ --seed 2024 \ --dtype float16...

bge-reranker-v2-m3 环境配置咨询

1

本机环境：python=3.8，pytorch=1.11.0，nvidia-smi=450.119.04，cuda version=11.0，nvcc -V=11.3.109 执行pip install FlagEmbedding成功 python控制台执行 from FlagEmbedding import FlagReranker reranker = FlagReranker('/root/workspace/bge-reranker-v2-m3', use_fp16=True) 会大约1分钟没响应，然后显示“killed”并退出了python控制台 请问下是因为配置环境导致这样问题，或者是其他？或者在哪里可以看到具体报错日志？