Beyond

关于远程API调用的问题

1

目前我浏览了与例子相关的代码，想请问是否目前提供的代码只实现了调用本地模型的功能（通过transformer库）？ 也就是说如果我想使用远程调用的方式，需要重构generator以及相关模型调用的代码，还是说我遗漏了没有找到api调用相关的代码。

环境配置问题：vllm

5

Collecting vllm>=0.4.1 (from flashrag==0.0.1) 我在跟着新手教程配置环境的时候，出现了以下问题（vllm下载无法成功），并且即使我尝试使用虚拟环境安装也无法成功，所以我想请问以下问题是否有办法解决，目前我不太清楚问题原因， 目前我是在windows下跑的，终端用的是cmd  Downloading vllm-0.5.4.tar.gz (958 kB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 958.6/958.6 kB 5.5 MB/s eta 0:00:00 Installing build dependencies ... done Getting requirements to build wheel ... error...