api-for-open-llm

api-for-open-llm copied to clipboard

dcoker 部署 vllm 出现 404 Not Found

9

docker 部署 vllm qwen模型 启动成功，调用出现 "POST /v1/chat/completions HTTP/1.1" 404 Not Found 什么原因无法解决，请大神帮帮忙. http://127.0.0.1:7891/docs 显示 No operations defined in spec! 2024-05-09 07:00:03 INFO: Started server process [1] 2024-05-09 07:00:03 INFO: Waiting...

skyliwq

Qwen1.5不支持tool_choice

4

### 提交前必须检查以下项目 | The following items must be checked before submission - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 | Make sure you are using the latest code from the repository (git pull), some...

YunmengLiu0

使用baichuan2-13b-chat模型，回答的乱码，代码写不出来

2

### 提交前必须检查以下项目 | The following items must be checked before submission - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 | Make sure you are using the latest code from the repository (git pull), some...

guiniao

### 起始日期 | Start Date 2024/4.12 ### 实现PR | Implementation PR 编辑生成openai格式接口宫langchai-chatchat调用 ### 相关Issues | Reference Issues 无 ### 摘要 | Summary 我想使用电信公司大模型Telechat ### 基本示例 | Basic Example 无 ###...

xiaoma444

💡 [REQUEST] - <请问可以支持一下Xai新发布的Grok-1模型吗>

1

### 起始日期 | Start Date 3/19/2024 ### 实现PR | Implementation PR https://github.com/xai-org/grok-1 ### 相关Issues | Reference Issues https://github.com/xai-org/grok-1 ### 摘要 | Summary https://github.com/xai-org/grok-1 ### 基本示例 | Basic Example https://github.com/xai-org/grok-1 ###...

Hapluckyy

docker vllm运行qwen1.5-7b-chat无法部署，报错：Fatal Python error: Bus error

2

### 提交前必须检查以下项目 | The following items must be checked before submission - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 | Make sure you are using the latest code from the repository (git pull), some...

syusama

### 提交前必须检查以下项目 | The following items must be checked before submission - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 | Make sure you are using the latest code from the repository (git pull), some...

jaffe-fly

💡 [REQUEST] - 请问如何支持 Qwen/Qwen-VL-Chat

1

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary 请问如何支持 Qwen/Qwen-VL-Chat ### 基本示例 |...

wangschang

Qwen1.5推理报错RuntimeError: cannot reshape tensor of 0 elements into shape [-1, 0] because the unspecified dimension size -1 can be any value and is ambiguous

6

### 提交前必须检查以下项目 | The following items must be checked before submission - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 | Make sure you are using the latest code from the repository (git pull), some...

syusama

### 起始日期 | Start Date _No response_ ### 实现PR | Implementation PR _No response_ ### 相关Issues | Reference Issues _No response_ ### 摘要 | Summary 如题 ### 基本示例 | Basic...

Tongjilibo