inference

inference copied to clipboard

我在使用qwen-vl模型的时候无法使用gpu部署。选择N-GPU选择auto也是跑在cpu上。但是我如果跑qwen-1.5 chat模型，就可以跑在GPU上，这是为什么？

983183947

I saw the configuration file of Yi-9b in the source code, but I can't use it.

1

 

Captain-Slacker-OwO

The qwen model use ReAct to call tools, the token usage may larger than the expected. - Fixes: https://github.com/xorbitsai/inference/issues/1412

codingl2k1

Chatglm3模型聊天Response中token消耗为-1

2

### Describe the bug Chatglm3模型返回的token消耗数为-1 ### To Reproduce 请求参数： ```json { "model": "chatglm3", "messages": [ {"role": "user", "content": "你能做什么"} ], "temperature": 0.7, "max_tokens":1024, "tools": [{ "type": "function", "function": { "name":...

dengpan1

BUG xinference部署bge rerank模型经常出现服务错误

3

### Describe the bug 用xinference0.10.2.post1版本部署了bge-reranker-v2-m3模型，但经常出现如下错误，并且经常会出现服务无法响应的问题，需要重启才能解决： xinference.api.restful_api 22480 ERROR [address=0.0.0.0:44871, pid=22579] 'float' object is not subscriptable Traceback (most recent call last): File "/app/anaconda3/lib/python3.11/site-packages/xinference/api/restful_api.py", line 1067, in rerank scores = await model.rerank(...

yaoyasong

FEAT: Audio support verbose_json and timestamp

8

- Fix temperature not set. - Fixes: https://github.com/xorbitsai/inference/issues/1387 - Fixes: https://github.com/xorbitsai/inference/issues/1253

codingl2k1

Qwen1.5-chat 72B int4 4卡(V100) 推理过程中token数到10k会报错OOM

1

 

EthanD4869

QUESTION support pipeline parallel inference

1

support pipeline parallel inference

zhengxingmao

加载自定义模型 qwen1.5 0.5B chat

4

### 如上述文字 自定义模型0.5B 是json文件这么写不对吗？请指教，json无法解析  

GXKIM

FEAT: support modifying registered custom model configs

1

对于xinference未官方支持的模型我们常需要自己手动注册，但是有时候并不确定注册的模型类型或者模型名是否合适，当部署失败时常常需要返回修改一些参数，但是目前平台仅支持删除后重建，无法快速修改部分参数，就很不方便，期望可以支持修改的功能

ConleyKong