lightllm icon indicating copy to clipboard operation
lightllm copied to clipboard

运行api_server正常,但是发送正常openai请求报错,说输入类型错误

Open xiaoshizijiayou opened this issue 1 year ago • 2 comments

python -m lightllm.server.api_server --model_dir /root/autodl-tmp/Qwen2-7B-Instruct --host 0.0.0.0 --port 8000 --trust_remote_code --model_name Qwen2-7B-Instruct --data_type=bfloat16 --eos_id 151643 --tokenizer_mode fast ,通过以上命令启动服务正常,但是发送openai格式的请求后,报以下输入类型错误。请问如何解决 image

xiaoshizijiayou avatar Sep 26 '24 10:09 xiaoshizijiayou

@xiaoshizijiayou openai 兼容接口维护得不是特别充分,我们会定期修复一下。

hiworldwzj avatar Sep 27 '24 03:09 hiworldwzj

@xiaoshizijiayou openai 兼容接口维护得不是特别充分,我们会定期修复一下。

大概什么时候可以修复,需要验证一个问题

xiaoshizijiayou avatar Sep 27 '24 06:09 xiaoshizijiayou