InternVL
InternVL copied to clipboard
InternVL2-40B模型出现输出混乱的现象
启动方式: lmdeploy serve api_server /root/wangjianqiang/InternLM/OpenGVLab/InternVL2-40B-1/ --server-name 0.0.0.0 --server-port 9014 --model-name internVL --tp 4 --log-level INFO --backend turbomind --chat-template /root/wangjianqiang/InternLM/OpenGVLab/chat_template.json
调用方式使用的openai方式
输出结果: 总总总总总总总总总总总总总总总总总总总总总 specially subscribers subscribers subscribers temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper temper(后面还有很长一串)
是模型出现问题了吗?还是配置不正确