zhaoyinjiang9825

ok,Let me try！

Hello, in X86_GPU deployment, I added lm in convert_start_server.sh as follows: onnx_model_dir=/ws/onnx_model model_repo=/ws/model_repo lm_path=/workspace/ctc_decoder/swig/kenlm/lm/test.arpa # Convert config.pbtxt in model_repo and move models python3 scripts/convert.py --config=$onnx_model_dir/train.yaml --vocab=$onnx_model_dir/words.txt \ --model_repo=$model_repo --onnx_model_dir=$onnx_model_dir --lm_path=$lm_path...

triton works well without the LM model and successfully returns the recognition result, but the above error will be reported after adding the language model！ @yuekaizhang

请问你代码有改动吗@quqibing

有结论了吗@Aries-ckt

请问是否可以添加用户自己的模型代理，除了官方提供的那几个代理以外，我想将自己的微调模型做成代理供dbgpt使用，这种方式有解决方案吗？

@Aries-ckt

我作了如下工作： （1）参照baichuan_proxy创建了dbgpt\model\proxy\llms\railway.py，输入输出都和baichuan.py一样。 （2）在dbgpt\model\adapter\proxy_adapter.py，添加了如下代码: (3)dbgpt\configs\model_config.py和dbgpt\_private\config.py都做了相应的修改 第一个： 第二个： 修改.env文件，换成自己指定的代理但还是跑不起来报如下错误： 请问除了这些，我还需要做哪些工作？@Aries-ckt