lagent icon indicating copy to clipboard operation
lagent copied to clipboard

【feature】llm添加openai风格服务端支持(自定义代理地址和模型名称)

Open QiuZiXian opened this issue 1 year ago • 1 comments

llm添加openai风格服务端支持(自定义代理地址和模型名称)

使用mindsearch的时候,发现无法使用自定义代理地址、模型名称的openai风格服务端。 GPTAPI有进行模型校验等原因,秉承只add的原则。基于GPTAPI扩展GPTStyleAPI:

支持openai风格:

已测试通过:

  • xinference 1.2.0
  • ollama 0.5.5
  • one-api v0.6.10-alpha.6
  • baichuan 直连
  • lmdeploy 0.7.0

使用方法:

设置api_base、 model_name、key(如果服务端不需要,可忽略)

    model_name = "deepseek-r1:1.5b"
    gpttool = GPTStyleAPI(
        model_type=model_name,
        api_base=api_base,
        key="sk-IXgCTwuoEwxL1CiBE4744688D8094521B70f4aDeE6830c5e",
    )
    res = gpttool.chat(inputs=[
        {
            "role": "user",
            "content": "世界第一高峰是"
        }])

具体参见tests/test_llms/test_gptstyleapi.py

QiuZiXian avatar Feb 05 '25 09:02 QiuZiXian

是不是用litellm来统一调用各个provider更加简洁和容易维护?

flingjie avatar Feb 14 '25 06:02 flingjie