illufly icon indicating copy to clipboard operation
illufly copied to clipboard

本项目如何使用自定义模型?

Open ZMXJJ opened this issue 1 year ago • 1 comments

作者您好,我想使用该库调用自己部署的模型,请问该如何设置相关变量?

ZMXJJ avatar Dec 07 '24 08:12 ZMXJJ

建议你直接将其部署为兼容 OpenAI 接口的 API服务,然后配置 BaseURL 和 API_KEY 就可以了。

否则就需要自定义ChatAgent子类,可以参考OpenAI的实现方式: https://github.com/arcstep/illufly/blob/main/illufly/community/openai/chat.py

arcstep avatar Dec 07 '24 14:12 arcstep