illufly
illufly copied to clipboard
本项目如何使用自定义模型?
作者您好,我想使用该库调用自己部署的模型,请问该如何设置相关变量?
建议你直接将其部署为兼容 OpenAI 接口的 API服务,然后配置 BaseURL 和 API_KEY 就可以了。
否则就需要自定义ChatAgent子类,可以参考OpenAI的实现方式: https://github.com/arcstep/illufly/blob/main/illufly/community/openai/chat.py