FlashRAG icon indicating copy to clipboard operation
FlashRAG copied to clipboard

关于远程API调用的问题

Open Beyond0831 opened this issue 1 year ago • 1 comments

目前我浏览了与例子相关的代码,想请问是否目前提供的代码只实现了调用本地模型的功能(通过transformer库)? 也就是说如果我想使用远程调用的方式,需要重构generator以及相关模型调用的代码,还是说我遗漏了没有找到api调用相关的代码。

Beyond0831 avatar Aug 22 '24 01:08 Beyond0831

目前支持openai形式的接口的调用,但是还没有补充相关文档。可以参考basic_config.yaml里面的相关设置,具体设置可以参考:

framework: openai
generator_model: gpt-4o
openai_setting:
    api_key: "YOUR-API-KEY"

设置完成后就会自动加载api模型作为generator。

ignorejjj avatar Aug 22 '24 02:08 ignorejjj