guidance icon indicating copy to clipboard operation
guidance copied to clipboard
verified publisher icon microsoft

添加开源模型api的使用方式

Open 626394316 opened this issue 1 year ago • 2 comments

能否提供支持调用开源模型api的方式

626394316 avatar Jan 09 '25 08:01 626394316

Hi @626394316

我们确实支持许多开源模型 API，包括 transformers 和 llama.cpp！您是否考虑过特定​​的提供商？

对于任何语言问题，我深表歉意，我正在使用翻译器

Harsha-Nori avatar Jan 09 '25 11:01 Harsha-Nori

@Harsha-Nori 感谢您的回答 我想要了解一些开源模型它们的调用方式除了需要提供api_key以外，还要提供base_url，这种方式的开源模型API应该如何调用呢

626394316 avatar Jan 09 '25 12:01 626394316