postcat icon indicating copy to clipboard operation
postcat copied to clipboard

随着AI Agent技术流程,是否支持API知识库,能够支持对接LLM大语言模型

Open Fun-Fox opened this issue 1 year ago • 7 comments

Describe the feature

接入LLM大语言模型,支持LLM API工具调用平台化 并且注重数据安全、API监控等等

Environment

Fun-Fox avatar Aug 23 '24 06:08 Fun-Fox

感觉API平台,会有很大的扩展性,这块目前有什么Agent 案例吗?

Fun-Fox avatar Aug 23 '24 06:08 Fun-Fox

@da-peng 可以具体聊一聊是什么样的扩展性吗?

scarqin avatar Aug 24 '24 08:08 scarqin

因为需求描述的不太明确,猜测你好像是要 agent 构建和服务托管。这种要额外支持聊天记录、文档预处理、向量数据库、任务分解计划、外部工具调用等功能,和 API 测试平台的定位差异挺大的。 面向普通用户的比如 字节的 coze,自定义程度更高的 dify.ai flowiseai,或者自己部署 langchain 等开源框架。

binarytahr avatar Aug 26 '24 05:08 binarytahr

@binarytahr bingo,我目前了解的 API 和 AI 结合:

  1. API 测试平台,自动生成测试用例/辅助智能编写文档
  2. 给 AI 提供作为 AI 的 funciton-calling 能力的知识库,作为外部系统例如 coze/dify 的知识库(一般一个 OpenAPI 文件就够了)

scarqin avatar Aug 29 '24 01:08 scarqin

大致应该跟各位说的一样,只是想看到一些实质性的案例学习一下。让api平台结合llm更智能。

Fun-Fox avatar Aug 29 '24 13:08 Fun-Fox

我本身这块没有太清晰,只有一个方向性的想法。感觉api平台应该属于这块领域的很大接入口

Fun-Fox avatar Aug 29 '24 13:08 Fun-Fox

@da-peng 近期看到的实践,分享给你:

  1. https://higress.io/
  2. https://apipark.com/zh/features

scarqin avatar Aug 31 '24 03:08 scarqin