feat: 希望增加langfuse类似的ai观测功能,实现请求数据分析和收集
Description
希望增加langfuse类似的ai观测功能,实现请求数据分析和收集
LLM 可观察功能还是蛮复杂的,能了解一下您的主要使用场景吗?就是该功能上线后,能具体解决您目前怎样的痛点,预计可以带来什么价值?
LLM 可观察功能还是蛮复杂的,能了解一下您的主要使用场景吗?就是该功能上线后,能具体解决您目前怎样的痛点,预计可以带来什么价值?
主要是我们是辅助研发场景,同时需要收集用户使用研发工具中提出的问题和业务数据,构造后续微调数据集,同时查看看看用户主要使用的功能
我理解一下,你们的产品是AI coding类的?然后希望可以通过网关解决以下需求?
- 了解用户调用你们提供的AI能力时的具体请求和响应数据,即详细的调用请求日志
- 希望能查看用户一定时间内使用了你们哪些AI能力
我理解一下,你们的产品是AI coding类的?然后希望可以通过网关解决以下需求?
- 了解用户调用你们提供的AI能力时的具体请求和响应数据,即详细的调用请求日志
- 希望能查看用户一定时间内使用了你们哪些AI能力
是的,langfuse的traces追踪功能感觉很好
了解,只是请求调用日志统计和分析并不难。langfuse解决的是LLM研发协作场景,所以他们的请求分析会偏系统底层链路分析。类似于skywalking,所以langfuse也是需要嵌入埋点代码获取更多内容。
APIPark这边原计划也会增强LLM调用的可观察性,例如我们上面讨论的两点需求会有后续功能满足,但是是否做到像langfuse那么复杂,不好说。因为我觉得更强的可观察性功能的受众会更少,带来的价值也不大。例如APIPark做了和langfuse一样专业度的LLM调用分析功能,你们研发团队会愿意因为这个功能给APIPark付多少费用?
了解,只是请求调用日志统计和分析并不难。langfuse解决的是LLM研发协作场景,所以他们的请求分析会偏系统底层链路分析。类似于skywalking,所以langfuse也是需要嵌入埋点代码获取更多内容。
APIPark这边原计划也会增强LLM调用的可观察性,例如我们上面讨论的两点需求会有后续功能满足,但是是否做到像langfuse那么复杂,不好说。因为我觉得更强的可观察性功能的受众会更少,带来的价值也不大。例如APIPark做了和langfuse一样专业度的LLM调用分析功能,你们研发团队会愿意因为这个功能给APIPark付多少费用?
其实不开发也行,增加能够集成在网关侧langfuse的方式也行