Observability 建议参考 litellm 的实现，通过openai 协议的 metadata 来支持

[gumutianqi]

Why do you need it?

商业化的使用场景中，对可观测能力的需求很重要，既希望不破坏原有的 API 协议，又希望拥有更多的扩展能力。

How could it be?

• Observability 能力通过 metadata 来支持，各种第三方的集成，例如 langfuse/otel/postHG/langfire/sentry 等等都可以适配
• 另外对于 /chat 而言，很多观测平台是对 [用户][会话][Prompt][Caching][Stream] 都做了深度支持，所以还是基于 OpenAI 的 标准API 是可以办到的，user/session/thread + metadata 来做好不同第三方平台的映射关系。
• 除了统一观测以外，metadata 也能扩展出数据隔离，比如增加：team_id / project_id / agent_id 之类，配合 token 消耗情况，可以做到很好的三方集成

Links

OpenAI for metadata Litellm for metadata