eino
eino copied to clipboard
能否在Eino里原生提供更契合大模型上下文的ctx实现,以提供短期记忆功能
能否在Eino里原生提供更契合大模型上下文的ctx实现,对原生context进行一层封装,以实现更多样的功能
// OrchestrationContext 统一的编排上下文
type OrchestrationContext struct {
ctx context.Context // 用于信号管理
Input map[string]interface{} // 用户输入的原始数据
Memory MemoryState // 对话的短期记忆状态
Metadata map[string]string // 元数据,如模型版本等
}
Eino 提供了 Graph State 的机制,让用户可以更灵活地定义和处理 Graph 一次执行时的上下文。提供更具体的定义,会降低 Eino 框架的适应范围,却无法带来可观的便利性。
Graph State 可以用于 ChatModel 的短期记忆,可以参考 eino 中 react.NewAgent 中的实现