eino icon indicating copy to clipboard operation
eino copied to clipboard

能否在Eino里原生提供更契合大模型上下文的ctx实现,以提供短期记忆功能

Open Wood-Q opened this issue 6 months ago • 1 comments

能否在Eino里原生提供更契合大模型上下文的ctx实现,对原生context进行一层封装,以实现更多样的功能

// OrchestrationContext 统一的编排上下文
type OrchestrationContext struct {
	ctx      context.Context        // 用于信号管理
	Input    map[string]interface{} // 用户输入的原始数据
	Memory   MemoryState            // 对话的短期记忆状态
	Metadata map[string]string      // 元数据,如模型版本等
}

Wood-Q avatar May 31 '25 13:05 Wood-Q

Eino 提供了 Graph State 的机制,让用户可以更灵活地定义和处理 Graph 一次执行时的上下文。提供更具体的定义,会降低 Eino 框架的适应范围,却无法带来可观的便利性。

Graph State 可以用于 ChatModel 的短期记忆,可以参考 eino 中 react.NewAgent 中的实现

hi-pender avatar Jun 06 '25 09:06 hi-pender