kiedeng

> 我认为架构都要重新设计, > > 大模型它不可能自动访问周边的工具,虽然都在电脑里,在操作系统里, 在这种情况下,用py写一些代码去控制大模型做事,有些疲于奔命 南辕北辙. 最好的方式是让大模型自动识别代理工作流的各步骤,让它模仿人的操作流程, 让它写码就在VSCode里写,访问网页就在浏览器里浏览,画图就用blender画, > > 但是大模型没长手,这种情况下怎么办? 大模型如何去启动这些工具,如何在工具里操作? 微软最近的发布会`Build 2024`给出了答案, > > # 放一个摄像头照屏幕,把图像实时传输给大模型,把鼠标或键盘的输入控制交给大模型, > 这里得出的结论是; > > `1给大模型增添输入/输出访问能力的外部插件,` > > `2大模型必须得具备多模态的能力,` > > 你懂吧?...

> > 麻烦大佬们了！！ 目的：假设想弄一个简易化的多智能体平台，用户能创建类似于gtps和助手工具，或者是coze的那种效果，然后在web界面上能实现这些功能并使用，不是只能在终端进行操作 > > 具体的操作：在应用的数据解释器的过程中，我想将关键信息的输出和交互放到web界面进行操作，我使用的flask做后端，我希望实现是当用户问问题的时候，能将 打印执行计划，执行结果或者是需要人工介入的部分通过流式方法返回给前端，让前端能在界面上显示。 我想到了一个方案是使用队列，当前端访问路由 /stream 的时候，我异步请求完generate_async_stream就一直轮询查看队列的数据，当 DataInterpreter 有我需要的数据的时候，我就将该数据put到队列中，直到流程结束，输出一个流结束的标识。 > > 对于我想有几个问题： > > > > 1. 有没有其他办法使用我想要的目的呢？能给我一些参考资源或者其他知识吗？ > > 2. 如果我方案可行的话，我该怎么在DataInterpreter 中传入这个队列 对象进去，让它能在metagpt中自由put数据，然后流式输出到前端？或者是其他办法？ > >...

> > 麻烦大佬们了！！ 目的：假设想弄一个简易化的多智能体平台，用户能创建类似于gtps和助手工具，或者是coze的那种效果，然后在web界面上能实现这些功能并使用，不是只能在终端进行操作 > > 具体的操作：在应用的数据解释器的过程中，我想将关键信息的输出和交互放到web界面进行操作，我使用的flask做后端，我希望实现是当用户问问题的时候，能将 打印执行计划，执行结果或者是需要人工介入的部分通过流式方法返回给前端，让前端能在界面上显示。 我想到了一个方案是使用队列，当前端访问路由 /stream 的时候，我异步请求完generate_async_stream就一直轮询查看队列的数据，当 DataInterpreter 有我需要的数据的时候，我就将该数据put到队列中，直到流程结束，输出一个流结束的标识。 > > 对于我想有几个问题： > > > > 1. 有没有其他办法使用我想要的目的呢？能给我一些参考资源或者其他知识吗？ > > 2. 如果我方案可行的话，我该怎么在DataInterpreter 中传入这个队列 对象进去，让它能在metagpt中自由put数据，然后流式输出到前端？或者是其他办法？ > >...