GalaxyNew

> 我认为架构都要重新设计, > > 大模型它不可能自动访问周边的工具,虽然都在电脑里,在操作系统里, 在这种情况下,用py写一些代码去控制大模型做事,有些疲于奔命 南辕北辙. 最好的方式是让大模型自动识别代理工作流的各步骤,让它模仿人的操作流程, 让它写码就在VSCode里写,访问网页就在浏览器里浏览,画图就用blender画, > > 但是大模型没长手,这种情况下怎么办? 大模型如何去启动这些工具,如何在工具里操作? 微软最近的发布会`Build 2024`给出了答案, > > # 放一个摄像头照屏幕,把图像实时传输给大模型,把鼠标或键盘的输入控制交给大模型, > 这里得出的结论是; > > `1给大模型增添输入/输出访问能力的外部插件,` > > `2大模型必须得具备多模态的能力,` > > 你懂吧?...