agentlego
agentlego copied to clipboard
InternLM
Enhance LLM agents with rich tool APIs
# 书生·浦语大模型实战营——两周带你玩转微调部署评测全链路  人工智能技术的发展日新月异，其中大模型的发展尤其迅速，已然是 AI 时代最炙手可热的当红炸子鸡。 然而，大模型赛道对于小白开发者来说还是有不小的门槛。面对内容质量参差不齐的课程和实际操作中遇到的问题，许多开发者往往感到迷茫，不知道如何入手。 大模型的训练和部署需要强大的计算资源，普通开发者难以承受。 大模型开发对计算机新手的技术水平要求较高，是具有挑战性的任务。 大模型应用场景需要定制化训练，许多开发者缺乏相关行业知识和经验。 ...... 为了推动大模型在更多行业落地开花，让开发者们更高效的学习大模型的开发与应用，上海人工智能实验室重磅推出书生·浦语大模型实战营，为广大开发者搭建大模型学习和实践开发的平台，两周时间带你玩转大模型微调、部署与评测全链路。 ## 你将收获 实力讲师：来自前沿科研机构、一线大厂和 GitHub 热门开源项目的讲师手把手教学 算力支持：算力资源免费提供，助力无忧训练大模型 专属社群：助教、讲师全程陪伴，提供录播回放、线上答疑及实战作业辅导 官方认证：优秀学员将获得荣誉证书，优秀项目有机会被官方收录，获得更多展示  惊喜礼品：InternLM 周边、蓝牙耳机、键盘、电脑支架......超多惊喜礼品等你来拿！  ## 面向对象 - 具备理工科背景，希望快速上车大模型领域、熟悉业界领先大模型工具链的学生开发者 - 从事人工智能领域，希望积累实战经验，提高技术能力和行业竞争力的企业开发者...
How do I add my own custom tools? Is there a guide for this?
作者们你们好！我是书生·浦语大模型训练营第二期的学员~ 在项目阶段，我想对agent进行一点研究，结合我自己的研究方向（目标跟踪），我发现agentlego有检测，分割的一些tool，但是没有跟踪相关的。如果用户输入一个视频，并且希望LLM对其中的某个物品进行跟踪，我写的这个tracking tool或许可以派上用场~ 技术手段是通过GLIP或SAM进行检测或分割，然后用类似ByteTtrack的算法进行跟踪。为了支持视频（或图片序列文件夹）的输入，我也更改了`types.py`中的一些内容。 更改的部分是`agentlego/agentlego/tools/tracking`和`types.py`. 以下是示例以及运行的结果，LLM采用InternLM-1.8b或7b. - prompt: `Please segment and track the laptop and cup in the video `test.mp4`` - 结果： 
Hi, I wanted to reference your agentlego in my paper, but I didn't find any references on your github homepage. Please add it when you are free~
