PanameraXXX
PanameraXXX
【项目地址】 https://github.com/codefuse-ai/codefuse-devops-eval 【项目类别】 LLM、DevOps、AIOps、评测数据集 【项目介绍】 DevOps-Eval是 蚂蚁集团联合北京大学 开源的针对DevOps领域大模型的评测套件，也是首个该领域的开源项目。该项目的核心目的，是为了帮助开发者能够可量化的评测各个DevOps领域大模型的性能，跟踪相关大模型的进展，并了解各个大模型的优势和不足之处。 该项目主要由DevOps领域专业评测数据集和自动化评测脚本组成。 - 评测数据集是根据DevOps的通用流程进行划分，包含8个大类，53个小类，共计4850道单项选择题。此外，该项目还特别针对AIOps场景做了细分，场景覆盖了日志解析、时序异常检测、时序分类和根因分析等常见智能运维领域； - 该项目提供了完整的评测脚本，方便用户评测各种符合HuggingFace格式的大模型，只需简单注册即可开始评测； 目前，DevOps-Eval已经发布了第一期的评测榜单，首批评测大模型包含蚂蚁DevOps-Model、Qwen、Baichuan、Internlm等开源模型。作为一个开源项目，我们欢迎开发者们积极参与和贡献，共同推动DevOps大模型领域的发展和进步！ 【项目截图】 【联系我们】 
Thanks for your contribution and we appreciate it a lot. The following instructions would make your pull request more healthy and more easily get feedback. If you do not understand...
## 推荐项目 - 项目地址：https://github.com/codefuse-ai/codefuse-devops-eval - 类别：机器学习 - 项目标题：首个用来评估DevOps领域大模型性能的评估套件 - 项目描述：DevOps-Eval是蚂蚁集团联合北京大学开源的针对DevOps领域大模型的评测套件，也是首个该领域的开源项目。 - 亮点1：该项目是世界首个针对DevOps领域大模型的性能评测套件，当前未有相似的开源项目； - 亮点2：评测数据集涵盖了DevOps的全生命周期，包含8个大类、53个小类，总计4850道单项选择题； - 亮点3：数据集专门对AIOps场景做了细分，场景覆盖日志解析、时序异常检测、时序分类和根因分析等常见智能运维领域。 - 截图：（可选）gif/png/jpg  - 后续更新计划： - [ ] 增加AIOps分类的独立评测结果 - [ ] 丰富AIOps场景，比如时序预测等 -...
- 项目名称：DevOps-Eval：首个针对DevOps领域大模型的评测套件 - 项目地址：https://github.com/codefuse-ai/codefuse-devops-eval - 项目简介 (**100** 字以内)：蚂蚁集团联合北京大学开源的针对DevOps领域大模型的评测套件，内部包括专业评测数据集和自动化评测脚本。此外专对AIOps场景细分，覆盖日志解析、时序异常检测、根因分析等重要领域。 - 项目截图 (**6**张以内)：
## Fixes #. ### Description of the changes: - - - ### How changes were validated: - - -