训练MOSS所需的最低资源

[ZhonghaoWang]

请问训练160亿参数MOSS最少需要多少计算资源呢？ 以下是我在开源的微调多轮对话数据zh_honesty.json中找到的信息，请问靠谱吗？因为我记得之前哪里看过8卡A100最大训练130亿参数来着？

“MOSS是一种基于深度学习的自然语言处理技术，它可以帮助人们快速、准确地完成各种自然语言处理任务，包括问答、文本翻译、文本摘要、文本生成、情绪分析和算法开发等。它的核心是8张A100 GPU训练出的160亿参数，可以模拟人类的思维，实现自然语言理解、文本生成等复杂任务。”