MOSS

MOSS copied to clipboard

Hi, do we have drafting English documents on roadmap. 请问有没有英文文档相关的计划

jazelly

NameError: name 'autotune' is not defined

8

运行下面这段代码出错： ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("./base_model", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("./base_model", trust_remote_code=True).half().cuda() meta_instruction = "You are an AI assistant whose name is MOSS.\n- MOSS is a conversational...

hhllxx1121

AttributeError: 'NoneType' object has no attribute 'deepspeed_config'

7

Traceback (most recent call last): File "finetune_moss.py", line 303, in train(args) File "finetune_moss.py", line 175, in train accelerator.state.deepspeed_plugin.deepspeed_config['train_micro_batch_size_per_gpu'] = args.train_bsz_per_gpu AttributeError: 'NoneType' object has no attribute 'deepspeed_config'

HDRBgg

请问如何申请官方的API接口

Yocenly

我看咱们的模型是16B的，而llama模型有30B和65B的，chatgpt 3更是高达175B，请问未来会发布更大的模型吗？

JingyiZhang0225

请问训练160亿参数MOSS最少需要多少计算资源呢？ 以下是我在开源的微调多轮对话数据zh_honesty.json中找到的信息，请问靠谱吗？因为我记得之前哪里看过8卡A100最大训练130亿参数来着？ “MOSS是一种基于深度学习的自然语言处理技术，它可以帮助人们快速、准确地完成各种自然语言处理任务，包括问答、文本翻译、文本摘要、文本生成、情绪分析和算法开发等。它的核心是8张A100 GPU训练出的160亿参数，可以模拟人类的思维，实现自然语言理解、文本生成等复杂任务。”

ZhonghaoWang

success | load in 8 bit. it runs on one-3090ti (24G)

5

I download model to local machine. then use FastChat env. so I don't need create another env for MOSS. it works! Because 24G is not enough to MOSS( fnlp/moss-moon-003-sft), I...

stevezhang88

finetune_moss 需要多少显存

1

yangzhipeng1108

macheng6

我想知道，moss训练过程中一下问题： 1. moss是选择哪个模型作为初始化参数（backbone）的？ 2. moss训练过程中用到了哪些优化显存的方法？

macheng6