MOSS

MOSS copied to clipboard

有没有人遇到过这个问题啊 

altria-zewei-wang

求 发布像Web MOSS插件版本 另，希望可以使用国内可用的WEB搜索API

lhtpluto

官方微信群的二维码过期了，能否更新一下

6

如题

bltcn

请教：微调报错怎么解决？

5

硬件：单机，8张3090 配置： command_file: null commands: null compute_environment: LOCAL_MACHINE deepspeed_config: gradient_accumulation_steps: 1 gradient_clipping: 1.0 offload_optimizer_device: none offload_param_device: none zero3_init_flag: true zero3_save_16bit_model: true zero_stage: 3 distributed_type: DEEPSPEED downcast_bf16: 'no' dynamo_backend: 'yes' fsdp_config:...

zhonglin516

Model Architecture

1

What is the architecture of the model? Is it decoder-only or encoder-decoder or something else? Is there a technical report or paper?

Hegelim

请问有没有训练过程相关的文档？

1

想深入学习一下大模型从头开始的训练过程，看代码有些吃力，请问有没有训练过程相关的文档？

sunway1988

CUDA_LAUNCH_BLOCKING=1、TORCH_USE_CUDA_DSA

4

bash run.sh finetune_moss.py 出现异常 RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For...

lhtpluto

请问这些微调模型都是通过SFT微调得来的吗？关于RM和PPO阶段的微调，是没有用到呢？还是没有开源呢？ 如果是没有用到RLHF，仅仅只是通过SFT就可以达到不错的效果，说明问答数据集是非常充分的。对于特定领域， 这可能不太可行。

dongdongrj

关于tokenizer对特殊字符的处理

2

你好，感谢你们的出色工作。 我在使用模型的 `tokenizer` 时遇到了一些问题。当我使用 `tokenizer` 对包含连续的空格和特殊字符（如 `\n`, `\t` 等）进行 `encode` 操作时，我发现 `tokenizer` 会忽略周围有多个空格的特殊字符，或者会将这些特殊字符转为多个空格，这使得再次进行 `decode` 操作后，文本中这些特殊字符会丢失。测试的代码如下： ```python tokenizer = AutoTokenizer.from_pretrained("fnlp/moss-moon-003-sft", trust_remote_code=True) text = "a \n b\n \nc \n " # input_ids:...

gnodgnodtonmi

feat: 更新 demo，支持运行 moss-moon-003-sft-plugin 模型

yihuaxiang