zhihao-chen

非常感谢，计划适配官方的sentence_transformers 和transformers吗

明白了，谢谢您的回复

@jeffra Why can't we use zero-offload? Can you tell me the specific reason? I can successfully enable zero-offload。

ok，但我现在又遇到另一个问题： │ /root/work2/work2/chenzhihao/DeepSpeed/deepspeed/runtime/zero/partition_parameters.py:673 in │ │ __init__ │ │ │ │ 670 │ │ # If we are provided an already-allocated module to prepare. │ │ 671 │ │ if...

Adam，在deepspeed_config.json中指定的 "optimizer": { "type": "Adam", "params": { "lr": 0.0004, "weight_decay": 0.01, "betas": [ 0.9, 0.98 ], "eps": 1e-6 }

deepspeed=0.8.3 cuda=10.2 pytorch=1.12.1

+1 微信号：764140207

我是本打算连续处理1百万条数据的，结果只到30万就爆了

在提供的colab上能运行，但我的本地环境不行。 我的环境配置： transformers=4.26.1 pytorch=1.12.1+cu102 你们要求的环境是怎样的

升级了torch版本后可以了。但项目主页写的，torch==1.7，transformer==4.26.1