SwissArmyTransformer

SwissArmyTransformer copied to clipboard

TypeError: sat.model.transformer.BaseTransformer() got multiple values for keyword argument 'parallel_output'

33

加载visualglm模型的时候报错： For torch.distributed users or loading model parallel models, set environment variables RANK, WORLD_SIZE and LOCAL_RANK. Traceback (most recent call last): File "/root/TransGPT/multi_modal/hf_infer.py", line 3, in model = AutoModel.from_pretrained("THUDM/visualglm-6b", trust_remote_code=True).half().cuda()...

deep-practice

ema模型是否正确被保存

1

想问一下这里是如何实现ema模型的保存呢：  从这里没有看到model被显示的修改，是deepspeed内完成的么？ 我有check保存下来的model和ema_model，发现参数是完全一样的，所以不确定是不是使用方式有问题，望解答，感谢

Blueskyvvvvv