Smilefish1

Results 7 comments of Smilefish1

[BUG/Help] 使用全精度多卡训练 报错torch_extensions/py39_cu116/utils/utils.so: cannot open shared object file: No such file or directory

我也是这个问题，还没解决

[BUG/Help] 使用全精度多卡训练 报错torch_extensions/py39_cu116/utils/utils.so: cannot open shared object file: No such file or directory

> 跟你出现了同样的错误，不过我在这个错误出现之前还报gcc版本过低的警告： > > ``` > !! WARNING !! > > !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! > Your compiler (c++ 4.8.5) may be ABI-incompatible with PyTorch! > Please use a compiler that is ABI-compatible...

拜托大佬们帮我看下，用6张A800-80G预训练百川7B内存消耗问题

> 和batchsize，还有cutoff length等等有关 我现在的batch-size设置的是1哎，累积步数也是1，cutoff 设置时默认的1024，那我把cutoff设置成256试试

拜托大佬们帮我看下，用6张A800-80G预训练百川7B内存消耗问题

> 和batchsize，还有cutoff length等等有关 刚试了把cutoff lenth从1024改成了512，预训练占用的现存没变化

拜托大佬们帮我看下，用6张A800-80G预训练百川7B内存消耗问题

> 开zero3 好的好的，我试下呀，大佬

[BUG/Help] <title>ValueError: expected sequence of length 613 at dim 1 (got 612)

> 出门左转看一下 #179 好的好的，感谢感谢

[BUG] <title> 72B模型导入报错，救命，急！！！！

> 用提供的代码，直接会报ValueError > > ``` > If passing a string for `device_map`, please choose 'auto', 'balanced', 'balanced_low_0' or 'sequential'. > ``` > > Auto得是小写的，不过看日志都加载完了，应该不是这里的问题。 > > 查代码，transformers 4.34.1版本的L3246跟错误报告里的**不 一 样**。...