数据量特别大的时候超出内存

[xuanxuangg68]

我大概有10亿条短文本约42GB，每次加载数据时都会超出内存，batch size和pad size也调过了都不行，请问有大佬有办法解决吗

[lwhere]

花钱买好显卡

[AdamFocus]

大佬问题解决了吗

[xuanxuangg68]

只能批量传数据啦，得改代码

------------------ 原始邮件 ------------------ 发件人: AdamFocus <[email protected]> 发送时间: 2021年2月3日 17:09 收件人: 649453932/Bert-Chinese-Text-Classification-Pytorch <[email protected]> 抄送: xuanxuangg68 <[email protected]>, Author <[email protected]> 主题: 回复：[649453932/Bert-Chinese-Text-Classification-Pytorch] 数据量特别大的时候超出内存 (#69)

[AdamFocus]

请问你当时报错是out of memory还是cudnn有问题呢

[xuanxuangg68]

我是oom

------------------ 原始邮件 ------------------ 发件人: AdamFocus <[email protected]> 发送时间: 2021年2月3日 17:12 收件人: 649453932/Bert-Chinese-Text-Classification-Pytorch <[email protected]> 抄送: xuanxuangg68 <[email protected]>, Author <[email protected]> 主题: 回复：[649453932/Bert-Chinese-Text-Classification-Pytorch] 数据量特别大的时候超出内存 (#69)

请问你当时报错是out of memory还是cudnn有问题呢

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

[xuanxuangg68]

我八张v100-32这都不行也是没谁了

------------------ 原始邮件 ------------------ 发件人: 上下而求索 <[email protected]> 发送时间: 2021年1月29日 15:08 收件人: 649453932/Bert-Chinese-Text-Classification-Pytorch <[email protected]> 抄送: xuanxuangg68 <[email protected]>, Author <[email protected]> 主题: 回复：[649453932/Bert-Chinese-Text-Classification-Pytorch] 数据量特别大的时候超出内存 (#69)

花钱买好显卡

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

[AdamFocus]

好的谢谢了，我这边本来还可以跑，然后突然报错cuDNN error: CUDNN_STATUS_NOT_INITIALIZED，也是醉了