Bert-Chinese-Text-Classification-Pytorch icon indicating copy to clipboard operation
Bert-Chinese-Text-Classification-Pytorch copied to clipboard

大家运行时间是多久呢?

Open muzimua opened this issue 3 years ago • 18 comments

用的下载文件里原有的数据集,跑python run.py --model bert 模型,你们都跑了多久呢?怎么才能加快速度呢?求指教

muzimua avatar Mar 05 '22 14:03 muzimua

用gpu挺快的

chenglong19920630 avatar Mar 07 '22 02:03 chenglong19920630

用gpu挺快的

感谢回复,薅了谷歌colab的免费GPU,运行快了很多

muzimua avatar Mar 07 '22 02:03 muzimua

做一个Epoch出来花了三个多小时 Epoch [1/3] /media/hang/1ba83754-8a9c-4989-9cf0-48bf763358da/hang/Bert-Chinese-Text-Classification-Pytorch/pytorch_pretrained/optimization.py:275: UserWarning: This overload of add_ is deprecated: add_(Number alpha, Tensor other) Consider using one of the following signatures instead: add_(Tensor other, *, Number alpha) (Triggered internally at /opt/conda/conda-bld/pytorch_1648016052946/work/torch/csrc/utils/python_arg_parser.cpp:1050.) next_m.mul_(beta1).add_(1 - beta1, grad) Iter: 0, Train Loss: 2.4, Train Acc: 10.16%, Val Loss: 2.4, Val Acc: 9.08%, Time: 0:03:05 *

Iter: 100, Train Loss: 0.4, Train Acc: 87.50%, Val Loss: 0.4, Val Acc: 88.36%, Time: 0:18:45 * Iter: 200, Train Loss: 0.32, Train Acc: 89.84%, Val Loss: 0.34, Val Acc: 89.80%, Time: 0:34:26 *

Iter: 300, Train Loss: 0.3, Train Acc: 92.19%, Val Loss: 0.29, Val Acc: 91.25%, Time: 0:50:07 * Iter: 400, Train Loss: 0.34, Train Acc: 89.06%, Val Loss: 0.26, Val Acc: 91.70%, Time: 1:05:53 * Iter: 500, Train Loss: 0.25, Train Acc: 92.97%, Val Loss: 0.26, Val Acc: 91.77%, Time: 1:21:34 * Iter: 600, Train Loss: 0.27, Train Acc: 92.19%, Val Loss: 0.24, Val Acc: 92.20%, Time: 1:37:20 * Iter: 700, Train Loss: 0.23, Train Acc: 93.75%, Val Loss: 0.23, Val Acc: 92.80%, Time: 1:53:52 * Iter: 800, Train Loss: 0.16, Train Acc: 95.31%, Val Loss: 0.22, Val Acc: 93.07%, Time: 2:10:02 * Iter: 900, Train Loss: 0.21, Train Acc: 92.19%, Val Loss: 0.21, Val Acc: 93.34%, Time: 2:26:27 * Iter: 1000, Train Loss: 0.19, Train Acc: 89.84%, Val Loss: 0.21, Val Acc: 93.13%, Time: 2:42:22 Iter: 1100, Train Loss: 0.25, Train Acc: 93.75%, Val Loss: 0.21, Val Acc: 93.38%, Time: 2:58:23 * Iter: 1200, Train Loss: 0.21, Train Acc: 90.62%, Val Loss: 0.2, Val Acc: 93.26%, Time: 3:14:19 * Iter: 1300, Train Loss: 0.22, Train Acc: 90.62%, Val Loss: 0.2, Val Acc: 93.15%, Time: 3:30:13 * Iter: 1400, Train Loss: 0.31, Train Acc: 92.19%, Val Loss: 0.19, Val Acc: 93.56%, Time: 3:46:07 * Epoch [2/3]

xiaohangguo avatar Apr 18 '22 12:04 xiaohangguo

我用的gpu 一个epoch只需要不到二十分钟

Frederick666666 avatar Apr 20 '22 10:04 Frederick666666

你gpu是什么型号啊,我的是RTX2070,但是我不知道怎么配置然后加速,用gpu是不是快一点呀,我就直接运行了,没改配置文件,你怎么配的配置文件可以给我看看吗

xiaohangguo avatar Apr 20 '22 10:04 xiaohangguo

你gpu是什么型号啊,我的是RTX2070,但是我不知道怎么配置然后加速,用gpu是不是快一点呀,我就直接运行了,没改配置文件,你怎么配的配置文件可以给我看看吗

我没有改配置文件 是在kaggle上面运行的 上面有个accelerator按钮 选gpu就可以了

Frederick666666 avatar Apr 20 '22 10:04 Frederick666666

我试一下吧,还没用过kaggle运行,有什么要注意的吗(坑),我是在ubuntu上自己配的环境跑的

xiaohangguo avatar Apr 20 '22 10:04 xiaohangguo

我之前也是 但是那样太慢了 就是注意下kaggle的数据集的组织形式,把输出结果路径改成它给定的输出路径就好了

Frederick666666 avatar Apr 20 '22 10:04 Frederick666666

好的,感谢,我试一下,有问题的话我再回复你,非常感谢

xiaohangguo avatar Apr 20 '22 11:04 xiaohangguo

请问你是怎么上传项目的啊,我只能一个个py文件上传,然后东西就乱了,数据集我到是上传了,而且预处理的那些文件我压根穿不过去

xiaohangguo avatar Apr 20 '22 11:04 xiaohangguo

我上传到dataset了,但是我相关配置我也调整了,但现在不知道怎么使用命令python run.py --model bert 来运行我的文件

xiaohangguo avatar Apr 20 '22 13:04 xiaohangguo

在命令面前加!就可以了

Frederick666666 avatar Apr 20 '22 13:04 Frederick666666

用gpu挺快的

请问怎么配置使用gpu呢

Josoope avatar Oct 14 '23 13:10 Josoope

我上传到dataset了,但是我相关配置我也调整了,但现在不知道怎么使用命令python run.py --model bert 来运行我的文件

请问你运行成功了吗?

Josoope avatar Oct 16 '23 11:10 Josoope

请问一下,我跑bert-cnn代码用了一天多,跑bert-lstm只用了一个多小时,你们也是这样吗?

UJNer avatar Oct 25 '23 02:10 UJNer

用的下载文件里原有的数据集,跑python run.py --model bert 模型,你们都跑了多久呢?怎么才能加快速度呢?求指教

这个python run.py --model bert 是在哪里输入这个指令呀

zhangwenjie4426260 avatar Nov 28 '23 03:11 zhangwenjie4426260

terminal终端窗口输入

---原始邮件--- 发件人: @.> 发送时间: 2023年11月28日(周二) 中午11:08 收件人: @.>; 抄送: @.@.>; 主题: Re: [649453932/Bert-Chinese-Text-Classification-Pytorch] 大家运行时间是多久呢? (Issue #128)

用的下载文件里原有的数据集,跑python run.py --model bert 模型,你们都跑了多久呢?怎么才能加快速度呢?求指教

这个python run.py --model bert 是在哪里输入这个指令呀

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

UJNer avatar Nov 28 '23 03:11 UJNer

terminal终端窗口输入 ---原始邮件--- 发件人: @.> 发送时间: 2023年11月28日(周二) 中午11:08 收件人: @.>; 抄送: @.@.>; 主题: Re: [649453932/Bert-Chinese-Text-Classification-Pytorch] 大家运行时间是多久呢? (Issue #128) 用的下载文件里原有的数据集,跑python run.py --model bert 模型,你们都跑了多久呢?怎么才能加快速度呢?求指教 这个python run.py --model bert 是在哪里输入这个指令呀 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

多谢多谢 XD

zhangwenjie4426260 avatar Nov 28 '23 03:11 zhangwenjie4426260