Text2SQL-BASELINE 训练速度慢

[funs690]

paddlepaddle-gpu 2.3.2 ， GPU A6000, 数据集合3400左右

参数使用默认（batch_size = 16）单轮次训练在2400S，跑完30个轮次需要一天左右的时间，尝试调整batch_size，32/64/128等，实际只有内存占用升高，GPU使用率并无明显提升，训练用时相差不大，该如何调整参数来提高GPU的使用率以提升训练效率？

另外，数据集加载预处理也比较耗时，在资源充足的情况下无法跑满，效率较低，近3w条数据的情况下，光数据集预加载就需要耗时在15min左右！

[fancyerii]

请问一下你安装ERNIE有没有遇到这个问题：

mkdir third
cd third
git clone https://github.com/PaddlePaddle/ERNIE.git
cd ERNIE && git checkout develop

然后运行下面的脚本出错：

bash data/download_ernie1.0.sh

好像ernie的代码库没有这个脚本了。

[funs690]

路径为: ./data/download_ernie1.0.sh github路径: https://github.com/PaddlePaddle/Research/blob/master/NLP/Text2SQL-BASELINE/data/download_ernie1.0.sh

如果下载不下俩就新建个bash脚本，命令如下：

cd dirname $0

model_files_path="ernie/ernie_1.0_base_ch"

#get pretrained ernie1.0 model params wget --no-check-certificate https://ernie-github.cdn.bcebos.com/model-ernie1.0.1.tar.gz if [ ! -d $model_files_path ]; then mkdir -p $model_files_path fi tar xzf model-ernie1.0.1.tar.gz -C $model_files_path rm model-ernie1.0.1.tar.gz

[fancyerii]

搞定，谢谢！

[yohohohoho]

同学，你后来有解决这个问题吗？我这边训练也发现同样的问题。