MockingBird icon indicating copy to clipboard operation
MockingBird copied to clipboard

请问训练到25k的时候注意力线还是没有出来,并且文件多出了一个出来这个是正常的吗?

Open yemaohaker opened this issue 4 years ago • 13 comments

请问训练到25k的时候注意力线还是没有出来,并且文件多出了一个出来这个是正常的吗?

微信图片_20211125164148

微信图片_20211125164245

attention_step_27000_sample_1

微信图片_20211125164409

这样的情况是正确的还是我操作错了

cpu是i59400F,显卡是1505ti,配置GPU是的数值只能配置到6,GPU的占用率已经在80-100%跳动了

Tacotron Training tts_schedule = [(2, 1e-3, 10_000, 6), # Progressive training schedule (2, 5e-4, 15_000, 6), # (r, lr, step, batch_size) (2, 2e-4, 20_000, 6), # (r, lr, step, batch_size) (2, 1e-4, 30_000, 6), # (2, 5e-5, 40_000, 6), # (2, 1e-5, 60_000, 6), # (2, 5e-6, 160_000, 6), # r = reduction factor (# of mel frames (2, 3e-6, 320_000, 6), # synthesized for each decoder iteration) (2, 1e-6, 640_000, 6)], # lr = learning rate

还请大佬给指点指点,谢谢!

yemaohaker avatar Nov 25 '21 08:11 yemaohaker

还有想问下有没有交流群可以拉下,学习学习

yemaohaker avatar Nov 25 '21 08:11 yemaohaker

_25k ,_50k 等文件是你在步数达到该步后生成的模型文件(相当于游戏存档了啊哈哈)

另外...我的注意力线是在步数达到72k之后才出现的...届时的loss 是 0.61, 还达不到标准 1505ti 是指1050ti的话,训练速度还要更慢一些✓ 请耐心等待

ycMia avatar Nov 25 '21 15:11 ycMia

吐槽一句,我的环境跑了两个整天(48h)了都还是有明显的低频电流音...,Loss也是维持在0.6就没变过了...

ycMia avatar Nov 25 '21 15:11 ycMia

@ #吐槽一句,我的环境跑了两个整天(48h)了都还是有明显的低频电流音...,Loss也是维持在0.6就没变过了...

是的,1050ti

image

跑得都快崩溃了哈哈,85k 还是没有注意力线

image

image

yemaohaker avatar Nov 26 '21 06:11 yemaohaker

同1050TI 已经75k了,loss浮动在0.8-0.5之间,多数分布在0.6 attention_step_73500_sample_1 step-73500-mel-spectrogram_sample_1

yellow1choco avatar Nov 26 '21 10:11 yellow1choco

hmm。看这个attention图貌似问题比较大,考虑基于我分享的模型上跑?

babysor avatar Nov 27 '21 03:11 babysor

在别人分享的模型基础之上继续训练,训练集要求和之前的一样吗。我的显存8g,batchsize设置多少不会报错,太小了就没必要折腾了

delcompan avatar Dec 08 '21 04:12 delcompan

在别人分享的模型基础之上继续训练,训练集要求和之前的一样吗。我的显存8g,batchsize设置多少不会报错,太小了就没必要折腾了

训练集可以完全不一样,batchsize在20以内,你可以试探一下,只要不崩溃就可以调大

babysor avatar Dec 26 '21 03:12 babysor

你的数据集用了多少条音源?,做下参考

Nolan-HK avatar Jan 07 '22 05:01 Nolan-HK

我20k出现注意力线还以为是最慢的了。。

yrsn509 avatar Feb 16 '22 13:02 yrsn509

嗯。看这个attention图貌似问题比较大,考虑基于我分享的模型上跑?

想请教,您分享打的模型在哪里看到?我要咋操作在模型基础上继续跑? 要重新开始吗?

1239hy avatar Mar 26 '22 11:03 1239hy

在别人分享的模型基础之上继续训练,训练集要求和之前的一样吗。我的显存8g,batchsize设置多少不会报错,太小了就没必要折腾了

训练集可以完全不一样,batchsize在20以内,你可以试探一下,只要不崩溃就可以调大

请问怎么调整batch_size,没有找到参数设置位置,默认好像是12?

pxdawn avatar May 27 '22 13:05 pxdawn

可以下载别人做好的模型,名字改成和自己模型名字一样就行。显卡1050跑这个很吃力,可以在别人基础上跑。

Nolan-HK avatar May 27 '22 13:05 Nolan-HK