FunASR icon indicating copy to clipboard operation
FunASR copied to clipboard

微调sensevoice模型Update best acc: 0.0000

Open xiulianzw opened this issue 1 year ago • 11 comments

Notice: In order to resolve issues more efficiently, please raise issue following the template. (注意:为了更加高效率解决您遇到的问题,请按照模板提问,补充细节)

epoch: 2/100, data_slice: 0/1, step_in_slice: 879/4575, step_in_epoch: 879, total step: 10030, (loss_avg_rank: -0.188), (loss_avg_slice: 15.580), (ppl_avg_slice: 5.839e+06), (acc_avg_slice: 0.000), (lr: 1.605e-04), [('loss_ctc', -0.192), ('loss_rich', 0.004), ('loss', -0.188), ('acc_rich', 1.0)], {'data_load': '0.001', 'forward_time': '0.165', 'backward_time': '0.215', 'optim_time': '0.207', 'total_time': '0.599'}, GPU, memory: usage: 3.706 GB, peak: 11.380 GB, cache: 11.947 GB, cache_peak: 12.174 GB

❓ Questions and Help

  1. 使用脚本微调iic/SenseVoiceSmall模型的时候,Update best acc: 0.0000
  2. 训练的时候为啥loss还会出现负数?acc_rich是训练的准确率吗?

Before asking:

  1. search the issues.
  2. search the docs.

What is your question?

Code

What have you tried?

What's your environment?

  • OS (e.g., Linux): CentOS
  • FunASR Version (e.g., 1.0.0): 1.1.5
  • ModelScope Version (e.g., 1.11.0): 1.17.1
  • PyTorch Version (e.g., 2.0.0): 2.1.0
  • How you installed funasr (pip, source): pip
  • Python version: 3.8.19
  • GPU (e.g., V100M32):3090RTX
  • CUDA/cuDNN version (e.g., cuda11.7): 11.8
  • Any other relevant information:

xiulianzw avatar Aug 15 '24 05:08 xiulianzw

加一,我也遇到了acc=0的问题,请问后来有解决吗

fxqzb avatar Oct 10 '24 06:10 fxqzb

不要看acc, 看acc_rich, 然后也可以用“tensorboard --logdir <tensorboard文件夹路径>”命令来在浏览器中查看训练进度

Jack-Lin-gif avatar Oct 30 '24 08:10 Jack-Lin-gif

“tensorboard --logdir <tensorboard文件夹路径>”命令能调出训练进度看板

Jack-Lin-gif avatar Oct 30 '24 08:10 Jack-Lin-gif

@Jack-Lin-gif 问题仍然存在呀

rookie0607 avatar Dec 11 '24 08:12 rookie0607

@Jack-Lin-gif 问题仍然存在呀

什么问题 acc为0吗?要看acc_rich的,acc_rich有问题吗

Jack-Lin-gif avatar Dec 11 '24 08:12 Jack-Lin-gif

“tensorboard --logdir <tensorboard文件夹路径>”命令能调出训练进度看板

这样怎么挑选best model呀 @Jack-Lin-gif

rookie0607 avatar Dec 11 '24 08:12 rookie0607

“tensorboard --logdir <tensorboard文件夹路径>”命令能调出训练进度看板

这样怎么挑选best model呀 @Jack-Lin-gif

不是有个权重文件是model.pt.best嘛,configuration.json有个"init_param":"model.pt"可以更改成model.pt.best(但我没试过这种方法)或者直接把model.pt.best改名称model.pt

你是说训练时按什么标准去判断best model吗 这个我记得训练bash脚本脚本里有个参数是可以设置的 用acc还是loss 但sensevoice的那个微调脚本不用手动去加这个 他默认的那个就是可用的

Jack-Lin-gif avatar Dec 11 '24 08:12 Jack-Lin-gif

“tensorboard --logdir <tensorboard文件夹路径>”命令能调出训练进度看板

这样怎么挑选best model呀 @Jack-Lin-gif

不是有个权重文件是model.pt.best嘛,configuration.json有个"init_param":"model.pt"可以更改成model.pt.best(但我没试过这种方法)或者直接把model.pt.best改名称model.pt

你是说训练时按什么标准去判断best model吗 这个我记得训练bash脚本脚本里有个参数是可以设置的 用acc还是loss 但sensevoice的那个微调脚本不用手动去加这个 他默认的那个就是可用的

我看了看这个参数在训练bash脚本里没有 我应该是之前在文档上看到的

Jack-Lin-gif avatar Dec 11 '24 08:12 Jack-Lin-gif

“tensorboard --logdir <tensorboard文件夹路径>”命令能调出训练进度看板

这样怎么挑选best model呀 @Jack-Lin-gif

不是有个权重文件是model.pt.best嘛,configuration.json有个"init_param":"model.pt"可以更改成model.pt.best(但我没试过这种方法)或者直接把model.pt.best改名称model.pt 你是说训练时按什么标准去判断best model吗 这个我记得训练bash脚本脚本里有个参数是可以设置的 用acc还是loss 但sensevoice的那个微调脚本不用手动去加这个 他默认的那个就是可用的

我看了看这个参数在训练bash脚本里没有 我应该是之前在文档上看到的

多谢

rookie0607 avatar Dec 11 '24 08:12 rookie0607

不要看acc, 看acc_rich, 然后也可以用“tensorboard --logdir <tensorboard文件夹路径>”命令来在浏览器中查看训练进度

acc_rich是指train的吧,但是想要保存模型不是应该根据val的指标吗

Aiolei avatar Apr 01 '25 01:04 Aiolei

训练后的模型大小是2.7G,比原始的模型要大好多,我看有人说是用avg, 但是我训练完我没有的到avg相关的模型文件

wwfcnu avatar Sep 28 '25 10:09 wwfcnu