Dinghao Zhou comments

Results 114 comments of


                                            Dinghao Zhou

[yaml] 现在每个epoch都会把训练参数和cvloss等存到yaml，有些冗余

初步结论： info_dict 如果包含三部分： train/cv， model， metric 写的时候，可以指定具体字断就方便了

[WIP][transformer] bring llm component

> 准备以后也是ckpt重命名的方式引入llm吗？（而不是import transformers） > > 是后边会用fsdp/deepspeed 直接和transformers用有一堆奇奇怪怪的问题，而且也不方便做部署之类的工作

[WIP][transformer] bring llm component

[WIP][transformer] bring llm component

还是这个配置：https://github.com/wenet-e2e/wenet/pull/2333#issuecomment-1925580753 | |batch size |data type | 训练时间 | att/rescore/ctc greedy/ctc beam wer| | ----------- | ----------- |----------- |----------- |---------- | |step 模式 avg 20 step 1000 save interval (no...

[WIP][transformer] bring llm component

该pr会拆成若干pr 完成 - [x] enable bias https://github.com/wenet-e2e/wenet/pull/2394 - [x] gated-mlp https://github.com/wenet-e2e/wenet/pull/2395 - [x] rms norm https://github.com/wenet-e2e/wenet/pull/2396 - [x] norm eps https://github.com/wenet-e2e/wenet/pull/2397 - [x] multiquery attention https://github.com/wenet-e2e/wenet/pull/2403 - [x] rope https://github.com/wenet-e2e/wenet/pull/2458...

中文开源语音大模型计划

还缺个vad 和对齐之类的工具 vad 可以用东哥推荐的或者@robin1001 https://github.com/wenet-e2e/wenet/issues/2069 里边提到的vad 打算用什么方法对齐可以用torchaudio最新的 align 0 mos 计算 snr - https://pytorch.org/audio/main/tutorials/squim_tutorial.html 1 vad - https://github.com/snakers4/silero-vad - https://modelscope.cn/models/damo/speech_fsmn_vad_zh-cn-16k-common-pytorch/summary 2 align and segment - https://pytorch.org/audio/master/tutorials/forced_alignment_for_multilingual_data_tutorial.html