能不能给个demo如何使用fireredASR

[magicleo]

感觉文档比较少，能不能多给点example，比如怎么使用fireredASR识别语音，识别结果是否携带时间戳？

[Mddct]

如果熟悉wenet的话, 可以用recongnize.py

不熟悉的话参考这个有个简短的example https://github.com/wenet-e2e/wenet/pull/2680#issuecomment-2642046580

如果要微调的话 走正常的wenet训练, 参考example/aishell 里面的训练脚本

不带时间戳 如果有兴趣可以参考whisper align 加个时间戳功能

[yy835055664]

如果熟悉wenet的话, 可以用recongnize.py

不熟悉的话参考这个有个简短的example #2680 (comment)

如果要微调的话 走正常的wenet训练, 参考example/aishell 里面的训练脚本

不带时间戳 如果有兴趣可以参考whisper align 加个时间戳功能

你好，现在开源1.1B模型结构比较大，微调起来比较困难； 比如将encoder和decoder的层数、output_size、attention_heads、linear_units降低。通过wenet训练脚本不能直接初始化1.1B模型（模型结构不同） 请问，如何能在1.1B模型基础上，微调小结构的模型？

[Mddct]

有两种方案

1 可以用lora调

2 减小层数可以 直接load原模型, 把yml里的配置文件层数改低即可

但是要改att head 这些就不太行了 模型结构变了

[yy835055664]

有两种方案

1 可以用lora调

2 减小层数可以 直接load原模型, 把yml里的配置文件层数改低即可

但是要改att head 这些就不太行了 模型结构变了

请问lora微调的方式有相关demo嘛

[Mddct]

有两种方案

1 可以用lora调

2 减小层数可以 直接load原模型, 把yml里的配置文件层数改低即可

但是要改att head 这些就不太行了 模型结构变了

请问lora微调的方式有相关demo嘛

参考这里 https://github.com/wenet-e2e/wenet/pull/2606

[wwfcnu]

有两种方案 1 可以用lora调 2 减小层数可以 直接load原模型, 把yml里的配置文件层数改低即可 但是要改att head 这些就不太行了 模型结构变了

请问lora微调的方式有相关demo嘛

参考这里 #2606

基于firered_aed模型能微调一个支持流式识别的模型吗

[Mddct]

式 可以 ctc 流 , decoder rescoring 按照wenet形式。 但需要训练ctc部分

[magicleo]

不带时间戳 如果有兴趣可以参考whisper align 加个时间戳功能

@Mddct 请问有机制能在不重新训练原模型的情况下加上时间戳功能吗?能给个大概思路吗？

[Mddct]

attenrion map看对齐图

On Fri, Mar 7, 2025, 2:50 PM liuxinglong @.***> wrote:

不带时间戳 如果有兴趣可以参考whisper align 加个时间戳功能

@Mddct https://github.com/Mddct 请问有机制能在不重新训练原模型的情况下加上时间戳功能吗?能给个大概思路吗？

— Reply to this email directly, view it on GitHub https://github.com/wenet-e2e/wenet/issues/2693#issuecomment-2705666545, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABFN3Q5SM44Z2DEPKAQLA232TE6RPAVCNFSM6AAAAABXNQAEXKVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDOMBVGY3DMNJUGU . You are receiving this because you were mentioned.Message ID: @.***> [image: magicleo]magicleo left a comment (wenet-e2e/wenet#2693) https://github.com/wenet-e2e/wenet/issues/2693#issuecomment-2705666545

不带时间戳 如果有兴趣可以参考whisper align 加个时间戳功能

@Mddct https://github.com/Mddct 请问有机制能在不重新训练原模型的情况下加上时间戳功能吗?能给个大概思路吗？

— Reply to this email directly, view it on GitHub https://github.com/wenet-e2e/wenet/issues/2693#issuecomment-2705666545, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABFN3Q5SM44Z2DEPKAQLA232TE6RPAVCNFSM6AAAAABXNQAEXKVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDOMBVGY3DMNJUGU . You are receiving this because you were mentioned.Message ID: @.***>

[candle1220]

fireredasr-aed能通过vllm进行加速吗？

[Mddct]

是个conformer 应该不行