DTLN_pytorch
DTLN_pytorch copied to clipboard
Dual-signal Transformation LSTM Network, PyTorch,NCNN
作者您好,我注意到整个部署流程是将一个model拆成两个部分使用NCNN进行部署。 其中STFT层交给C++的FFTW3来实现。 但我注意到STFT的过程是分帧加窗后再加FFT,而C++的处理貌似少了加窗这一步,这一部分是否会造成一些误差呢?想听听设计代码的你是怎么考虑的。
作者您好,我最近一直在复现这篇DTLN—NS和DTLN-AEC的论文,也成功参考您的部署实现在开发板上运行。目前还想要再提高运行效率,想采用量化的方式。 目前的困境是如果使用torch.quantization导出的torchin8模型不能经过ncnn模型转换,而如果使用ncnn本身的量化工具(https://github.com/Tencent/ncnn/blob/master/docs/how-to-use-and-FAQ/quantized-int8-inference.md) 的话,其需要一个校准集合,说白点就是感觉推理框架MNN,NCNN的量化工具都是为了图像算法而设计的。 感觉您对语音及ncnn这个框架挺熟悉的,不知道您对音频算法在ncnn上的量化方案有什么建议呢?
1. audio denoise src: https://github.com/haoheliu/voicefixer online demo: https://haoheliu.github.io/demopage-voicefixer 2. audio enhance src: https://huggingface.co/spaces/brentspell/hifi-gan-bwe online demo: https://huggingface.co/spaces/brentspell/hifi-gan-bwe ncnn has many cases in the image field, but you are the first taster...