LipSync
LipSync copied to clipboard
如何脱离unity进行音频分析?
unity里面自带的这个库对于非unity用户来说有点过于沉重了。能不能有替代功能,让这个项目可以轻装上阵?
这个的问题核心是1.如何获取到频域信息,2.从频域信息获取到共振峰信息,2.用共振峰信息进一步转换到各种口型的权值上,所以您所谓的Unity库实际上应该只是获取频域信息这第一步,,我在公司项目里用Wwise尝试接入,但由于Wwise没有SpectrumData的获取方式,导致需要自行编写获取频域信息的插件,类比到"非Unity用户"上,您可能需要自行寻找或者编写将音频信号时域信息转换成频域信息的库来做到这一步,后续的内容则并不是特别依赖于Unity的内容
这种需求或许过于深入到某一项工作,在已有的库里面没有办法找到可以直接替代的方法。感谢分享,这个地方我也会在引用已有库的基础上再进行修改。