pixi-live2d-display icon indicating copy to clipboard operation
pixi-live2d-display copied to clipboard

口型同步能力能否优化?

Open liyao1520 opened this issue 9 months ago • 0 comments

live2d官网模型的演示视频嘴型是可以比较灵活展示的,口型和声音看起来也比较自然. 演示视频 这个示例模型,不仅可以通过音频信息可以来设置嘴巴开合程度,还可以通过设置ParamA、'ParamE'、'ParamI'、'ParamO'、'ParamU',来设置元音口型

 model.internalModel.coreModel.setParameterValueById('ParamMouthOpenY', mouthY)
 model.internalModel.coreModel.setParameterValueById('ParamA', 0.3)

我感觉有更好的方法实现口型同步,能否根据音频让模型设置对应口型?

还有阿里云的TTS可输出每个汉字/英文单词在音频中的时间位置,如何模型播放音频,能否根据拼音信息设置对应口型?

求大佬们指教!🙏

liyao1520 avatar May 09 '24 10:05 liyao1520