KuchiPaku
KuchiPaku copied to clipboard
InuInu2022
A lip sync generator tool for YMM4.
VOICEVOX/SHAREVOXのAPIボイスに対応 - NodoAmeと同じでRESTで連携すればいける - NodoAmeの処理はいちぶもってこれるかも!
音声エフェクトに追加された「再生速度」に対応する ボイスアイテム側の再生速度や、エフェクト2重3重にかけられたときとかどうなるんだろ…？
微妙に発音から遅れて表示されるように見える… 実際にそうなのか、錯覚なのかは分からない…要調査 可能性 - 音程/再生速度や話速の対応でどこかにバグがある - 音量口パク対応のパーツを指定すると良くない可能性
[饅頭遣いさん](https://twitter.com/manju_summoner)がPSD処理の.NETライブラリを[githubで公開してる](https://github.com/manju-summoner/PsdParser)ので、 もしかしたらいけるかも。 ただ、ymmpの中だとどのレイヤーが名前じゃなくて番号で指定されているので、ちゃんと再現できるかどうかわからない…。 UIを作るのが大変だけど、口パクの絵を指定するのはUIがないと難しい…。 YMMのプラグイン仕様が公開されたらソッチで実現したほうがいいかも？
ボイスアイテムをYMM4上でカットしているとき、カットされて発音されない部分の口パク用表情アイテムが作られてしまう。 長いセリフとかの一部分だけつかう、みたいな時に面倒。
ゆっくり（Aquestalk）とか古いボイスロイドとか、CoeFontとかCOEIROINKとかは口パク情報を取れない＞＜！ wav2labがあるけど、量が多いと大変であんまり現実的じゃない…。 音声認識エンジンを拡張して.lab形式で取得できるようにするのがいいかも。 候補： - Julius - wav2labは多分これ - 精度があんまり良くないっぽい - Vosk - 最近よく聞く - 日本語対応している - 音素情報が取れるforkがある - Whisper - これも最近よく聞く - そもそも音素情報取れるの？調べてない…
キャラクター設定はあるけど立ち絵がないボイスアイテムも口パク生成しようとしてエラー 実際に立ち絵アイテムがタイムラインにあるかどうかを見ないとダメそう…