セルフ受肉モデルもあるイラストレーター、さらえみ(@saraemiii)です。
自分のモデルを使っていて「喋っている時に口パクがトラッキングしない…！」と悲しくなってしまいました。
元々ハッキリした喋りじゃないせいかもしれませんが…💦
そこで声で反応するシステム『マイクロリップシンク』の実装方法を学んだので、今回も自分の備忘録がてらまとめてみました。
さらえみ『マイクロリップシンク』は便利そうな反面
・初心者には難しい技術
・モデル崩壊リスクもある
という点から実装しづらい背景もあります。
このあたりも含めて解説していきます。
喋りに合わせた口パク『マイクロリップシンク』
『マイクロリップシンク』とは、発声に合わせて口の形が変わる機能です。
「Live2Dモデルでの専用設定」＋「VTubeStudioでの専用設定」が必要になります。
ユーザー向けの「VTubeStudioでの専用設定」は↓こちらをご覧ください
さらえみちなみに私は普段VTubeStudio愛用しているので、VTubeStudio用の解説にはなりますが、nizimaLIVEでも同様の機能があるようです。
通常の口の動きでは喋りに合った口パクは難しい
通常Live2Dで設定されている口の動きは、カメラに映った口を認識して変化します。
しょぼんとしたり大声上げたりといった表情変化にはついてきます。
が、普通の喋りでは、あまり口の形が変化しないのでトラッキングされないケースが多いです。
それを解消できるのが『マイクロリップシンク』になります。
高性能カメラでもマイクロリップシンクが無いと声に合わない
高性能カメラを使っている私も友人でも、マイクロリップシンク無しでは普通に喋った時に口パクが反応せず困っていました。
カメラが良ければトラッキングされるというものではなく、やはり「普通の喋り方×通常の口パクモデリング」では反応しにくいものです。
マイクロリップシンク制作はリスクも含んだ上級者向け
『マイクロリップシンク』は、この画像のように口が崩壊するリスクがあります💦
色々調べて崩壊しないように作れてはいますが、悲しい時など感情ごとに口が変化するモデリングにしているなど、複雑な条件になると崩壊する可能性も出てきます。
さらえみ収録＋編集する動画勢なら崩壊しても修正効きますが、リアルタイムの配信で突然この見た目になると、視聴者は困惑して楽しむどころではありませんよね。
難易度とリスクを把握して検討を
作る難易度と崩壊リスクから、『マイクロリップシンク』を使う人はいるものの、VTuber全体を見ると多いわけではなさそうな印象があります。
さらえみ「イラストメインの私がここまで覚える必要ある…？」と思ったんですが、セルフ受肉(自分で作って自分で活動)する際に
『バラエティ特化じゃない人はあったほうが見栄え良いかもぉ⋯⋯』
と思ったので、今回学んで実装しました。
マイクロリップシンクの作り方
では、実際にLive2Dで実装していく方法を順番に紹介します。
① 通常の口パクを作る
一旦、↑このページの『③プロ仕様！「あいうえお」母音別に口を作る』で通常の口パクを作ります。
これだけだと、カメラで口の動きだけをトラッキングする口パクになります。
②リップシンク用に母音ごとのパラメーターを作る
マイクロリップシンク用に
- Silence
- A
- I
- U
- E
- O
のパラメーターを作っていきます。
ざっくりいうと、Silenceはカメラトラッキングとマイクロリップシンクの切り替えスイッチ、母音はそれぞれの音声に反応させる用のマイクロリップシンクのためのパラメーターといった感じです。
Silenceは、このように設定します。
「最小」「デフォルト」「最大」も画像のように設定します。
A～Oの母音パラメーターは、このように設定します。
こちらも『ID』を間違えると反映されません。
「ParamA」の『A～O』は大文字で入力します。
A～Oは、ブレンドシェイプを使うので、チェックを入れます。
③Silenceを設定
口パーツを選択して、Silenceのパラメーターにキーを打ちます。
画像のキーで、デフォルトの閉じ口状態になっているので、このフォームをコピーします。
フォームをコピーは、「モデリング」→「フォームの編集」にあります。
『Ctrl＋Shift＋C』のショートカットでもできます。
コピーしたフォームを、Silenceは0.0の状態で、通常の口パラメーターの残り全部にペーストしていきます。
『Ctrl＋Shift＋V』のショートカットでもできます。
これでSilenceが0.0だと、口は閉じたまま動かない状態になります。
④母音の形にキーをコピペ
引き続き口パーツを選択した状態で、A~Oのパラメーターにキーを打ちます。
警告が出ますが、ブレンドシェイプなので問題ありません。OKを押して進みます。
Aの口を作りたいので、母音『あ』の形の口のフォームをコピーします。
通常の口をデフォルトの閉じ口に戻して、パラメーター「Silence」が1.0で「A」が1.0の状態で、先程コピーしたフォームをペーストします。
デフォルトの口に戻さず、違うところにペーストすると失敗するので注意。
これでマイクロリップシンク用の「あ」の形ができました。
同様に「I～O」のパラメーターにも作っていきます。
⑤修正するならこのタイミング
「A～O」の口の形をコピペで作っていくと、各母音パラメーターの0.0～0.1で口が開閉する際に、パーツがはみ出したりしてしまう事がありました。
さらえみ元々のメッシュの付け方が甘いとかが原因だとは思うのですが⋯
先の工程に進んでから修正しようとすると、他のパラメーターにも影響して全然キレイに修正できません。
修正のコツは⋯『重み制限の前』『キーを増やさない』
さらに、この時に開閉する間にキーを打って修正したくなりますが、それも挙動がおかしくなるので辞めた方が良いです。
どうしても無理な時は、通常の口パク作りまで戻って成形しなおすほうが、ややこしくなくて逆に楽にできます。
さらえみこのあたりの複雑さも初心者には難しいとされるところです
⑤『重み制限』をつける
口の崩壊リスクを防ぐために『ブレンドシェイプの重み制限設定』をつけていきます。
さらえみ重み関連ついては私もそこまで詳しくありませんが、このマイクロリップシンクについてはこの方法で上手く動いています。
口パーツを選択して、パラメーター右上の「パレットメニュー」を開きます。
その中にある『ブレンドシェイプの重み制限設定』をクリックします。
するとこのような画面が出てきます。
左上の一覧には、選択したパーツに付けられたブレンドシェイプが表示されます。
今回は、母音パラメーターが表示されているはずなので、「A」を選択します。
その下のパラメーター一覧から、「Silence」を選択します。
『追加』を押すと⋯
パラメーター欄に追加した「Silence」が表示されます。
この状態で、『重みの制限グラフ』の「プリセット」で『直線３』を選びます。
この状態になれば、「A」×「Silence」の重み制限ができました。
同様に「A」のまま、「Silence」と「A」以外の母音パラメーターにも『直線３』をつけていきます。
さらに他の母音「I～O」にも、Silenceと母音ごとに『直線３』をつけていきます。
全部できたら完了です。「×」で元の画面に戻ってください。
⑥母音と通常口パクで別れて動けば完成
重み制限まで設定できると、この動画のような挙動になります。
これで、VTubeStudioでマイクロリップシンク設定をすると、音声を発した時にも声を出さずに口が動いた時にも反応するようになります。
⑦VTubeStudioの『マイクロリップシンク』設定はこちら
今回は制作者側の解説でしたが、VTuberユーザー向けにこちらで解説しています。
とても参考にさせてもらった解説🙇♀️
マイクロリップシンクを学んで実装する際に、すごく参考になった動画と記事はこちら！
今回、難しい上に自分用にまとめたメモでもあるので、ひょっとしたらわかりにくいところもあると思います。
そんな時はぜひこちらの解説も参考にしてみてください。
今後のアップデートも期待したいステキな機能です
『マイクロリップシンク』は、声が小さめのVTuberさんでもしっかり喋っているように見える素敵な機能です。
しっかり対策しているとはいえ、リスクゼロとは言えないので、ソフト側で今後のアップデートで使いやすくなると良いなと思います。
モデリングを磨きたい方は、ぜひチャレンジしてみてください。
