ブラウザで動くFaceVTuberを使ってバーチャルYotuberの皮を被ってZoomに参加する方法
はいどーも！キズナアイです！
今日は私の皮を被って会議に参加する方法について紹介していきます。 ブラウザで動くので導入は～15分です！
FaceVTuberを使ってバーチャル美少女モデルを動かすよ！
PCのカメラから中の人の表情を取得してバーチャル美少女モデルを動かすサイトがあります。
基本的な使い方
初回接続時には，デバイス（すなわちPCのWebカメラ）へのアクセスを許可するように言われるよ！
見逃した場合はURLの右側にあるボタンから改めて許可やビデオ入力を選択できます。
これを踏まえて，手順は
- ［Start］を押してカメラのアクセスを許可する。
- 前を向いて［Set］を押す。（顔がずれたときなどはもう一度Setを押すと前向きに戻る）
- 右側のウインドウのアバターが顔に合わせて動く！
となります。これが出来た時以下の様になっていると思うよ！（顔は隠しました）
このままだと表示が小さいからここから［Pop Window］を押すことで大画面に映すことができます。
好きなアバターのモデルをDLして当てはめよう！
スクロールするとFaceVTuberに対応しているモデル一覧があるよ！
好きなアバターをDLしよう。キズナアイになりたい人はこちら。
zipファイルをDLしたら，アバター下の「ファイル選択」からDLしたzipファイルを指定しよう！
規約が読み込まれるらしく，上の方でたくさんOKを押す必要があるけどそれが終われば完成！
OBS StudioとOBS Virtual camを使って 出力しよう！
さっきのキズナアイをZOOMに映します！
ZOOMの会議で先程のモデルを使うにはキャプチャしたビデオをビデオ出力として認識して貰う必要があります。 作者は意欲的な方なのでひょっとしたらこの先機能として実装されるかもしれませんが，ひとまず自分はOBS Studioを経由してやりました。
www.slideshare.net
必要なソフトをDL！
以下をぽちぽちDLしてください！
OBS Studioを起動して，「ツール」→「Virtual Cam」が表示されていればOK！
OBS StudioからFaceVtuber のウィンドウをキャプチャ
- 左下の「ソース」の箇所で「＋」を押してウィンドウキャプチャを選択。
適当に名前をつけてOKを押します。
すると Windowの選択画面に行くので先程ポップアップさせた画面を選択します。
すると以下のように表示されるはず。（2画面になってるのは「スタジオモード」をうっかりおしちゃったのでスルーしてください。）
このままだと，ブラウザの上とか下のスクロールバーなども写っちゃうのでサイズや場所を調整してトリミングします。
トリミング結果を反映するには右下の「スタジオモード」をぽちぽちしてください。（詳しくないのでもっといい方法あったらすみません）
Virtual Camでビデオ出力！
キャプチャした「私」をビデオ出力しましょう！
「ツール」→「Virtual Cam」を起動し「Start」を押すだけです。
私の設定はこれ。
するとビデオ出力に「OBS-Camera」という項目が出るのでZoomなどのツールでInputに「OBS-Camera」を選択しておしまい！
完成？
Tips
- FaceVtuber は非アクティブの時はリソースをもらえないのか非常に動作が遅くなるので，Zoom中は他のタブより前面に出しておくと良いです。
TODO
- 背景を設定する
- バ声を設定する？
課題
- メガネをつけると顔を認識しにくい
- 目が細くて？表情があまり読まれない
顔のパーツ検出ががOpenCV標準っぽい挙動なので認識の箇所を変えればもっと快適な表情検出になるかも！
