skypeでオンライン飲み会、という時代に乗っかているのか取り残されているのかよくわからないものに参加したときの備忘録です。どうせならVTuber風のルックで参加したいなぁ、と思ったので1時間ぐらいで準備しました。結論、簡単にアバターに仮装できます。
Contents
使用ソフトと動作環境
動作環境
そこそこのスペックがあれば動作すると思いますが、複数のソフトを同時に使用するので、ノートパソコンでは動作が安定しない可能性があります。自分のPC環境は以下の通りです。
- window10
- Intel i5-7500 3.40GHz
- RAM 16.0 GB
- GeForce GTX 1060 6GB
Webカメラ
webカメラは何でもいいです。自身の環境ではロジクールを使っています。 最大解像度が1280X720で、フレームレートも30までしか出力できませんが、フェイストラッキングで使用する分には十分です。 もちろん、パソコンに内蔵されているカメラでも構いません。
OBS
OBSはYouTubeやTwitchに使用する配信ソフトです。クロマキー合成や仮想webカメラの構築に使用しています。ダウンロードは無料です。
OBS-VirtualCam
OBS本体に加えて、OBS-VirtualCamというプラグインを使用します。
https://obsproject.com/forum/resources/obs-virtualcam.539/
Hitogata
フェイストラッキングを行うソフトです。webカメラを通して顔の位置情報を取得し、撮影者をアバターに置き換える役割を担います。こちらもダウンロードは無料です。
https://sites.google.com/site/vhitogata/
Skype
一般的なオンライン会議ツールであれば、だいたい大丈夫だと思います。別にSkypeでなくてもよいです。Windowsストア版のskypeだと仮想webカメラが認識されないので、デスクトップ版をインストールしてください。
セットアップ
OBS-VirtualCamを導入する
公式ホームページのインストール手順には、コマンドを叩けという、結構敷居の高い指示が書いてありますが、不要です。Githubのリリースページにexeファイルが用意されているので、そちらを使いましょう。GitHubに慣れていない人でもわかりやすいよう、下にキャプチャを用意しました。これらを参考にしながら、exeファイルをダウンロードしてください。
また、OBSをインストール済みであることを確認してから、プラグインをインストールしてください。
Hitogataをセッティング
ダウンロードしてきたHitogataを開きます。（ダウンロードはここから） Hitogataの詳しい使い方は省略して、必要なところだけを説明します。
モデルの表示する
まず、モデルを表示しましょう。Hitogataは自作アバターも導入できるのですが、今回はとりあえずデフォルトのモデルを使用します。モデルの設定項目にアバターが入っているので、これをクリックします。クリックすると赤毛の女の子がウィンドウに表示されます。
フェイストラッキングを開始する
次に、Face Trackingを設定します。撮影するwebカメラがセットされていることを確認して、Face Trackingのボタンを押します。この時、まれにwebカメラを認識してくれないことがあるので、その時はHitogataを再起動したり、別のカメラに切り替えるなどしてみてください。
トラッキングが開始されると、別枠でウィンドウが立ち上がります。 顔の移動にモデルが追従しているのを確認します。
クロマキー合成のために背景を緑にする
また、ビューの背景色を緑にしておきます。これはOBSで任意の背景画像とクロマキー合成するためです。
Hitogataのセットアップは以上です。
OBSをセッティング
OBS-VirtualCamを導入したOBSを起動します。OBSは動画配信ソフトなので、いろいろと高機能ですが、今回使う機能はほんの一部です。
ゲームキャプチャの追加
まず、ソースの欄で右クリックしてゲームキャプチャを追加します。このとき間違えてウィンドウキャプチャを選択しないようにしてください。ウィンドウキャプチャだと、Hitogataのツールバーや設定タブが映りこんでしまいます。
ゲームキャプチャを追加したら、ゲームキャプチャをダブルクリックします。すると、ゲームキャプチャの設定画面が立ち上がるので、キャプチャする画面をHitogataに設定します。
クロマキーフィルターの設定
緑色の背景に背景画像をクロマキー合成します。ソースのゲームキャプチャを右クリックして、フィルターを選択します。
左下の＋ボタンからクロマキーを選択し、色キーの種類を緑にセットします。これで緑色の部分に透過処理がかかるようになるので、お好きな背景画像をソースに追加してみてください。
仮想webカメラ を立ち上げる
最後に、仮想webカメラを立ち上げます。OBS-VirtualCamが正しく導入できていれば、ツール > VirtualCamが追加されています。
出力する先の仮想webカメラを選択し、Startを押すと準備完了です。
注意点
カメラが映らない
ビデオ会議の出力カメラにOBS-Cameraを指定するのを忘れないで下さい。 また、webカメラはフェイストラッキングに占有使用されているので、リアルの撮影と併用することはできません。
トラッキングが止まる
Hitogataのウィンドウを最小化するとトラッキングが一時的に停止してしまうので、最小化しないようにしましょう。
マイクの音声が出ない
マイク音声はHitogataを通して拾います。通話のさいは、Hitogataのマイクボタンをオンにすることを忘れないでください。
まとめ
HitogataでなくてもFaceRigでも似たようなことができるはずです。もしソフトをお持ちであれば、ぜひ試してみてください。
また、Hitogataに入っているデフォルトのアバターはリップシンク（唇の動き）まで設定されているので、発音にも口の形が追従してくれます。しかし、市販されているアバターによっては、リップシンクが設定されていないこともあるので、アバターを購入する際は気を付けましょう。
もしキャラクターを自作したいのであれば、以下の記事が参考になります。ぜひご覧になっていってください。