■anond:20200618142827

技術的な話をすると使用するセンサーが全てで、2Dガー3Dガーってのは素人の戯言です。

今まで2Dが優れていたのはiPhoneに搭載されているTrueDepthカメラという、超高機能センサーの力が大きいです。

元々マイクロソフトが販売していたKinectという製品がありますが、これが元といえば役割もわかりやすいと思います。

特徴は頭を立体にトラッキングできることで、この機能があるからこそにじさんじ2.0も稼働します。

顔の方向を傾けた情報を的確に読み取れるため、それに合わせた角度差分を作ることで擬似的な3Dが表現できます。

一方多くのLive2DはWebカメラを利用しますが、これは入力した映像を表面的に拾うことしか出来ません。

そのため顔の角度の検出、対応が難しく、見栄え良い動作を行うのが極めて困難です。

また従来の3Dも同じことが言えます。1000万円かかるモーショントラッキングセンサーは人体のスキャンに特化したもので、手指のトラッキングもオプションです。

もちろん表情認識もあってないような物で、大半の場合表情スイッチャーおじさんが手作業で付けています。

偶然ですが本日Steamで発売されるDetroit: Become Humanというゲームがございまして、メイキング映像がふんだんに残っているのですが、

VTuberの1000倍以上の予算のかかっている作品でもほとんどの表情は手付けです。それだけ人体センサーの表情認識は怪しい。

しかし昨今ではこれの克服も見られます。

例えばLive2Dではmocapeというソフトウェアが、TrueDepthとの連携を模索し、現在実戦テストを行っています。

また3D系Vの兎鞠まり氏は、全身トラッキングに頭にiPhoneを装着し、DIYな方法で表情を拾うというチャレンジを行っています。

またYouTubeで使えず専用プラットフォーム配信が前提ですが、IRIAMやREALITYはiPhone内にモデルを取り込んで解決していますね。

ここまで書いて何の回答にもなっていないと思いましたが、せっかく書いたので投稿します。

Permalink | 記事への反応(2) | 15:15

ツイートシェア