9月19日～20日、上級バーチャルリアリティー技術者でエンジニアのkarukaru氏が主催する「モーションキャプチャー交流会」（以下、モーキャプ交流会）が都内某所にて行われた。クレッセンド、スパイス、ゼロシーセブンと国内の大手モーキャプ機材代理店が協力し、集められた機材の総額は数億円にのぼるという。
通常は現場でしか見られないようなVTuberなどのアバター表現を支える技術が包み隠さず披露されたのみならず、これまで個々人が黙々と蓄積するだけでオープンにされることは少なかったそれぞれの機材についての情報や比較結果など、ここでしか見ることができない貴重な知見が共有された。
昨今のVTuberブームや、「VRChat」をはじめとするソーシャルVR／メタバースへの注目の高まりで、より注目度をあげている「モーションキャプチャー」。今回紹介された機材は、どれも数百万円から高いもので数千万円規模のものなど、とても個人で手が出せるようなものではないが、業界標準の「モーションキャプチャー」を改めて学べる素晴らしい機会となった。今回、PANORAでは実際に会場となったスタジオへ出向いて簡単なレクを含め取材を行ったため、その様子をレポートしたい。
そもそも「モーションキャプチャー」とは？
「モーションキャプチャー」とは、人の動きをカメラやセンサーで計測する技術で、スポーツや医療におけるデータ収集やエンタメ分野におけるモーション制作などに活用されている。最近では、VTuberの3D配信などにも盛んに使われているため、VTuberファンであれば聞いたことがある人も多いだろう。
方式としては、「光学式」と「慣性式」の2種類が現在の主流だ。「光学式」のモーションキャプチャーシステムの場合は、複数台のカメラを使ってマーカーの位置をトラッキングするため、位置精度が高い傾向にある。マーカーを付けることで人のみならず、モノも簡単にキャプチャーできるため現在最も幅広い分野で活用されている。弱点としては、カメラを使用するため、キャプチャーするマーカーが遮蔽物などによりカメラの死角に入ってしまうと、トラッキングが失われてしまう点。そして、精度を担保するためには高性能な専用カメラが複数台必要となるため、設備が高額になりがちな点などが挙げられる。
「慣性式」のものは、IMUセンサー、ジャイロセンサーなどと呼ばれるような慣性センサーを身体に装着し、そこから得た加速度・角速度・方位の情報を骨格モデルに当てはめることで体の動きを計測するシステムだ。前述の「光学式」に比べて比較的安価にすむ半面、相対的な動きから位置情報を算出しているため、いわゆる「ドリフト」と呼ばれるような時間経過に伴う誤差の蓄積が生じる、激しい動きを苦手とするなど、「光学式」よりは精度が劣る傾向にある。
マーカーなのに指まで動く！超高級「VICON」の実力
今回、取材に赴いた1日目に運用された「VICON」と「OptiTrack」はどちらも光学式モーキャプシステムだ。「VICON」は、「にじさんじ」を運営するANYCOLORや、「ホロライブ」のカバーが導入している超高級モーキャプシステムで、特に複数人のコラボなどマーカーが隠れやすい動きをした際の補完力・推定力に定評があるとされているという（関連記事）。今回は1台450万円以上となる「Vantage5」が12台、130万円以上となる「Vero1.3X」が12台の計24台が運用された。
今回、「VICON」にてアクターを担当したのは、一杯くらい良いじゃないですかさん、糸巻こころさんの2名。事前に聞いていた通り、アクター2人が重なり合う動きや、匍匐前進などマーカーのかなりの部分がカメラに映らないような意地悪な動きをしても、かなりの高精度でトラッキングされていた。
また、何より驚いたのは指のトラッキングの精度の高さだ。後半に登場した「Manusグローブ」×「OptiTrack」のものとは違い、純粋にマーカーを利用してトラッキングしているにもかかわらず、かなり細かい指の動きまで追従できている。指の動きは複雑でマーカーの重なりも起こりやすいため、トラッキングが難しいはずだが、カメラの性能の高さとソフトウェアによる推定力の高さから、アクター2人によるハートの動作まで、自然にトラッキングできていた。
布を巻いても大丈夫！？進化した「OptiTrack」驚きの推定力
後半に披露された「OptiTrack」は、「VICON」に比べると多少安価な傾向にあるブランドで、赤月ゆにさんが会長を務めるゆにクリエイトが所有し、個人VTuber向けに貸し出しも行っているモーキャプスタジオで使用していることでも知られる（関連記事）。今回運用されたカメラはその中でも「PrimeX 41」と「PrimeX 22」というもので、参考価格はそれぞれ「PrimeX 41」が1台99万8000円、「PrimeX 22」が1台63万8000円だ。これが計14台運用された。
「OptiTrack」はこれまで、「VICON」に比べ推定力が弱く、マーカーが隠れてしまった際には俗に「骨折」と呼ばれるような動きをしやすいといわれていたが、今年7月に最新ソフト「Motive 3.0beta」の国内販売がスタート。マーカーの位置から人体の骨格モデルを生成するエンジンである「スケルトンソルバ」を刷新し、推定力を強化した。そのプロモーション映像において、複数人が団子状態で重なり合う映像や、さらにはマーカーを布で隠す映像を披露し、業界を驚かせた。
今回、この「Motive3.0」で動く「OptiTrack」が公の場で披露された数少ない機会ということで、配信上のコメント欄においても多くの質問が寄せられるなど、特に注目を集めたモーキャプシステムだ。
とはいえ、上記は「プロモーション映像」の話。実際はどうなんだと、この映像をもとに、布でマーカーを隠す動きを再現する。すると、確かに座った状態で布を膝にかけても足が「骨折」するようなことはなく、問題なく動作していた。それどころか、つま先さえ隠れていなければ、布をかけたままの状態で足を動かしたり、交差させたり、組んだりしてもしっかりと追従されているではないか。噂以上の補完力に、会場のエンジニア陣からも感嘆の声が聞こえた。
後半のモーションアクターを担当したのは、ダンスゲーム世界チャンピオンとして知られるりりぃさんと、アクションや演武を得意とするあだこさん。コメント欄からの要望もあり、バレーやブレイクダンス、逆立ちやバク転、側宙などかなりアクロバットなアクトも披露された。アバターもVRChat向け3Dモデルブランド「YOYOGI MORI」の人気モデルである白鳥くん、アンキテちゃんということもあってか、Twitter上でもこのアクロバットアクトはかなり話題となっていた。
また、「Motive3.0」ではソフトウェア内でVR用グローブ「Manus Prime X」を使用することで、全身と5本の指の同時キャプチャーが可能になった。今回、この通称「Manusグローブ」も運用され、フル装備でのパフォーマンスが行われた。
カメラに依存せず、各指ごとのトラッキングに対応したIMUセンサーにより追従をしているため、重なりなどを気にせず、細かい動きもなめらかに再現する。アクターによるフィンガーダンス風の動きも全く問題なくトラッキングしており、その真価を発揮した。
盛り上がりを見せるモーキャプと幅広い選択肢
そのほか、2日目には慣性式のモーキャプシステムとなる「Xsens MVN」と「Perception Neuron」も登場した。Perception Neuronは普及価格帯の新型Perception Neuron3.0を従来のハイエンド帯であるNeuron Studioと比較して、ほぼ同等の精度が出ている事からコストパフォーマンスが良好であることがうかがえた。
Xsens MVNは従来よりソフトウェアライセンスが細分化されたことで、安価なハードウェアであるAwindaとMVN Animate Plusの組み合わせによる生配信特化の構成が可能となった。これは、MVNの精度を安価に採用できる事から注目を集めていた。またカメラが不要ということを活かし、キャプチャルームから離れて階段を降りて、再度階段を登ってくるまでのデモでは、元の位置まで正確に戻ってきた様子に会場は大いに盛り上がった。
四者四様、それぞれに得手不得手や金額との兼ね合いなど一長一短があり、場合によって使い分けていく必要があるだろう。今回、一般的には競合といえる各社代理店が一堂に会し、交流会を通しその比較が行われたのはとても貴重な機会となった。
かなりニッチな内容のイベントでありながらイベントの模様を配信したYouTube Liveは、常に同時接続者数100人～150人程度を維持しており、コメントでも多くのリクエストや質問が届くなど、その注目度の高さがうかがえた。
今回は、企業VTuberのスタジオで使用されるような高額な業務用モーショントラッキングシステムが中心となったが、個人でも手が出せる範囲といえば、HTC VIVEの展開する「VIVE Tracker」シリーズや本イベントの協力団体として名を連ねているHaritora Projectから展開し、開発に当日スタッフを務めたizm氏も関わるShiftallによる「HaritoraX」や、今後製品版の展開が予定されている「Uni-motion」、さらにはスマホ・ウェブカメラでのトラッキングを可能とするソフト「MocapForAll」などかなり選択肢が広がってきている。
現在、各日のアーカイブ映像がYouTubeにて公開されている（1日目・2日目）。普段は表立って注目を集めることは少ない裏方の技術だが、この機会に改めて注目してみてはいかがだろうか。
（TEXT by アシュトン）
●関連記事
・モーションキャプチャー交流会が9/19、20実施 OptiTrack、MANUS グローブなど9種以上のデバイスやソフトが登場
●関連リンク
・compassイベントページ
・karukaru（Twitter）
・クレッセント（VICON代理店）
・SPICE（OptiTrack代理店）
・ゼロシーセブン（MVN,Manus Glove代理店）