ANYCOLOR株式会社(本社：東京都港区　代表取締役：田角陸、以下「当社」)、株式会社stu（本社：東京都渋谷区　代表取締役：黒田貴泰）は、VTuberに特化したMRライブシステムを共同開発し、2025年1月8日(水)、9日(木)に開催された「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」にて実証実験を実施いたしました。

MR(複合現実)でのライブ

「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」は、Meta Quest3とスマートフォンで体験可能なMR形式のライブイベントとなっており、にじさんじ所属の「加賀美ハヤト」が出演するトークと音楽ライブの2本立て形式で実施されました。

▼「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」プレスリリース
https://prtimes.jp/main/html/rd/p/000001073.000030865.html

これまでのVTuberの音楽ライブは、会場のLEDモニターに表示される映像を視聴する体験が主体的でしたが、本イベントではヘッドマウントディスプレイやスマートフォンで体験者自身の視点でリアルタイムに鑑賞可能なシステムを開発し、新感覚なライブエンターテイメントの提供を目指しました。

システム開発について

本イベントのシステムでは低遅延なデータ伝送により、VTuber・司会者・体験者が相互にコミュニケーションすることが可能となり、音声についてはイヤホン等ではなく、通常のライブと同じく会場のスピーカーで聞く設計となっており、より臨場感のあるライブ体験を提供いたしました。

またMR技術を用いて、VTuberがより目の前に実在する体験を実現するため、VTuberライブに特化した伝送システムとMR合成システムの2つを開発しました。

リアルタイムに相互コミュニケーションを可能とするためには、ライバーの動きや照明等の演出信号を、複数台のヘッドマウントディスプレイやスマートフォンに低遅延で伝送する必要があります。そのため、これまで株式会社stuと共同開発を進めてきた、VTuberライブに特化した独自のデータ圧縮手法を基にリアルタイムでMRライブが可能な伝送システムを新たに開発いたしました。

加えて、リアルタイムに精度の高い映像をコンポジットすることが課題となっていたため、Meta Quest3の基本機能をベースにした新たな機能を開発し、物理空間と音・照明が連動したVTuber専用のMR合成システムを開発いたしました。
また、一般的な会場は無線で大量の端末にデータを送受信できる設計にはなっておらず、リアルタイムでMRコンテンツを提供するにあたり障壁となっていましたが、大量のデータを安定して伝送するために、会場のネットワークインフラから再設計を行い、リアルタイムMRライブに最適なネットワーク機材を選定してデータフローを見直すことで、オペレーターの負担を下げつつ安定したデータ配信を可能にしました。

今後の展望

リアルタイムMRライブシステムの開発により、VTuberがより身近に感じられる体験が実現し、これまで以上に自由度の高いコンテンツを企画・提供することができるようになりました。

本イベントで実証実験した技術は、ライブのみならず、ゲーム、展示会、テーマパーク、ショッピングモールのイベントスペースといった様々な場所で応用が可能です。
当社は今後も皆様に「魔法のような、新体験を。」お届けできるよう、新たな挑戦に向けて取り組み続けていきます。

※ヘッドマウントディスプレイ使用イメージ

※ヘッドマウントディスプレイ使用イメージ

※ヘッドマウントディスプレイ使用イメージ

※ヘッドマウントディスプレイ使用イメージ

【株式会社stuについて】

stuは、「エンターテインメントの再発明」をミッションに掲げ、ボーダーレスなアイデアを創出するクリエイティブチームを中心に、5G、XR、メタバース領域のエッジテック事業と、ライターズルームやプレビズといった世界基準の映像制作ワークフローを導入したコンテンツ開発事業を掛け合わせ、エンターテインメントの新時代を創造する企業です。

お問合せ：contact@stu.inc
公式Web：https://stu.inc
公式X(旧Twitter)：https://twitter.com/stuinc_