コンピュータエンターテインメント開発者を対象に、ゲームに関する技術や知識を共有する国内最大級のカンファレンス「CEDEC」（Computer Entertainment Developers Conferenceの略、読みはセデック）」。1999年から1年に1回、開催されているイベントで、今年は7月22日（火）～24日（木）の3日間、パシフィコ横浜ノースで「CEDEC2025」が開催された。
大半のセッション（講演）は、ゲームに関連する内容だが、ゲームとは直接の関わりがないVR技術に関するセッションも開催。この記事では、ホロライブの音楽ライブを手掛けるカバー株式会社のスタッフらによる二つのセッションと、「ANISAMA V神 2024」を製作したバルス株式会社のスタッフによるセッションをレポートする。
「遠隔地から出演し、その場にいるかのように生バンドとセッションすることを可能とする伝送技術」
「今そこにいる！ホロライブのリアル会場ライブやARライブの実在性を高める照明演出」
「『ANISAMA V神 2024』を支えた技術 – リアルライブの再現とARシステムの音楽ライブ -」
タイトルを見るだけで、内容が気になるVTuberファンは多いはずだ。
ほぼ0遅延伝送の秘密は光ダークファイバー
7月24日（木）の11時10分から開催された「遠隔地から出演し、その場にいるかのように生バンドとセッションすることを可能とする伝送技術」の講演者は、ホロライブを運営するカバー株式会社の小野敏之さん。セッションの冒頭は、講演者の自己紹介から始まった。
小野さんは、スポーツ番組のテクニカルディレクターなど、長年、テレビ業界で活躍。2023年7月にカバーに入社し、現在は、スイッチャーやカメラマンが所属する「撮影チーム」と、スタジオの配信に必要な機器や設備の保守、メンテナンスなどを行う「スタジオ設備チーム」のマネージャーを担当している。今回のセッションは、「スタジオ設備チーム」の業務に関する内容となっているそうだ。
小野さんたちが開発したのは、「体感上、ゼロ遅延に限りなく近い音声の伝送を映像の伝送と共に実現する超低遅延の伝送技術」。開発の背景には、ホロライブプロダクションに所属するタレントたちの人気上昇による、テレビ番組や各種イベントなどへの出演依頼の増大があった。通常、現地にモーションキャプチャーシステムを構築して対応するのだが、会場の物理的な問題や安全にセッティングできる時間が確保できないことなどで、それが実現できないため、やむを得ずオファーを断ることもあった。
その機会損失を減らす手段の一つとして始まったこの取り組みで、小野さんたちが目標に設定したのは、離れた会場にいる生バンドと、スタジオにいるホロライブのタレントが生放送でセッションできるようにすること。それを可能にするほど高速で安定した伝送技術を確立できれば、活動の幅が広がり、結果的に「（タレントが）ファンの皆さんと触れ合える活動範囲が、極限まで広がる」ことにも繋がると考えたそうだ。
このセッションでの「伝送」の定義は、映像と音声をある地点からある地点に1対1で送ること。VTuberの普段の配信を例にすると、自宅やスタジオからYouTubeなどの配信プラットフォームサーバーに映像と音声を送ることは「伝送」。プラットフォームサーバーから視聴者へ送る工程は、1対不特定多数の関係となるため「伝送」ではなく、「配信」や「放送」と呼ぶそうだ。そして、先に掲げた課題を克服するために必要なのは、「伝送」の高速化と安定化。伝送にも配信にも付きものの遅延を極限まで小さくして、なおかつ、映像や音声が途切れるなどの放送事故も避けるため、小野さんたちは、さまざなチャレンジを行っていった。
ここからの内容はテクニカルな話題も多いため、省略しながら説明するが、公衆インターネット回線などの一般的な伝送方法は不安定。さらに、エラー訂正技術を使用して安定を目指すと劣化と遅延が増えるため、「超低遅延」と「安定した伝送」は背反する行為となっている。この八方塞がりのような難局を解決したのが、「光ダークファイバー」の利用。
筆者は、その名称も存在も知らなかったため、「光」なのに「ダーク」というアンバランスさや、闇の技術的な語感にワクワクしたのだが、「光ダークファイバー」とは、普段は使用されていない未使用の光ファイバーのこと。光ファイバーを敷設している通信事業者が、「将来、需要が増えた時のために」敷設し、まだ使用されていない光ファイバーが日本中にあるらしい。
小野さんたちは、スタジオと会場の近くを繋ぐ光ダークファイバーを必要な期間借りて貸し切り使用することで、安定した伝送を実現。しかも、光ダークファイバーは、公衆インターネット回線よりも帯域（データの通り道の広さ）が広いため、公衆インターネットでの伝送時に必要なエンコード（圧縮）やデコード（復調）の工程も必要なく、より遅延を少なくできたそうだ。
その他にもさまざまな技術的工夫や機材の選定などを行い、目標とした「ほぼ0遅延」の伝送技術を確立し、遠隔地にいる生バンドとホロライブタレントの生セッションも実現した小野さんたち。VTuberのライブを観る時は、派手な演出や目新しいギミックなどに目を引かれがちだが、視聴者に何も違和感を与えず進行するためにも多くの工夫や苦労があるのだと、改めて気づかされるセッションだった。
光と影の演出が「今そこにいる実在感」を産み出す
同じく24日（木）の夕方に行われた「今そこにいる！ホロライブのリアル会場ライブやARライブの実在性を高める照明演出」の講演者は、ホロライブのバーチャルライブを手掛ける3人のスタッフ。2022年にカバー株式会社に入社し、ライブシステムのリードエンジニアを務め、（ゲームエンジンの）Unreal Engineによるライブの開発ディレクターも担当している平野晶麗さん。バーチャルアーティストのライブステージの設計や演出、舞台監督を担当しているよしだたかゆきさん。舞台照明家の泉次雄さん。よしださんと泉さんは、カバーの社員ではなく、様々な専門技術を持った企業・個人が参加するクリエイティブプロダクション「TxD」に所属し、活動している。
セッションは、平野さんが進行を務めながら、それぞれの専門領域について説明していく形で進行。前半は、現地会場でのライブ、後半は配信でのARライブの照明演出について語られた。セッションの本題に入る前、平野さんは、現地会場のライブならではの魅力を「タレントとファンが一緒の空間で作り上げる一体感から生まれる熱量」と語り、演出を担当するよしださんも「一期一会。ステージとお客さんが一体となって産み出す熱気や感動」だと表現した。
次に平野さんは、照明の役割を「タレントを華やかに彩るお化粧的な存在」「曲のテーマやライブの世界観の演出表現」「非日常空間の演出の重要な役割」とロジカルに説明。加えて、平野さんたちが照明システムで目指したこととして、「タレントの感情や想いを照明の陰影でも表現」「舞台とタレントの一体感をより高めるために、リアル会場の照明と違和感のない同期のとれた照明表現」を挙げた。そして、照明家の泉さんは、バーチャルアーティストのライブにおいて、何よりも大事にしていることとして、平野さんの言葉に同意しつつ、「今まさにそこにいる感。実在感」を挙げた。
ホロライブのライブで実際に使用されているライティングシステムを平野さんが解説するパートは、かなりテクニカルな内容だったが（CEDECは本来そういうイベント）、我々が何気なく観ている光と影の表現は、様々な独自システムや工夫などで成立していることがよく分かった。スポットライトに照らされた2人のタレントがステージ上ですれ違うだけでも、Unity標準のシステムでは白飛びなどの問題が発生するそうだ。
続いて、平野さんらが開発した技術のライブ現場での活用法の実例を、ライブの画像も見せながら、よしださんが解説。筆者とは真逆で、CG技術に詳しいが、VTuberのライブについては、よく知らないという参加者に向けての説明も興味深かった。また、現地会場のあるリアルライブでは、LEDビジョンに映るタレントなどのCG映像と現実空間の両方を観ている「観客の目（肉眼）」と、配信に乗せるための「実写撮影カメラ」「Virtualカメラ」「ARカメラ」という「四つの目」が存在することを解説。「主たるターゲット」は「観客の目」だが、配信のクオリティも重要で「三つの目」の質感や見え方などの整合性を取ることは、至難の業らしい。
泉さんは、バーチャルタレントの実在感を高めるためには、「物理世界からの影響をバーチャル空間に反映させ」「リアルとバーチャルの境界線を感じさせない」ことが必要だと説明。実際のライブ映像を見せながら、泉さんが「勝負所」と考えている3つのポイント、「位置関係性」「タイミングの一致」「色味の一致」について解説していった。リアル照明の方向とタレントのライティングを揃える「位置関係性」の意識については、筆者にも多少は想像できたが、「タイミング」と「色味」の一致に関しては、そこまで細かな調整がされているのかと驚いた。
照明コンソール（コントローラー）から同時に指示を出しても、リアル照明とタレントを照らすバーチャル照明では、肉眼ではっきり違和感があるほどの遅延が発生。そのため、TxDの所属企業が独自開発した遅延時間調整ツールで制御しているそうだ。また、会場の「観客の目」に合わせて照明の明るさや色を調整すると、リアルにもある照明と、バーチャル空間のみにある照明で異なった色味になってしまうという問題も発生。こちらは、近年、出てきた制御機器を利用することで、個別に指示を出すことが可能になった。
ARライブに関しても、2023年の「hololive Xmas AR LIVE 『Sweet Happy Holiday』」を実例に挙げながら、さまざまなこだわりが解説されていく。クリスマスイルミネーションで輝く新宿住友ビル三角広場をステージに事前収録されたこの公演では、床への落ち影の表現にこだわり、専用の落ち影システムも実装したらしい。
バーチャルライブにおける光と影は、雑に扱うと違和感の要因にもなるが、意図的にコントロールすることで、リアルとバーチャルを繋ぎ「今そこにいる」という実在感を産み出す。まるで、諸刃の剣のような要素だと実感できるセッションだった。
多くのスタッフが意見を出し合う「V神」の制作現場
24日（木）の夜に行われた「『ANISAMA V神 2024』を支えた技術 – リアルライブの再現とARシステムの音楽ライブ -」の講演者は、昨年12月15日（日）に開催された「ANISAMA V神 2024」の製作を担当したバルス株式会社の溝口健さんと、同じくバルス株式会社の伊藤雄二朗さん。「ANISAMA V神 2024」（以降、V神）は、初めてバーチャル空間で開催された「冬のアニサマ」として注目を集め、PANORAでもライブレポートを掲載。堤駿介ディレクター（バルス株式会社）と、「アニサマ」の統括プロデューサー＆総合演出で「V神」では演出監修を務めた齋藤Pこと齋藤光二さんのスペシャル対談も実施している。
講演者は、2人ともUnityエンジニアで、「V神」では、溝口さんがAR周りのシステムを担当。伊藤さんは、（3DCGの見た目を決める）ルックデヴと、観客システムを担当したそうだ。まず、溝口さんは、「V神」でも使用された自社開発のバーチャルライブシステム「SPWNStage」を紹介。このパートで特に驚いたのが、カメラを制御するためのUnityの公式アセットChinemachineを使ったカメラのスイッチングについて。カメラを設定する数に上限はなく、過去最大64カメを切り替えながら使用した実績もあるそうだ。
その後、YouTubeで現在も無料公開されている、きただにひろしさん、アンジョーさん、渋谷ハルさん、夢追翔さんによる「ウィーアー！」を上映。この曲のようなリアルアーティストとVアーティストのコラボを実現させるためには、どのような課題があり、どのように克服していったのかを溝口さんが解説していく。ボリュメトリックではなくクロマキー合成が採用されたことは、以前のスペシャル対談でも語られているのだが、このセッションでは、エンジニアの視点から、決定に至るまでの検証の内容も含む、より詳細な理由や技術的な解説も語られていった。
【チラ見せ】ANISAMA V神 2024 【冒頭1曲無料配信】
次に、伊藤さんがステージ制作について解説していく。「アニサマ」のリアル会場を再現しているということもあり、「ステージのライティングを現実の雰囲気に近づける」ことが課題に。さらに、「3Dキャラモデルがステージ上で映えるためのルックディレクション」「観客の人たちの動きをリアルに近づける」こともステージ制作上の課題となったそうだ。筆者にはUnityなどに関する知識がないため、溝口さんと伊藤さんが語る技術的な話は、理解できないことも少なくなかったが、最先端のVR＆ARライブであっても、最終的に課題を解決するのは、熱量を持った人間の創意工夫であることは理解できた。
また、バーチャルタレントのルック（見た目）に重要な役割を果たす「エフェクト」の選定過程も紹介。非常に広い明るさの幅を持つデータ（HDR）をPCモニターやスマホが表現できる明るさの幅（SDR）に変換するためプロセス「Tone Mapping」で使用する「トーンマッパー」の選択について詳細に語られた。それぞれに特徴的で一長一短ある4つの候補に絞った後、テクニカルアーティスト、CG班、映像班、カメラ班、照明班、ディレクターなど多くのスタッフが意見を出し合い、決定していったそうだ。会場が広く明るく見える照明班の第一候補と、キャラモデルにフォーカスしやすいディレクターの第一候補の二つにまで絞られたが、その決定は難航。最後は、ディレクターの第一候補にライブ演出上の弱点が発見され、照明班の第一候補が採用されたそうだ。
最後に伊藤さんは、「V神」で非常に印象的だった会場の観客についても解説。客席には、本家「アニサマ」を越える約1万6000人の観客がリアルタイムでレンダリング（表示）されているが、これは、より迫力のある観客の絵を作るため、ソーシャルディスタンスを無視して配置しているらしい。実際の映像を観た際、観客には何種類のモデルと何種類のモーションがあるのか気になっていたのだが、モデルは男女1種類ずつしかなく、それぞれサイリウムの持ち手（左右と両手の3種類）で差別化。それでも、合計6パターンしかないらしい。また、モーションキャプチャーにより収録した観客のアニメーションの種類も、わずか8種類。これらをランダムに組み合わせて、約1万6000人の観客を表現しているそうだ。
これが、バーチャルライブにおいての標準なのかは分からないのだが、「V神」の映像を観て感じた観客の存在感から考えると、非常に効率良く表現できているように感じる。ちなみに、観客の動きは、120BPMのテンポに合わせてモーションキャプチャーにより収録。曲のBPMに合わせて速度倍率を変更し、曲に馴染ませたそうだ。
第1回の開催ながら非常にクオリティの高いバーチャルライブを堪能できた「V神」。その中で蓄積された技術やノウハウを活かした第2回「V神」の開催を願う気持ちがさらに強まるセッションだった。
テクニカルな知識に疎い筆者でも、非常に興味深く楽しめる内容ばかりだった「CEDEC2025」のバーチャルライブに関する3つのセッション。来年、開催されるであろう「CEDEC2026」では、きっと今はまだ知らない未知の技術や表現について学ぶことができるはずですでに楽しみだ。
（TEXT by Daisuke Marumoto）
●関連リンク
・「CEDEC2025」公式サイト