世界中の街の背景が高解像度360度で揃うバーチャル環境/拡張セット

アメリカのVFXスタジオStargate Studiosが構築した最新鋭リアルタイム・バーチャル制作システム「ThruView」には、様々なBlackmagic Design製品が使用されている。

Stargateの設立者であり、受賞歴のあるVFXクリエイターかつA.S.C.のサム・ニコルソン氏は、同時多発テロの影響ですべての制作を中断する必要が生じた2000年台初期に、リアルタイム合成のコンセプトを最初に考案したという。

「離れたロケ地を舞台にする作品の撮影地に行くことが突如不可能になったんです。そこで、シカゴを舞台にした『ER』、ニューヨークを舞台にした『CSI』と『アグリー・ベティ』、シアトルを舞台にした『グレイズ・アナトミー 恋の解剖学』を、ロサンゼルスから移動せずに、説得力のある映像で制作できるか、という疑問が持ち上がったんです」（ニコルソン氏）

ニコルソン氏のチームは、巧妙な美術とセットを使用し、VFXプレートとオンセットでのグリーンバックでの撮影を多用することで、同社がサービスを提供しているすべての番組をバーチャル制作に切り替えたという。

「高解像度、360度で世界中のあらゆる街の背景を撮影した、Stargate Virtual Backlotを構築して使用しました」（ニコルソン氏）

Stargate StudiosのVirtual Backlotのライブラリは、現在、世界最大のバーチャル環境/拡張セットのライブラリとなっており、30万以上のクリップを有する。

しかし、このソリューションも完全ではなかった。オンセットでのグリーンバックの使用は理想的とは言えなかった。監督や俳優は、一面緑の背景の前で、何も実際に存在しない中で作業することに限界を感じ、撮影監督も、見ることができない背景と照明をマッチさせることが難しいと感じていたという。

それに加えて、ポストプロダクションでシーンを合成するための時間と費用も増加し、ニコルソン氏はこれに対処する必要があると考えていた。ポストプロダクションで行なっていることをリアルタイムで実行できないか？　オンセットで完成したイメージを生成できないか？　と思考を巡らせたと語る。

ニコルソン氏のチームはリサーチの結果を実務に応用しはじめ、HBOの新シリーズ「Run」の制作は、その技術を用いて制作された。同作は、列車でアメリカ中を旅する登場人物を追う物語だが、制作はトロントで行なうことが決まっていた。

「プリプロダクションの段階で、複数のDeckLink 8K Proカードを使用することで、10本の8KフッテージをEpicのUnrealゲームエンジンに同時にストリームし、46メートルの列車のセットに設置した40台の4Kモニターで、リアルタイムで再生できることが分かりました」（ニコルソン氏）

社内で開発したトラッキングおよび照明のカスタムツールを用いることで、同システムにより、リアルな車窓からの映像を列車の窓越しに表示し、そのプレートにマッチするように照明をアニメートし、リアルタイムでショットをトラッキングと合成できた。

「全シリーズをこのシステムで制作しました。ThruViewという名前をこのシステムにつけました」（ニコルソン氏）

ThruViewシステムには、ようやく安定し、信頼性が向上した、独自仕様または市販の新テクノロジーが多数使用されている。

「Stargateでは、ターゲットなしのワイヤレスカメラトラッキング、およびピクセルマッピングしたRGBW DMX照明システムを開発しました。8Kイメージのキャプチャーなどのツールは、Blackmagic Designの8K再生製品や、オンセットのカラーコレクションに使用しているDavinci Resolve Studioと機能するようになりました」（ニコルソン氏）

手に入りやすい価格の4Kモニター、一層きめ細かなグレイン、モジュラー式のLEDパネル、NVIDIAのアクセラレーションGPUグラフィックプロセッサー、EpicのUnrealゲームエンジンをBlackmagic Designのツールと組み合わせて使用することで、StargateはThruViewシステムを完成させた。

「マルチカムのライブアクション制作の緊張で張り詰めた中、このような多様なテクノロジーを用いて、信頼性が高く、使用に持ち堪えられる耐久性を実現することは大きなチャレンジです。

弊社のThruViewチームは、同時に3つのDavinci Resolve Studioを『Run』のセットで使用しました。複数のDavinci Resolveステーションを使用して、オンセットでの素材すべての再生を連係させました」（ニコルソン氏）

Resolveに搭載されたリアルタイム・カラーコレクション、編集ツール、FusionのVFX機能は、ペースの速いライブアクション制作において、多数の高解像度フッテージを扱う上で欠かせない要素だった。

ResolveとDeckLink 8K Proカードに加え、ThruViewシステムは多様なBlackmagic Design製品を基盤として使用している。これには、Smart VideoHub 12Gルーター、DaVinci Resolve Micro Panel、UltraStudio 4K Extreme、Teranex AVフォーマットコンバーター、多数のMicro ConverterおよびMini Converterが含まれる。また、ATEM Constellation 8Kは、高解像度イメージを扱う上で極めて重要な役割を果たした。

Blackmagic Design製品を採用した理由は、ツールの信頼性の高さだとニコルソン氏は語る。

「Blackmagicの製品は信頼して使用できます。箱から出してすぐに使うことができ、滞ることなく作業を続けられます。セットでの使用条件は極めて厳しいので、使用するツールに問題が起きては困ります。

リアルタイム・バーチャル制作には、写真ベースとCGベースの素材を組み合わせて使用します。プロセッサーの処理速度が一層上がり、メモリーの容量が増え、大型LEDの価格が下がり、また耐久性が上がっている中、この制作方法は新しい標準になっていくと思います。

バーチャル制作は、現在、私たちが直面しているような、制作を行なうのが難しい状況で、実用的なソリューションを提供できます。制作を行なっている場所にロケ予定地を持ち入れる方が、離れた場所へ制作スタッフや機材その他すべてを移動させるより簡単です。そうは言っても、バーチャル制作はすべての制作に向いている訳ではありません。プリプロダクションで、メインの撮影で使用する素材を作成し、特定のテクノロジーをテストする必要があり、はるかに入念な準備が必要です」（ニコルソン氏）

ニコルソン氏は、バーチャル制作における課題を踏まえても、今後、業界は確実にその方向に進んでいくと感じているという。また、ThruViewがそのニーズに応えられると確信している。

「今後2〜3年で、世界のグリーンバックを使用した撮影の約半分がThruViewに置き換えられると考えています。弊社のシステムは、Blackmagic Design製品を部品として使用しているため、適切に機能し、リーズナブルな価格で提供できます。いかにハードウェアの性能が良くても、高過ぎて買えなければ意味がありません」（ニコルソン氏）