Adobe MAX Japan 2019の基調講演で、Aeroを紹介するステファノ氏

昨年のAdobe MAXでは、AR（Augmented Reality：拡張現実）コンテンツを、直観的に制作、公開できるオーサリング・プラットフォームAdobe Aeroが登場した。Adobe AeroはAdobe Photoshop、Illustrator、Dimension、Substanceなどのツールで作成したり、Adobe Stockから入手した3Dや2Dのアセットを使用して、コードを書く手間もなしに、現実の空間をキャンバスにしたARコンテンツを手軽につくり出すことができるオールインワンのプラットフォームだ。

昨年の12月に開催されたAdobe MAX Japan 2019の際に来日したアドビのバイスプレジデント・AR室長兼Adobe Aero担当ステファノ・コラッツァ氏に、Aeroについて、また今後のアドビのAR、VRへのアプローチについて、直接お尋ねする貴重な機会を得ることができた。

ARやVRとの関わりについて

──ステファノさんのバックグラウンドをお聞かせください。

オステファノ・コラッツァ氏（アドビ バイスプレジデント・AR室長兼Adobe Aero担当）

ステファノ　私はもともと、エンジニア出身です。 コンピュータビジョンで、PHD（博士号）をとりました。スタンフォード大学ではリサーチャーを、 そして、イタリアの大学でデザインを受講しています。アーティストとして、大型のヴィジュアルアートのデザインなども手がけてきました。

──ステファノさんのARやVR（Virtual Reality：仮想現実）への取り組みは、どれぐらい前からになりますか？

ステファノ　それはだいぶ前からになりますね。多分、2008年からARやVRを手がけることになりましたので、11年前ですね。私は2008年に創業し、キャラクター・アニメーションのサービスを提供したMixamoという会社の創設者でもあります。この会社は2015年にアドビに買収されました。アメリカですごく人気のあった”SUPERHOT”という有名なゲームがあるんですが、それにはMixamoのツールが使われています。われわれの顧客はゲームを制作する会社だったり、VRの体験をつくる企業だったので、その頃から、自ずとVRと関わることになりました。

それから、私は様々なイベントを手がけています。サンフランシスコにおけるVRのペインティングの展示会や、”Festival of the Impossible”というARとVRのイマーシブ体験を網羅したイベントなどを主催しました。その他、サンフランシスコにおけるVRのスタートアップのインキュベーター（起業支援事業者）に対するアドバイザーをやっていました。

──VRのペインティングの展示と言うと、Google Tilt Brushを使ったものでしょうか？

ステファノ　実はTilt Brushを開発した会社の創始者は、私の友人なのですよ。その展示は、彼らと一緒にやりました。Googleに買収される前から連携をとっています。ですから、私たちが世界で初めて、VRのペインティングの展示会を開催したという訳です。

──アドビに参加したのは、Mixamoの買収がきっかけだった訳ですね？

ステファノ　そうです。現在、私はアドビのAR部門のバイスプレジデントとAR室長兼Adobe Aero担当という立場です。

Adobe Aeroの開発について

──今回リリースされたAeroですが、いつから開発が始まり、どんなチームで、どこを拠点にして開発がおこなわれましたか？

ステファノ　メインのロケーションは、サンノゼとサンフランシスコです。シアトルにも小さなチームがあります。われわれは3年前から開発を始めました。デザイナーとエンジニアとプロダクトマネージャーとアドビリサーチのメンバーらと、密に連携をとっています。われわれの最大の課題は、デザイン性とユーザーインターフェースだということは、当初からわかっていました。ARやVRは今ではコードさえ書ければ、UnityやUnreal Engineでつくれます。でも、われわれが目指したのは、コードを書かなくても、同じことができるということでした。

Adobe MAX Japan 2019のステージで、Aeroのデモを披露するステファノ氏

──苦労された点は、どのようなことでしょうか？

ステファノ　やはり、非常に変化や進化の激しいメディアに対して、プロダクトをつくっていくということは、常にクリエイターの近くにいなくてはなりません。それが課題でした。そこで、われわれは、ARに特化したアーティスト向けのプログラムを立ち上げて、クリエイターの実際の作業を、われわれのエンジニアとプロダクトマネージャーが観察できるような環境をつくりました。

そして、一番大変だったのは、ビヘイビアビルダー（振る舞い）を構築するということでした。今日も基調講演で紹介したかと思いますけれど、あれはつくるのに2年以上かかっています。何度もユーザーのテストを繰り返しながら できるだけ作業を簡素化することを考えました。制作をするときは、インタラクティビティとゲームロジックというところに絞って、とにかく、トリガーとアクションというシンプルな仕組みにして、そうしたら、皆さんがわかりやすくなったと思います。

ARとクリエイション

──プライベートベータプログラムと、アドビARレジデンシーについて、教えてください。

ステファノ　プライベートベータプログラムは、昨年立ち上げたものです。Aeroは1年間ずっとベータバージョンのままでした。その中でユーザーの振る舞い等を学んでいくために、1000人ぐらいの人たちが参画したプログラムです。一方でアドビARレジデンシーは、もっと参加者が少なくて、20名のアーティストが、3ヵ月間フルタイムでARの体験をつくるというプログラムでした。

Adobe MAX Japan 2019の会場では、アドビクリエイティブレジデンシープログラムのブースにおいて、Aeroを使って制作された福田愛子氏と中田拓馬氏のコンテンツ「Wonder Chamber〜不思議の部屋〜」が展示された。iPadをかざすことで、実際にはないはずのモチーフが現れる

──ARの場合、今までの表現と全く異なり、空間や現実がキャンバスになると思うのですが、アドビARレジデンシーのプロセスを通じて、従来の絵画とか、写真などの表現とは、具体的にどのような違いがあると感じられましたか？

ステファノ　どんなことがエクスペリエンスをパワフルにするかということについては、目が覚めるような発見がありました。ARの体験を構築する中で、重要な役割を果たすのは、音（空間音声）であることがわかりました。ですので、われわれは2020年に向けて、このオーディオの開発に力を入れながら、展開していく予定になっています 。

──具体的に、どのような音の使い方になるのですか？

ステファノ　アーティストの方は、空間の中でのオーディオ観というものを求めるものです。

先ほどのプレゼンテーションで見て頂いたと思いますが、ARのバブルに入り込んで行くと、森を見ることができますね。あれに合ったような空間の音をつけていく。また、他のARのバブルに入った時は、それに合った他の音を入れていかなければならないのです。距離とアクションが紐づくトリガーの関係と同様に、距離感とオーディオというものも、結び付けていかなければならないと思います。

それから PSDのトンネルと呼ぶんですけれども、Photoshop上でもたくさんのレイヤーを重ねて、そこを通過していくと、すごく美しいイマーシブなファイル体験というものが得られます。例えば、モヤをかけるとか、フラットファイルを使って、すごく面白いことができるようになっています。

──3Dのオブジェクトじゃなくても、レイヤーによって立体的に見せられるというのは面白いですね！　ところで、バブルの中に入るというのは、VR的なコンセプトを感じますね。

ステファノ　はい。ARの中にVRが入っているようなものです。まず、没入して、そこから1回出て、別の世界に入り込むことができます。言ってみれば、それは窓みたいなもので、1つ1つ世界を覗き込む仕組みになっています。

われわれの狙いは、今まで Photoshopだけを使ってきたような従来型のクリエイターたちにも、ARの世界に入ってきてほしいということです。何億人という人たちがPhotoshopのユーザーですけれど、3Dの世界に入ることを恐れてる人たちもいます。でも、Aeroの仕組みを使えば、Photoshopのユーザーが、1分ぐらいで簡単にバブルのようなARコンテンツもつくれてしまいます。すでにPhotoshopのユーザーがつくったものの中で、こちらがびっくりするようなクールなものができていますし、彼らからの学びもこちらで吸収しながら、従来型のアーティストの方にも、ARやVRの世界に参入していただけることを目指しています。

Adobe MAX Japan 2019のPreConference〜ラッセル・ブラウンのワークショップで披露されたRICOH THETA Z1の全天球画像とAeroによるVRバブルのデモ。バブルの中に入り込むと、その世界を体験できる仕掛けになっている

──昨日、ラッセル・ブラウンさんのワークショップに参加して360度の画像をモチーフに、Aeroを使ってARをつくるということ体験しました。

ステファノ　そもそも、そのアイディアを考えたのは、ラッセル・ブラウンなんですよ。

──そうなのですね！　あのバブルのコンセプトは、Aero独特の見せ方なんですか?

ステファノ　Googleのアプリで、フォトスフィアというものがありますね。ラッセル・ブラウンが考えたのは、まず最初は小さな穴で、覗き込むとどんな世界かわかる。実際に入り込むと、そこから世界が広がって、没入感が出てくる。また、そこから出ると、穴が小さくなる、というような考え方でした。

つまり、ARにおいては没入体験もできるし、そこから、出られるというのも面白いと思いました。写真のアルバムを見ている時って、そんな感じですよね？　Lightroomであればディスプレイで見ますが、そこに写真を並べて、ポンと押すとその写真の中に入り込める。じゃあそっちを試してみよう、するとまた、その世界に入れる。360度の写真を、このように空間を使って、動画も含めて、楽しめるということです。

──先ほど、アドビARレジデンシーのプログラムの過程で、色々な気づきがあったと仰っていましたけれども、空間音声以外で何か発見はありましたか？

ステファノ　もう一つ分かったことは、アーティストの方は、とにかくリソースをたっぷり持っているので、ツールのリミットをどんどん超えていくようなことをやろうとしてきます。われわれの想像しなかったAeroを使った面白いインスタレーションが、出てきていましたよ。

例えば、ガブリエル・バルシア・コロンボさんがつくった作品が例として挙げられるんですけれども、路上を歩いてる人をフラットなイメージにして、人が全部集約されていって、近づいていくと次々に顔が変わっていく。そんなインスタレーションもあり、アーティストとして、どんどん境界線を越えて、ノンリニアな形でいろんなことをやっていくので、彼らがやろうとしていることに対して、アドビとしてはそのフィーチャーを用意していくことが必要なんだなと感じました。

アドビARレジデンシーを紹介する動画。ARアーティストたちによる没入型ストーリーテリングの概要を知ることができる

──レジデンシープログラムはこれからも続くのですか？

ステファノ　続けていきます。今年はさらに大きくなりますよ。もっとたくさんの人を巻き込んでいきます。

──それには審査があって、通過した方が参加するのですね？

ステファノ　そうです。　 このプログラムの担当者が1名いて、世界中の優秀な人材を探してきて、インタビューをしています。3ヵ月ごとに2〜4名から成るグループのメンバーが、置きかわることになっています。

──ところで、近年、メディアアートやデジタルアートがたくさん出てきていますが、従来の絵画を使っているギャラリーの人たちは、それらをどうやって販売していくか、管理していくか悩んでいます。何か良いお考えはありますか？

ステファノ　昔の展示会を思い出すと、作品の写真を撮らないでください、と厳しく管理していましたよね。写真を撮られると、人が来ないのではないかと考えていました。でも、今では状況は全く変わりました。どんどん写真を撮って、SNSにあげてくださいというようになりました。それと同じプロセスを通過していると思います。潜在的に来てもらえるお客様を見つけるという意味で、ARを活用できるのではないかと考えます。

展示会とか、アートピースを見たいという人は、本当はすごくたくさんいるはずですが、実際に来てくれる人は限られています。 ARを活用することによって、それがメガホン的な役割を果たしてくれれば、たくさんの人がそれをシェアして、これなら行ってみたい、という人が現れてくると思います。

ARの実用性とは

──Adobe MAX Japan 2019のAeroのプレゼンテーションはアート寄りでしたが、ARの用途としては実用面もありますよね。

ステファノ　われわれは2018年のAdobe MAXにおいて、実用面に関してのARやVRの取り組みをご紹介しました 。そこでは、リテールストアの再構築に使ってもらうということで、Aeroを使って実際の小売店舗の靴やおもちゃなどの商品の背景に、どのようなストーリーがあるのかということを描いていきました。

靴に関しては、在庫がこれぐらいありますとか、こんな風につくられましたといった説明もできますし、アディダスとの取り組みでは、アニメーションでパーツをバラバラにして、それぞれの素材がリサイクルでつくられています、というようなインフォグラフィックスをつけることができるようになっています。

また、おもちゃに関しても、どんな風に遊ぶものなのか、ということをARを通して説明することができます。例えば、箱からおもちゃが飛び出して、こんな風におもちゃが動くということをアニメーションで見せられれば、そのおもちゃの使い方を示すことができますね。

もうひとつは、教育面での実用的な使い方です。ARの学習教育といった場合は、非常に範囲が広くなります。例えば、飛行機の保守のエンジニアが学習をすることもありますし、一般の消費者が洗濯機の使い方であったりとか、それをどう修理したらいいかとか、また注文の仕方などを学ぶということにも適用できます。それから、博物館で学生が自分の体について学ぶという生物学の視点からも、ARを活用することができますね。つまり、ARというのは文脈に応じて、その人に合った情報を提供することができるので、すごく幅広い使われ方をするということを意味します。

Adobe Dimension、Substance 3DおよびProject Aeroを使用して、スピーディーに視覚化が実現されたフランスの靴メーカーHokaチームのデザイン

ステファノ　Hokaという靴のデザインのプロセスには、AeroとDimensionとSubstanceが使われています。この2つに関しては、デザインプロセスをお手伝いとすると言う意味での使用例になります。それから、先ほど挙げた”Festival of the Impossible”もそうなんですけれど、展示会とか博物館などでは、ARによって没入体験を提供しています。

Aeroはプロシューマー向けの製品である

──先ほどの記者向けのQ&Aセッションの中で、Aeroはコンシューマー向けではなく、プロフェッショナルやアーティスト向けだと仰っていましたけれど 、その辺りのコンセプトをもう少し詳しく教えてください。

ステファノ　コンシューマー向けとはどういうことかというと、全員向けだということです。Photoshop Cameraなどは、今回初のプロダクトとしてコンシューマー向けに出した製品と言えますが、Aeroはある程度ナレッジもスキルも必要になります。例えば、プロフェッショナルとして、3Dが好きな人もいるでしょうし 、ARやVRが大好きだという人もいるでしょう。そういう人たちが対象になるということと、もう一つは、ちゃんとお金を稼ごうという人がターゲットになっています。

後はコンセプトをちゃんと立ち上げて、ステークホルダー（利害関係者）と共有して、 コラボレーションしなきゃいけないというニーズを持っている方ですね。UX（ユーザーエクスペリエンス）はコンシューマー向けのそれと同じくらいシンプルなものにしつつも、基本的なコンセプトはちゃんと理解して頂きたい。すなわち、空間の体験とはどういうものかということが、わかっている方向けとなります。例えば、360度の写真家も対象になるでしょうし、その他、ポケモンGOのユーザーであれば、プロでなくても概念的にはARがどういうものか分かっていると思いますので、そういう方たちも対象になると思います。しかし、幅広い人が使うというものではありません。

──現在、AeroはiOSとデスクトップ版がリリースされていますが、Androidへの対応はいかがでしょうか？

ステファノ　他のプラットフォームについては、先方が準備が整って、利用者が増えてきた段階になりましたら、サポートするというスタンスなんですが、AndroidでARコアを実行できる数というのは、まだ少なくて、1億5000万台ぐらいしかないので、時期尚早と考えています。数が増えてきたら対応します。

AR、VRのこれからについて

──VR、AR、MR（Mixed Reality：複合現実）、そして、XR（Cross Realityまたは、Extended Reality：一連の新しい現実世界の総称）と様々なワードがありますが、それらの定義について、どのようにお考えですか？　一般の方から見ると、少々、紛らわしいですよね。

ステファノ　それでは、図を書いてお見せしますね。まずXRの中に、ARとVRがあります。リアリティーをどこまで置き換えらるか？というのは、度合いがあるのです。

VRとARの間には、拡張版のVRなどもあります。XRはそれらを全て、含んでいます。マイクロソフトでは、ARの部分をMRと呼んでいます。VRの体験では、匂いもするし、足も床を体感しているはずです。ということは、MRはVRに接近しているとも言えるのです。ARとMRがすごく似ていることが混乱する要因です。ARとVRの境界線が曖昧なんですね。

VRとは100%バーチャルな世界を言います。XRは全てを網羅する。すごく技術的な話です。私の母に聞いても、絶対にわからないと思います（笑）。一番、有名なのはAR、次にVRもよく知られていますよね。ですから、アドビとしては、この最も知られているARとVRという呼称で進めていきます。

ステファノ氏が用語の定義について、自ら図を書いて解説してくれた

──VRはトレーニングや、シミュレーションなど、実用面では根付いてきています。 ところが、エンターテイメントの領域では、普及を心配する声もあります。ARやVRの普及については、どのようなお考えをお持ちですか？　具体的なタイミングも含めて、お考えをお聞かせください。

ステファノ　結局、卵が先か、鶏が先か？の話なんですね。デバイスが十分、行き渡らないと大きなマーケットにはならないわけで、クリエイターの方々もコンテンツをつくらなくなります。個人的な見解ですが、ARが普及すれば、マーケットでAR対応のデバイスが増えてくるでしょう。

今、AR対応のデバイスは10億台あると言われています。その一部はARキットなどを使って、ARコアを使う状態になっています。例えば、トレーニングなどに関しては、ARも使っていくことができますね。ARで実用的なコンテンツが増えていけば、どんどんVRの方に流れ込んでいくことになり、それが刺激となって、VRの普及にも繋がっていくでしょう。

盛り上がり期があれば、そのあと幻滅期が訪れるものですが、VRは引き続き、特化したセグメントとして残っていくでしょう。一方、ARはモバイル対応していることもあり、もっと普及していくでしょうね。とはいえ、ARの増加が良い意味で影響して、VRの普及に繋がっていくのです。

──ARグラスについてはどのようにお考えですか？

ステファノ　2年以内には、普及の鍵となるとプロダクトが登場し、それが変節点となるでしょう。良いハードウェアが出てきたら、それに呼応してAeroを使ったコンテンツがつくられて、普及していけば良いと考えています。

──それでは、最後の質問です。アドビはこれからもARやVRに積極的に注力して、取り組んでいくと考えて良いのですか？

ステファノ　はい。その通りです。

関連動画

Adobe Aeroで誰でも簡単に作れるARの世界 | Adobe MAX Japan 2019 Keynote