【特集】IKEBANA × TECHNOLOGYの舞台裏から見た複合現実(Mixed Reality)とアートの可能性

日本の伝統文化と最新技術のコラボレーション

　2020年2月27日に、アメリカ合衆国ワシントン州シアトル市にある Benaroya Hall において、日本の伝統文化である”いけばな”と”複合現実(Mixed Reality:以下MR)”の異色のコラボレーションにより生まれた「IKEBANA x TECHNOLOGY」の世界初演が行われました。この公演において、南国アールスタジオはHoloLens 2コンテンツの制作を担当いたしました。本記事では制作サイドから見た、プロジェクトの裏側をご紹介し、MRとアートの可能性について迫ります。
　まずは実際に2020年2月27日にシアトルのベナロヤホールにて実際にパフォーマンスされた際のダイジェスト映像をご覧ください。

ノーカット版の記録映像はこちらからご覧いただけます。
https://youtu.be/yp9OyxT6-NE?t=3477

詳細なイベントのレポート記事はこちらからもご覧いただけます。
南国アールスタジオ :
Ikebana meets Mixed Reality@SeattleにてHoloLens 2コンテンツの制作を担当いたしました！
日本マイクロソフト :
生け花と Mixed Reality テクノロジーのコラボレーション「IKEBANA × TECHNOLOGY」開催レポート

また、関係各社だけでなく日経ビジネスや現地メディアでも今回のプロジェクトが特集されました。
日経ビジネス
史上初！日本の伝統文化とMixed Realityが融合世界が日本文化に見るソフトパワーの本質とは
KING 5 News
Traditional meets technology as ikebana moves into a new generation

企画の始動、そして公開まで

　　本プロジェクトは、在シアトル日本国総領事館、いけばな小原流、いけばなインターナショナル、ANA、三菱エアクラフト、日本マイクロソフトなど、実に様々な関係者の熱意と情熱があって成立した記念すべきプロジェクトです。しかしながら、そこに至るまでには、実に一年以上も前から公開へ向けての準備が進められてきました。

“HoloLens2″を用いた世界で最初の試み

　今回のパフォーマンスではHoloLens 2と呼ばれる初代HoloLensの後継機種を用いて行いましたが、実はこのプロジェクトが動き始めた時はまだHoloLens 2はリリースされておらず、ほとんど詳細な情報がありませんでした。HoloLens 2は初代HoloLensと比較して性能や機能の向上はある程度見込まれていたものの、まだ実際にどのようなパフォーマンスが可能かわからない状況でした。しかしながら、この前例のないプロジェクトをより良いものにするには、より高いハードルを設定して取り組むべきとの判断となり、HoloLens 2をターゲットに企画を始動させました。

ビジュアルと体験の共有

　本ステージの主人公であり、HoloLens 2を装着してパフォーマンスを行った、いけばな小原流五世家元である小原宏貴氏は、伝統文化としての「いけばな」の普及活動だけでなく、芸術家としても国内国外問わず活躍されています。今回のステージではいけばな作品のオンステージデモに加え、HoloLens 2コンテンツのパフォーマーとして、またコンテンツの構成演出に至るまで、全般にわたりプロジェクトを成功に導いてくださいました。

　今回の小原氏の作品のタイトルである「雪・月・花」は、万葉集に収録されている大伴旅人の歌「わが園に梅の花散るひさかたの天より雪の流れ来るかも」からとられています。「我が庭に咲いた梅の花。その散りゆく様が、はるか彼方から舞い降りる雪のようにも見える。」この歌を受けて、現地シアトルの地に、冬から春へと移りゆく季節の花によって、静かで幻想的な情景を表現する、という小原氏のイメージが制作サイドに伝えられ、「雪・月・花」のテーマを引継ぎ、最新テクノロジによるコンテンツ制作を進めることになりました。

　コンテンツの企画制作のワーキングセッションには、多忙の中小原氏にも毎回ご参加いただき、作品の世界観やアイディア、コンセプトアートについてのディスカッションを行い、アートボードやビデオコンテを活用してイメージのすり合わせや、改善を何度も繰り返しました。

　そのようなかたちで本番の作品の構成を練る一方、具体的な実現手段を探るために、国内で小原氏の手掛ける他の作品が公開される展示会に伺い、ディスカッションだけではなく、表現研究としてさまざまな試行錯誤（プロトタイピング）を行いました。そこで得た、実際のいけばな作品を使ったMR表現に関する小原氏からのフィードバックは非常に有益で、本番の作品に向けた演出強化やストーリーの構成に役立ちました。下記の写真と映像は、東京都目黒区の目黒雅叙園にて開催された「いけばな×百段階段」というイベント終了後に行ったプロトタイピングのウォークスルーの様子です。

プロトタイピングのウォークスルーの映像（於：目黒雅叙園「いけばな×百段階段」）

会場での入念なシミュレーション

　本番の約二カ月前には、会場となるシアトルのベナロヤホールにてロケハンを行い、現地の環境調査、機材スタッフとのミーティングを実施しました。ベナロヤホールは約530席を有するオーケストラの演奏会等で用いられるリサイタルホールです。上記の写真は、ベナロヤホールにてHoloLens 2やプロジェクター、音響機材など本番同様の環境にてリハーサルを行った際の様子です。これ以降にも日本国内の大型ホールを貸し切り、リハーサルを行い、本番を想定した課題の洗い出しや更なる演出の強化を行いました。

　そして、本番の一週間ほど前から現地シアトル入りし、会場の設営・コンテンツの最終調整を行いました。前例のないイベントの準備ということで、スケジュールは分刻み。小原氏をはじめ関係スタッフ一同、大変な緊張感の中で準備やリハーサルを進めることになりました。本編のHoloLens 2コンテンツで使用する小原氏の作品の３Dモデルのスキャンは、そのようなタイトなスケジュールの合間を縫っての作業となり、失敗が許されないものとなりましたが、皆さんのご協力もあり無事行うことができました。

そして、本番へ

　当日朝まで続いた最終調整を経て、いざ本番の時がやってきました。上演は大きく2つのパートに分かれており、前半のパートでは小原氏が観客の前で花をいけていく”いけばな”ライブパフォーマンス、後半のパートではその組みあがった作品とHoloLens 2を使ったパフォーマンスという流れで行われました。
　本番は会場がほぼ満席の状態で、通信環境などの不安な要素がありましたが、これまでの入念な準備とリハーサルが功を奏し、本番では最も安定した状態で無事に最後まで上演することが出来ました。

プロジェクトを実現させたHoloLensの3つの機能

今回のプロジェクトを実現するための技術要素として、HoloLens 2の持つ以下の3つの機能がキーとなりました。
①Spatial Mapping (空間認識機能)
②Azure Spatial Anchor & Spectator View (空間共有機能)
③ハンドトラッキング機能
これらについて軽くご紹介します。

①Spatial Mapping (空間認識機能)

　今回のイベントでは、作品をスキャニングして制作した仮想オブジェクトを実際の作品に重ね合わせることで、現実の作品に仮想的なアート表現を実現しています。その際に利用したのが、HoloLens 2が持つ空間認識機能です。
　HoloLens 2は、現実空間をリアルタイムで認識しており、その空間がどのような形状をしているのか、自分や仮想オブジェクトが現実空間の中でどこにいるのかを把握することができます。そのため、現実と仮想のオブジェクトを重ね合わせたり、現実のオブジェクトに干渉（花びらが落ちた後の波紋表現など）することができるのです。

②Azure Spatial Anchor & Spectator View (空間共有機能)

　今回はHoloLens 2をかけてパフォーマンスを行っている小原氏の見ている空間を、カメラマンのカメラを通して会場のスクリーンに映し出すというスタイルで行われました。このように、HoloLens 2を装着していなくても、iPhoneなどの他のカメラデバイスを通して、観客視点で空間を共有する機能をSpectator Viewと呼んでいます。
　このSpectator Viewを実現するためには、HoloLens 2が認識している空間をiPhoneの認識している空間を合わせる必要があります。その位置合わせのために利用した機能が、Azure Spatial Anchorになります。
　まず、各デバイス上で認識した空間上にアンカーと呼ばれるオブジェクトを配置します。Azure Spatial Anchorは、これらの空間とアンカーの情報をもとに、空間の位置合わせを行います。この機能により、小原氏の仮想空間で行っているパフォーマンスを、観客の皆様へ共有することができるのです。

③ハンドトラッキング機能

　小原氏が空中に自由に線を描いている場面では、HoloLens 2のハンドトラッキング機能が使われていました。ハンドトラッキング機能では、HoloLens 2のカメラを通して、ユーザーの手の動きや位置を認識することができます。この機能により、今回のように空中に自由に絵を描いたり、空間に表示されているホログラムを掴んで動かしたりなど、様々なアクションをすることが可能になります。

Mixed Realityで実現する未来のアートのかたち

　このように、「IKEBANA x TECHNOLOGY」プロジェクトの裏側では様々な技術が組み合わさり、これらの演出を可能にしました。このような大規模なホールで、数百人の観客を目の前に、リアルタイムに行われるパフォーマンスのコンテンツ制作は初めての試みでしたが、無事終えられる事ができました。

　HoloLens 2の空間認識・共有機能や、ハンドトラッキング機能などを用いれば、今回のような一対多のパフォーマンスだけでなく、視聴者自身がHoloLens 2を装着してインタラクティブな体験をする事も可能です。アールスタジオが過去に手掛けたアート・エンタメ事例も併せてご覧下さい。
Mixed Reality Experience of YARIS WRC
ゴジラ・ナイト
 Mixed Realityオーディオビジュアル・アート

　日本の伝統文化である生け花とのコラボレーションでしたが、このようなアートとテクノロジーの組み合わせはこれまでになかったアートの視聴体験を生み出す事が可能で、今後さらに価値を増していくと考えられます。このようなアートと最新テクノロジーのコラボレーションに興味がある方は、ぜひお問い合わせページより弊社にご連絡ください。お待ちしております。