読者です 読者をやめる 読者になる 読者になる

littlewing

人間とコンピューターとメディアの接点をデザインするために考えたこと

【技術解説】チームラボ 踊る!アート展と、学ぶ!未来の遊園地@日本科学未来館に行ってきました。

センシング/NUI 行ってよかった

大人気で期間延長の『チームラボ 踊る!アート展と、学ぶ!未来の遊園地』に4月上旬に行ってきました。

kids.team-lab.com

技術的には同じようなものを開発しており、イメージはつくのですが、 あれほど大規模に実施した場合、どうしているのか?機材の数は?などエンジニア目線でどのような技術で実現されているのか、 とても気になったのでその内容を紹介したいと思います。

純粋に内容を楽しみたい方には不要な情報が多いので、エンジニアの方以外は見ないほうが良いかと思います。 感動が減ってしまうと思います。 特に彼女や家族といって、ウンチクを語るのは絶対にやめましょう。

(正式にインタビューしたり取材したわけでもないので、勘違いもたぶんあるかと)

入り口

f:id:pigshape:20150403151134j:plain

平日で空いていると思っていたのですが、会場は春休みということもあって子供たちでいっぱい。 ただ、入り口は行列で待つこともなくサクッと入ることが出来ました。

ただ3月から公開の新作が別のフロアで展示されていたのですがそちらは50分待ちで見ることができませんでした。残念

館内はフラッシュ禁止でカメラ撮影はOKとなっています。

入り口にはふなっしーのフォトブースも

入り口の横には記念撮影や、Facebookでシェアできるチームラボカメラという撮影ブースが4列ほどありました。

こんな画面をKinect風に手のジェスチャーで操作します。 f:id:pigshape:20150403151422j:plain

横の説明パネル f:id:pigshape:20150403151441j:plain

機材部分の拡大 f:id:pigshape:20150403151512j:plain メガネをすると顔認識の精度が落ちるのかも知れません。

液晶ディスプレイ上部には 3Dカメラとキャノンの一眼レフカメラ、照明用ライトが設置されています。

  • 3Dカメラはジェスチャー認識と人体検知
  • 一眼レフは撮影用
  • 照明用ライトは3Dセンサーの精度を上げるための赤外線投光かと思います。(たぶん)

3DカメラはKinectではなくて、RealSenseカメラを利用している模様

Intel®RealSense™ Developer Kit featuring SR300 - Intel® RealSense™ Developer Kits

チームラボ公開のチームラボカメラの動画 youtu.be

『Nirvana』

Nirvanaは8Kの解像度(Full HD8枚分)で伊藤若冲の世界観を表現した映像作品。

Nirvana | teamLab / チームラボ

複数台(数えなかったのですが、やっぱり8台でしょうか)のプロジェクターを利用して美麗な映像表現がされており、 また、スクリーンにタッチすると、マス目状のパーティクルエフェクトが発生します。

また、タッチ検出にはスキャナ式レンジセンサが使われているようです。(細かい型番まではわからず)

↓拡大写真。わからないですよね・・ f:id:pigshape:20150407091757j:plain

スキャナ式レンジセンサ(測域センサ) UST-10LX

スキャナ式レンジセンサ(測域センサ) UST-10LX

北陽電機株式会社

レンジスキャナは以下図のように、広範囲にわたりセンシングが可能です。 個人的には、赤外線カメラを利用していると予想していたので、以外でした。 レンジスキャナは触ったことがないのですが、カメラによる測定では不可能な180度以上の広角な範囲にも利用できるので便利ですね。 使って見たい。 http://web.nagao.nuie.nagoya-u.ac.jp/papers/figs/thesis_ozaki09_Rangesensor.PNG

引用:個人用知的移動体による移動障害物回避に関する研究

千葉大学工学研究科の公開している以下の動画もわかりやすいと思います。

youtu.be

Connecting! Block Trains /つながる!積み木列車

テーブルにプロジェクターから地面が投影されており、テーブルの上に積み木を置くと、その位置の地形が変化し、 道路などが現れて、クルマや電車が走ってきます。

機材的にはKinect V2とプロジェクターの構成で、テーブルの広さをカバーするために、複数のセットが設置されていました。(3or4セット?) f:id:pigshape:20150406181400p:plain ↑こんな感じです。わかりますでしょうか? プロジェクターとKinectV2はくっつけずに、等間隔で設置されていました。言いたいのはそこです。

またテーブル上の映像は真上から見た視点の平面的な映像なのですが、横の壁面に設置してあるディスプレーにはリアルタイムかつ立体的な映像でカメラ移動のあるアニメーションが表示されていました。

『世界はこんなにもやさしく、うつくしい』

漢字などにタッチすると、アニメーションが変化します。

こちらも天井吊りのプロジェクター1台と、レンジスキャナ1台での構成。

レンジスキャナはスクリーン最上部中央のヘリにひとつだけ設置されていて 1台でこんなに広範囲をカバーできるのが驚きでした。 f:id:pigshape:20150406184726p:plain

ただ、やっぱり隅っこの方は、タッチ位置とパーティクルの位置が少しずれています。 けど、そんなことは誰も気にしません。子供たちも大はしゃぎ!

小人が住まうテーブル

円形のテーブルにプロジェクタ1台とKinectV2 1台でのセンシング

KinectV2はテーブル中央に、地上から2メートル程度の高さに設置され、 プロジェクターはテーブルの縁あたりに同じ高さで設置されています。

f:id:pigshape:20150407092953j:plain f:id:pigshape:20150406185415p:plain

ここで使われていたプロジェクターはBenQのもので、すごく一般的なものにも見えました。確証はないですが・・

BenQ DLPプロジェクター スタンダードモデル (3200lm/HDMI搭載/WXGA) MW526

BenQ DLPプロジェクター スタンダードモデル (3200lm/HDMI搭載/WXGA) MW526

Hopscotch for Geniuses/天才ケンケンパ

www.youtube.com

天才ケンケンパは足元にレンジスキャナ2台とプロジェクター4台の構成 プロジェクターは天井釣りではなく、横の壁面に埋め込む形で設置されていました。 また光源が目に入らないように、上側が布で目隠しされている状態。

上の映像でも地面着地時には横に長い影が伸び、ジャンプすると影が消えるのがわかると思います。

技術的には↓のあたりも参考になるのではと思います。

筑波大学大学院博士課程 システム情報工学研究科修士論文 フットワークインタラクションのための測域センサによる足の位置・動作の認識手法 http://www.iplab.cs.tsukuba.ac.jp/paper/master/shige_master.pdf

  • 15/9/1追加

Sketch Aquarium / お絵かき水族館


Sketch Aquarium / お絵かき水族館 - YouTube

ぬりえのスキャナーはScanSnapが利用されていました。 f:id:pigshape:20150407092957j:plain

この作品はセンサーはなくタッチ反応しないそうです。

まとめ

展示形状にあわせた最適な機器選択

  • テーブル型のインタラクションはkinect v2を利用
  • 壁面型のインタラクションはレンジセンサー と使い分けをしていました。

また、厳密な部分では認識精度や投影範囲の誤差などが多少あっても 利用する側はストレスなく、楽しんでいます。 そのあたりのバランスの調整も絶妙です。

デジタルアートならではのポータビリティーの確保

ほとんどの作品がプロジェクターでの投影となっており、会場の環境に依存しにくい構成になっているのも印象的でした。

実際、現在も日本中で同時に展示がされています。複製のしやすさや機動性も大事な要素となります。 デジタルのメリットをしっかり生かした作品ばかりでした。

ただし、会場は暗い

プロジェクターでの投影やディスプレイを前提にしているのでやむを得ないのですが、 会場全体はとても暗いです。塗り絵ブースなどはLEDのデスクライトがたくさん設置されています。

子供向けのイベントとしてはちょっと暗すぎるかなとも思います。 明るい環境でこのようなインタラクションができないかということも考えて見たいと思いました。

やっぱりチームラボすごい

技術的な面のみで見れば、同じようなことが出来てしまうつもりになりそうですが、 やはり、作品自体の構成力、アート的なコンテキスト、みんなが楽しめるインターフェース、プロデュース力など 全方位にわたって隅々まで考慮されています。 スペシャリスト集団・チームだからここまでできるんだなと思い知らされました。

帰りのお土産コーナーで「チームラボ」グッズが売っているのですが、 子供たちが「チームラボ」のロゴキーホルダーが欲しいと親にねだっているのも印象的でした。

AppleでもGoogleでも、楽天でも子供がロゴ入りのキーホルダー欲しがることってないですよね。 (楽天は野球関連であるかもしれない)

おまけ。ASIMOがカワイイ

日本科学未来館にちょうどASIMOが来ていました。思ったより足速い。