WITH

ホリエモンが聞く。現代の魔法使い、落合陽一の目指す未来とは。その2

堀江貴文 落合陽一 ホリエモンWITH

魔法使いと8ディメンションディスプレイ

落合 あと、3Dの次の候補として「8ディメンションリフレクションディスプレイ」があります。反射ってモデル化すると8次元分あるんですが、このすべての反射を再現して、視点や光源を変えたら反射光沢とかが動くようなディスプレイが作れるようになります。三次元で立体を見ていただけでなく、その質感や視点位置も変えられるようになる。

堀江 え!? 8次元になるっていうのは?

落合 窓から外の世界を覗いている状態になります。窓の中に自分がいる側の世界から光が入って、そして出てくる。自分の体を動かしたり、光源の位置を変えたりしてもそれに追従してデジタルの窓の向こう側の世界が変化する。ある3次元上にある一つの窓から出てくる光の情報(光線情報)は4次元分なんです。それが、窓の向こうから見ている側に出てくる分(ディスプレイとして出力される出力光)で4次元分、見ている側から窓に入っていく光(こちらから当てる入力光)で4次元分あわせて、8次元分の光記述ができると、それは本当の窓になるんです。覗きこんだら向こうの方まで見えるようになるんですね。こっちから光を入れたら、もちろん窓の向こうの水や金属が煌めいたりする。もちろん質感が変わる。

堀江 それ、早く実現して欲しいですね。そういうことができることはわかっているんですよね?

落合 はい。僕らを含め、今でも研究してるチームがあります。たぶん、あと10年くらいすると8次元ディスプレイとか、モバイルでもでき始めるんじゃないかなと。iPhoneが8ディメンションになったら、画面を覗くと向こうの様子が綺麗に見えるわけですからね。

堀江 俺、ディスプレイに投資したいな(笑)。

落合 お願いします(笑)。お金があれば光を特定の方向に跳ね返すレンズアレイシートと、それに対応した細かい専用液晶と入力される光を捉えるセンサーアレイを作って、モバイルの8次元ディスプレイが作れますよ。たとえば、光を捉えるといえば最近人気のRICOHの『THETA』ってカメラがあるんですが、それは360度の方向を写せるんです。一見、そこにある全ての光を捉えているように見えますが、でも、実はそれでも材質感には足りないんです。360度から入ってくる光と、そのすべての方向に対してもう一回空間の全座標で撮ると、初めてこの世界にある光を記述できるんです。

堀江貴文 落合陽一 ホリエモンWITH

堀江 へぇ。

落合 この辺、ライトフィールドカメラっていう研究分野がありまして、要は、3次元空間にある任意の「枠」を通過する全部の光を記述することができれば、この場に降り注いでいる光を全部記述できるってことなんです。例えば、あとで焦点が変えられるカメラとして知られてますし、最近試験的なプロダクトも出ていますよね。

堀江 それが、リアルタイムにできればいいですよね。

落合 それ、やりたいですね。天井にカメラをびっしり並べれば、僕らがしゃべっている実際のこの空間にあたかも居るように見せることもできます。大量のレンズアレイとカメラアレイを使って、光線をどうやって復元するかっているのがひとつのキーワードなんですけどね。

堀江 レンズアレイの一番理想的な形ってどういうものですか?

落合 結構難しいんですけど、カメラのレンズの死角になる部分をうまく補完してあげていれば良いんですよ。視覚が少なく全方位をきちんと覆ってくれるものがいい。

堀江 なるほどね。

落合 光線方向は再現できる。あとは、エンジニアチームがある程度いれば、それを復元するようなアルゴリズムはできるので、その情報を圧縮してやればWebで公開できるし、いろんな所を歩きまわれるみたいなことができるようになります。

堀江 レンズアレイって、球面型にするのはいいんですけど、それをどういうふうに配置するんですか?

落合 直感的にはミラーボールみたいな状態にしておくのが一番かと思いますね。一つの玉でかなり多くの光線情報を取得できる。死角が少ない。そして、それをある程度空間位置とマッピングしておけば、その部屋の様子を覗けるようになるわけですよ。

堀江 球面のレンズアレイっていうのは、今の技術でも作れるんですか。

落合 できます。あとは大きさの進歩かなぁ。

堀江 再生するのも大変そうですよね。

落合 ですね。再生機器は問題です。でも、iPadが8Kくらいの解像度になる未来って、簡単に想像できますよね。4Kの2倍くらいのiPadがあれば、ちっちゃいレンズがすべての方向の光を計算して、跳ね返すことで作れるはず。そうすると手持ちで光線情報を再生する窓が出来る。だから、あと10年くらいかなぁと思っています。

堀江 8Kにならないとだめなんですか?

落合 そうですね。簡単に言うと、集積度がすごい細かいピクセルがあって、その表面に球面レンズがついていれば良いんですよ。細かいんですけど、見てる方向によって違う。「レンチキュラーシート」(見る角度を変えると絵柄が変わるシート。子供向けの定規や下敷きなどによく使われている)ってあるじゃないですか。簡単にいうとあれと同じ原理なんですが、縦横方向に奥に描いてある絵がめちゃくちゃ細かいと、視点を動かした方向の映像をプログラムできるんです。なので超高精細の液晶が1枚と、それに対する超高精細なレンズアレイがあると、技術的には実現が可能なんですね。

堀江 それだと、シャボン玉じゃなくてもできる?

落合 できますね。シャボン玉はそもそも質感再現でも物理的に特性をそろえてしまおうという方向で研究していました。こちらのレンズアレイ系では今、世の中で広く使われているテクノロジーの延長です。今、研究しているんですが、光の指向性をうまく作ってあげてから、さらに色を混ぜていくという質感を表現するアルゴリズムがあるんです。その記述方法は原理的にはもうできているので、その手法を使えばできるはずなんです。アルミに見える携帯、もしくは窓になるiPadとかでもいいんですけど、それは多分実現可能ですし、今はその研究が面白くてしょうがないですね。

堀江 そういうのを作るためのアルゴリズムを作っていると。

落合 そうですね。

堀江 それはソフトウェアで?

落合 今はソフトウェアと”むりくり強引なハードウェア”、シャボン玉とかコマとか鏡ですね。予算規模100万円以下で作れる最小なものとするとその辺で。

堀江 すごい微細なレンズアレイシートを作ってやってみたら、今のRetinaディスプレイとかでもいけるんですか?

落合 今のRetinaは縦が960ピクセルくらいだから、かなり小さい画像表示になっちゃうんですよ。視点方向を分割するだけ解像度が下がっていくので。両眼に違う映像を出すくらいなら十分な解像度ですが、ある程度自由視点となると縦100ピクセルくらいじゃないでしょうか?

堀江貴文 落合陽一 ホリエモンWITH

堀江 100ピクセルとかだとキツイですね。

落合 4倍くらいあれば、昔のiPhone 3GSと同じくらいになるんですよね。4倍というと、ちょうど4Kの解像度のスマホができる感じですね。だから、5年か 10年後、それが登場した時に「質感変わるんだよ。俺の携帯」って話をしているんじゃないかと。今iPadの壁紙とかって傾けるとちょっと動きますよね。その感じに質感が変わっているんじゃないかと思います。たとえば、ディスプレイの縦横が2倍ずつ進化して、4倍になった瞬間に今の研究が3Dプリンターみたいに突然ブレイクするみたいになるのではないかなと思っています。

堀江 それをターゲットにして、何ができるかですね。

落合 レンズアレイシートは、結構昔からやっているんですけど、レンズも液晶もどっちの高解像度化もあまり追いつかないんですよね。あと、4Kディスプレイって結構出始めてますけどまだデカイ。あれが小さくなり始めた時に、質感へのブレークスルーが起こると思っていて、それに向けては研究していますね。

堀江 その質感を出すためのソフトウェアですか?

落合 ソフトウェアだったり、方式だったり。例えば、僕が「ドラえもん」で一番魔法的だなと思うのは、眼鏡をかけて3Dが見えた瞬間とかじゃなくて、何らかの物体がトランスフォームした瞬間なんですよ。ドラえもんが何かをして、パーンって「つるつるの机が毛皮になった!」とか「水が布になった!」とか、物理的に絶対に起こりえないので不思議な感じがあるんです。だから質感が変わると情報量的にも解像度的にもそういう魔法的な感じになると思いますね。

堀江 でも、実際にこれが有機ELかなんかでできたディスプレイだったりすると可能ですよね。

落合 そうですね。日常まわりにある様々なものがそういう素材で出来ていればトランスフォームする。でも、今あるサイネージや液晶のように色しか変わらないと、やはり変わった感じはしないと思うんですよ、表示だなって思うはずです。でもそこに光線の広がり方っていうのを再現すると、「あ、魔法っぽい!」って感じになってくると思うんですね。

堀江 消えたりするかもしれないですよね。

落合 そうですね。消えたりするかもしれないですね。というか、きっと消えますね。

堀江 ここにカメラとかがあって、それを実現したら消えますよね。

落合 ある空間に完全な光の窓を用意してやればその背後は消えます。そうすると、未来の素材はアクティベート可能な表面素材とかになっているべきですね。電圧をかけたら、ある一定の光を跳ね返す素材になって消えるみたいに。じゃあ、どうやって物体の表面の光を曲げるかっていうのがひとつのポイントになりますけど。でも、例えば、さっき話してたシャボン膜って高速で波打っているので、投影映像がまざることなく表示できる。つまりこちらから見た時と、向こう側から見た時の映像を変えられるんですね。とすると、反対側から見たら映像が写っていないわけで。ある瞬間は透明にも見える。そんな感じにを動的に微細加工してやれば、表面に一見すると何も映らないものっていうのもできるんじゃないかと思います。そのあたりの研究はやっていて面白いです。物理世界と情報世界の橋を渡しているようなそんな気分です、常にわくわくしながら楽しんでやっています。