世界は平らではない
AIは平らな写真から世界を学んだ。引き出しに手を伸ばすロボットには奥行きが要る。子どもはそれを、二つの目と手から得る。

63ミリ。大人の左右の瞳孔は、それくらい離れている。この隔たりのおかげで、左右の目はわずかに違う像を受け取り、脳はその差を奥行きの知覚に変える。写真は二つの像のうち一つを残し、もう一つを捨てる。
人工知能は写真から見ることを学んだ。画像モデルの訓練用に2022年に公開されたオープンデータセットLAION-5Bには、キャプション付きの画像が58億5000万枚収められていて、そのどれもが平らだ。業界はその後、世界モデル、つまり物理的な空間をその中で行動できるほどに把握するためのシステムへと進んだが、与えている餌は同じだ。片目をつぶってしか見たことのない世界について、機械に教えている。そのうえで、ロボットがなぜ引き出しにもたつくのかと首をかしげている。
カメラは足し算の機械だ。各画素は、レンズを通って届いた光を合計し、明るさとして記録する。それぞれの光線がどの方向から来たかはその瞬間に失われ、場面の幾何も一緒に消える。レンズのすぐ近くにあるおもちゃの車と、通りの向こうの本物の車が、同じ画素に写ることもある。
ライトフィールドは方向も残す。1996年、スタンフォード大学のマーク・レヴォイとパット・ハンラハンは、これを「ある点における、ある方向の放射輝度」と定義した。光がどれほど明るいかと、どこから来るかを記録すれば、画像は奥行きを失わない。
私がライトフィールドにたどり着いたのは、二つの目がどうやって奥行きをつくるのかという研究からだった。奥行きを残す画像がほしかった。消費者市場の考えは違った。2006年創業のLytroは、撮ったあとでピントを合わせ直せるという芸当を売りにしたライトフィールドカメラを販売し、2018年に事業を閉じた。技術に問題はなかった。客を間違えたのだ。目が二つある人間は、ものがどこにあるかをカメラに教えてもらう必要がない。機械には必要だ。

奥行きの知覚には手が要る
Google DeepMindは2025年8月、Genie 3を汎用の世界モデルとして発表し、ロボットに広大な訓練の場を与えられると述べた。Genie 3は世界を720p、毎秒24フレームで描き出す。モデルが内部で何を知っていようと、見せているのは動く平らな絵だ。カメラが移動すれば、動画にも二つ目の視点が含まれる。だが、カメラがどこを通ったかは誰も書き留めていないので、それも推測するしかない。
1963年、心理学は決定的な実験を行った。リチャード・ヘルドとアラン・ハインは、子猫10組を回転装置に入れた。各組の1匹は歩き、もう1匹は最初の1匹が引くゴンドラに乗った。どちらも1日3時間、同じ縞模様の壁を見た。歩いた子猫は目で見て足を置くことを覚え、視覚的断崖では毎回浅い側を選んだ。ゴンドラの子猫は、歩いた子猫とまったく同じものを見ていたが、それはほとんど役に立たなかった。
この結果からすれば、見ることは動物が行う行為であり、眺めることはその貧しい代用品にすぎない。子どもはひと揃いの道具をただで手に入れる。二つの視点と、手だ。目は手にどこへ行けばいいかを教え、手は目に、それが正しかったかどうかを教える。ロボットメーカーはこれを知っていて、機械に深度センサーを取り付ける。それでも、理解を担うはずのモデルは平らな絵で育てられた。
1枚の画像から奥行きを
ソフトウェアは、失われた次元の一部を計算で取り戻せる。単眼深度推定は非常に優秀になった。2024年に発表されたDepth Anything V2は、1枚の画像から説得力のある深度マップを描き、AppleのDepth Proは絶対距離つきの深度マップを0.3秒で返す。もしモデルにとって片目で足りるなら、平らなアーカイブはハンディキャップにならない。

そうしたモデルがどう教えられたかを見てほしい。Depth Anything V2は59万5000枚の合成画像から学んだ。すべての画素の奥行きがわかっている3次元のシーンからレンダリングした画像だ。その後、教師モデルが6200万枚の実写写真にラベルを付け、生徒モデルに渡した。第3の次元は、最初からずっとその場にあった。誰かがそれを用意しなければならなかったのだ。
モデルが自分で付け加えるのは記憶だ。1枚の画像は幾何学的にあいまいなので、モデルはドアや椅子がふつうどれくらいの大きさかという知識で隙間を埋める。それは、以前に出会ったことのあるものや、見られるために撮られた写真ならうまくいく。壁に貼った廊下の写真は、動かない片目に、本物の廊下と同じ像を送る。片目の人は、頭を動かし、手を伸ばして決着をつける。
ロボットの仕事は最後の数センチで起きる。取っ手が引き出しの前板から出っ張っていて、指がそれをつかまなければならない場所だ。見事な深度マップを描く推測も、そこでは頼りにならない。ヘルドとハインのゴンドラの子猫は、歩いた子猫が見た縞を一本残らず見ていた。それでも視覚的断崖では、深い側と浅い側の区別がつかなかった。
Rea Starkはチューリッヒを拠点とするインダストリアルデザイナーであり、起業家である。SonyやNespressoのデザインを手がけ、Piëch AutomotiveとArchaí Physicsを共同創業した。機械が物理的な世界をどう知覚し、どう扱うかに取り組んでいる。Rea Starkに
このエッセイの画像はAIで生成したものです。