Rea Stark
ZH

文章

世界不是平的

作者:,,更新于

人工智能是从平面照片里认识世界的。伸手拉抽屉的机器人需要深度,而孩子靠两只眼睛和一只手就能得到。

木地板上,一个小孩的双手抓着一只木球

63毫米。这大约是成年人两个瞳孔之间的距离。因为这段间隔,两只眼睛各自接收到略有不同的画面,大脑把这点差异变成深度知觉。一张照片只留下其中一个画面,把另一个扔掉了。

人工智能是从照片里学会看的。LAION-5B是2022年发布、用来训练图像模型的开放数据集,收录了58.5亿张带文字说明的图片,每一张都是平的。此后,这个行业转向了世界模型,也就是要把物理空间理解到足以在其中行动的系统,喂给它们的却还是同样的食物。它在教机器认识一个它们始终只闭着一只眼看过的世界。然后又纳闷,机器人为什么连个抽屉都拉不好。

相机是一台加法机。每个像素把穿过镜头落到它上面的光加起来,存成一个亮度值。每条光线来自哪个方向,就在那一刻丢失了,场景的几何也随之丢失。镜头跟前的一辆玩具车,和街对面的一辆真车,可以落在同样的像素上。

光场连方向也保留了下来。1996年,斯坦福大学的马克·勒沃伊和帕特·汉拉汉把它定义为“某一点在给定方向上的辐射亮度”。记下光有多亮、从哪里来,图像就保留了深度。

我是从研究两只眼睛如何产生深度,走到光场上来的。我想要能保留深度的图像。消费市场另有打算。2006年成立的Lytro卖过一款光场相机,招牌把戏是拍完照片后再重新对焦,公司在2018年关门。技术没问题,客户找错了。长着两只眼睛的人,不需要相机告诉他们东西在哪儿。机器需要。

老实验室里的长桌上,格子布上盖着一块玻璃板,下方是格子地面

深度知觉需要一只手

2025年8月,Google DeepMind推出Genie 3,称之为通用世界模型,并说它能给机器人提供一个广阔的训练空间。它以720p、每秒24帧渲染出它的世界。不管模型内部知道什么,它展示的都是一张会动的平面图。只要摄像机在移动,视频确实包含第二个视角,但没人记下摄像机去了哪里,所以这一点也得靠猜。

心理学在1963年做过决定性的实验。理查德·赫尔德和艾伦·海恩把十对小猫放进一个旋转装置里。每对中一只自己走,另一只坐在由前一只拉着的吊篮里,于是两只每天在同样的三个小时里看到同样的条纹墙壁。走路的小猫学会了凭视觉落爪,在视崖上每次都选浅的一侧。坐车的小猫看到的和走路的一模一样,却没得到多少好处。

由此看来,看是动物主动去做的事,旁观是蹩脚的替代品。孩子免费得到整套装备:两个视角,加一只手。眼睛告诉手往哪里去,手告诉眼睛它们对不对。机器人制造商懂这个道理,给机器装上了深度传感器。可本该提供理解的那些模型,仍然是吃平面图长大的。

从一张图里求深度

软件能把缺失的那一维算回来一部分。单目深度估计已经做得很好。2024年发表的Depth Anything V2,能从单张图像画出一张令人信服的深度图,Apple的Depth Pro在0.3秒内就能给出带绝对距离的深度图。如果一只眼睛对模型来说就够了,这批平面档案就算不上缺陷。

窗台上一副旧双筒望远镜

看看这些模型是怎么教出来的。Depth Anything V2先从59.5万张合成图像里学习,这些图像由三维场景渲染而成,每个像素的深度都是已知的,然后它的教师模型再为学生模型标注了6200万张真实照片。第三维自始至终都在场。总得有人把它提供出来。

模型自己添上的,是记忆。从几何上说,单张图像是有歧义的,所以模型用门和椅子通常的尺寸来填补空缺。对它见过的东西、对本来就是给人看的图片,这招管用。一张钉在墙上的走廊照片,送进一只固定不动的眼睛里的画面,和真走廊一模一样。只有一只眼睛的人,靠移动头部、伸出手来解决这个问题。

机器人的工作发生在最后那几厘米里,在那里,把手从抽屉面板上凸出来,手指得合拢把它握住。一个能画出漂亮深度图的猜测,到了那里就靠不住了。赫尔德和海恩的坐车小猫,看到了走路小猫看到的每一道条纹。可到了视崖上,它们分不清深的一侧和浅的一侧。

Rea Stark是苏黎世的工业设计师和创业者。他为Sony和Nespresso做过设计,联合创立了Piëch Automotive和Archaí Physics,研究机器如何感知和操作物理世界。

本文图片由人工智能生成。