Rea Stark
ZH

文章

最稀缺的数据里有两个人

作者:,,更新于

数据决定谁能在机器人和物理AI上胜出。最值钱的那种,从各个角度拍下人们一起干活。这种数据几乎不存在。

一只戴手套的手捏着裁缝剪的刀刃,把手转向从工作台对面伸过来的另一只手

把一把剪刀递给别人。你会不假思索地让把手朝向对方。你还没转完,对方已经开始伸手,你感觉到对方握住的那一刻就松开。谁都没说话。这次交接大约用了一秒,可对机器人来说,它依然很难。

机器学的是人们给它看的东西,而几乎没人给它看过这个。人工智能公司如今为数据花上数十亿美元,数据越精确,出价越高。最值钱的那种,里面不止一个人,而且是从各个角度拍的。就实际而言,这种数据还不存在。

钱说明了什么

2025年6月,Meta花143亿美元买下Scale AI公司49%的股份。Scale不造芯片,也没有什么出名的模型。它做的是整理训练数据。

2026年3月,在Meta领导人工智能研究十多年的杨立昆,为他的新公司AMI Labs融资10.3亿美元。这是欧洲有史以来最大的一轮种子融资,投前估值35亿美元,投资方包括Nvidia、Samsung和杰夫·贝佐斯的基金。AMI做的是世界模型,这类系统通过摄像头和其他传感器学习物理世界如何运作,并据此规划下一步做什么。语言不是起点。

杨立昆喜欢用一道算术来论证。互联网上全部的公开文本,也就是大语言模型的食粮,加起来约有100万亿字节。一个四岁的孩子醒着的时间约有1.6万小时,在这段时间里,经由眼睛进入大脑的数据量也差不多。孩子还学到了任何一页纸都没写的东西,比如一松手,杯子就会掉下去。

体力劳动没有类似互联网的东西,这个行业正试图硬生生地造一个出来。2023年,Google DeepMind和合作伙伴共21家机构,把60个数据集汇集成Open X-Embodiment,其中收录了22种机器人的100多万条动作记录。

2025年11月,初创公司Generalist AI说,它的模型GEN-0用27万小时的真实操作数据训练而成,这些数据采集自家庭、仓库和各种工作场所,每周还在增加1万小时。制造人形机器人的Figure,与旗下有10万多套住宅的地产集团Brookfield签约,拍摄这些住宅里的日常生活。随后,它的机器人仅凭人类视频,就学会了在杂乱的房间里找路。他们都在押注:模型一年就能重建,好的记录却不能。

空无一人的专业厨房里,两条围裙并排挂着

更丰富,胜过更多

小时数是个粗糙的尺度。一段视频拍到一只手握住杯子。它拍不到手用了多大力,杯子有多重,那一声表示盖子已经盖好的咔嗒,也拍不到半秒钟前眼睛看向了哪里。其中每一样都是一个单独的通道,一个同时得到所有通道的模型,学到的东西是再多普通视频也教不会的。

Meta很早就明白了这一点。它与15所大学合作建立的Ego-Exo4D数据集,记录了800多位有专长的人,其中有厨师、攀岩者、舞者和自行车修理工。每个人都戴着摄像眼镜,外面还有别的摄像机在拍,眼镜另外采集七通道声音、运动传感器数据、眼动追踪和房间的三维地图。总共近1300小时。这个数字不大,可其中每一小时说出的东西,都远多于一小时普通视频。

设计师从图纸上就懂这个道理。标了尺寸的草图能照着造出来。没标尺寸的漂亮效果图不能。我宁要十个精确的小时,不要一千个粗疏的小时。

一双眼睛不等于一个房间

这些数据几乎都有同一个局限:只拍了一个人。摄像头装在一个人头上,看着一双手。就连Ego-Exo4D,大多也是一次只跟拍一位专家。

真正的工作很少是一个人完成的。两个护士给病人翻身。一个厨师装盘,另一个在出菜口喊单。两个安装工抬着一扇窗户上楼梯。让这些事做成的东西,不在任何一个人的视野里。任何一个人头上的摄像头都只录下一半,漏掉了那个示意对方稍等的眼神或半步。信号在两人之间发生的事情里:谁看,谁等,谁让,以及什么时候。

两个工人的背影,在一条窄巷里合力抬着一块玻璃

要学会这些,机器需要同时拿到两个视角,对齐到同一瞬间,再加上周围的房间。机器人是要在家庭、医院和作坊里和人并肩工作的。在那些地方,它永远不会独处,所以它得知道什么时候等,什么时候松手。

这样的东西录下来的极少。2023年,Microsoft发布了HoloAssist:166小时的录像,一个人做任务,另一个人指导。第二个人在远程,通过第一个人的头显观看。2026年7月,来自苏黎世联邦理工学院、Microsoft、马克斯·普朗克信息学研究所和慕尼黑工业大学的研究人员发布了CoMind。两人一组在真实的厨房里一起做饭。每人戴一副摄像眼镜,另有两台摄像机拍摄房间,视线、双手和话语全都被记录下来。作者指出,单人视角的数据集很多,关注人们协作的很少,而且大多把主要执行者孤立起来看。他们自己的数据集涵盖80段录像、41小时。

41小时。拿它和一家初创公司收集的27万小时操作数据比一比。比例超过6500比1。

谁来拍

这个缺口不可能在数据中心里补上。它需要人们一起工作、并同意被记录的房间,需要专门挑选的传感器,需要每一路数据都对准同一个时钟。这件事慢,而且是实打实的物理活,所以缺口至今还在。我创立了OptAI,一家苏黎世的人工智能公司,有自己的世界模型实验室。没有哪个模型,包括我们自己的,能补上记录里缺失的东西。

第一台像同事那样从你手里接过剪刀的机器人,一定是从两个人做这件事的录像里学会的,而且是在同一时刻从两边拍下的。

Rea Stark是苏黎世的工业设计师和创业者。他为Sony和Nespresso做过设计,联合创立了Piëch Automotive和Archaí Physics,研究机器如何感知和操作物理世界。

本文图片由人工智能生成。