Мир не плоский
ИИ узнавал мир по плоским фотографиям. Роботу, который тянется к ящику, нужна глубина, а ребенок получает ее от двух глаз и руки.

Шестьдесят три миллиметра. Примерно таково расстояние между зрачками взрослого человека. Из-за этого промежутка каждый глаз получает немного другую картинку, и мозг превращает разницу в восприятие глубины. Фотография сохраняет одну из двух картинок, а другую выбрасывает.
Искусственный интеллект учился видеть по фотографиям. LAION-5B, открытый набор данных для обучения моделей изображений, выпущенный в 2022 году, содержит 5,85 млрд картинок с подписями, и все они плоские. С тех пор отрасль перешла к моделям мира, системам, которые должны понимать физическое пространство достаточно хорошо, чтобы в нем действовать, и кормит их тем же рационом. Она учит машины миру, который они видели только с одним закрытым глазом. А потом удивляется, почему робот неловко возится с ящиком.
Камера устроена как арифмометр. Каждый пиксель суммирует свет, который доходит до него через объектив, и сохраняет яркость. Направление, откуда пришел каждый луч, в этот момент теряется, а вместе с ним и геометрия сцены. Игрушечная машинка у самого объектива и настоящая машина на другой стороне улицы могут попасть на одни и те же пиксели.
Световое поле сохраняет и направление. В 1996 году Марк Левой и Пэт Хэнрахан из Стэнфорда определили его как «энергетическую яркость в точке в заданном направлении». Запишите, насколько ярок свет и откуда он идет, и изображение сохранит глубину.
Я пришел к световым полям от исследований того, как два глаза создают глубину. Мне нужны были изображения, которые ее сохраняют. У потребительского рынка были другие планы. Lytro, основанная в 2006 году, продавала камеру светового поля, коронным номером которой была перефокусировка снимка уже после съемки, и закрылась в 2018 году. С технологией все было в порядке. Не тот был покупатель. Людям с двумя глазами не нужна камера, чтобы узнать, где находятся вещи. Машине нужна.

Восприятию глубины нужна рука
В августе 2025 года Google DeepMind представила Genie 3 как универсальную модель мира и заявила, что она может дать роботам огромное пространство для тренировки. Свои миры она отрисовывает в 720p с частотой 24 кадра в секунду. Что бы модель ни знала внутри, показывает она плоскую движущуюся картинку. Когда камера движется, в видео действительно появляется вторая точка зрения, но никто не записал, куда камера двигалась, так что и это приходится угадывать.
Решающий эксперимент психология провела в 1963 году. Ричард Хелд и Алан Хейн посадили десять пар котят в карусель. Один котенок из каждой пары ходил сам, а другой ехал в гондоле, которую тянул первый, так что оба видели одни и те же полосатые стены по три часа в день. Ходившие котята научились ставить лапы по зрению и каждый раз выбирали мелкую сторону зрительного обрыва. Ездившие видели ровно то же самое, и толку от этого было мало.
Судя по этому, зрение требует действия, а наблюдение со стороны плохо его заменяет. Ребенок получает полный комплект бесплатно: две точки зрения и руку. Глаза говорят руке, куда двигаться, а рука говорит глазам, правы ли они были. Производители роботов это знают и прикручивают к своим машинам датчики глубины. А модели, которые должны давать понимание, все равно выросли на плоских картинках.
Глубина по одному снимку
Часть недостающего измерения программы могут вычислить обратно. Монокулярная оценка глубины стала очень хорошей. Depth Anything V2, опубликованная в 2024 году, строит убедительную карту глубины по одному изображению, а Depth Pro от Apple выдает такую карту с абсолютными расстояниями за 0,3 секунды. Если бы модели хватало одного глаза, плоский архив не был бы помехой.

Посмотрите, как эти модели учили. Depth Anything V2 училась на 595 000 синтетических изображений, отрисованных из трехмерных сцен, где глубина каждого пикселя известна, а затем ее модель-учитель разметила для моделей-учеников 62 млн реальных фотографий. Третье измерение все время было рядом. Кому-то пришлось его предоставить.
Сама модель добавляет память. Одно изображение геометрически неоднозначно, поэтому модель заполняет пробел тем, какие размеры обычно бывают у дверей и стульев. Это работает для вещей, которые она уже встречала, и для картинок, сделанных для того, чтобы на них смотрели. Фотография коридора, приколотая к стене, посылает одному неподвижному глазу ту же картинку, что и сам коридор. Человек с одним глазом решает вопрос, двигая головой и протягивая руку.
Работа робота происходит в последних нескольких сантиметрах, где ручка выступает над фасадом ящика и пальцы должны на ней сомкнуться. Догадка, из которой выходит красивая карта глубины, там плохо помогает. Котята-пассажиры Хелда и Хейна видели каждую полоску, которую видели ходившие. На зрительном обрыве они не могли отличить глубокую сторону от мелкой.
Rea Stark, промышленный дизайнер и основатель компаний, живет и работает в Цюрихе. Он создавал дизайн для Sony и Nespresso, стал сооснователем Piëch Automotive и Archaí Physics и занимается тем, как машины воспринимают физический мир и обращаются с ним. О Rea Stark
Изображения к этому эссе созданы с помощью ИИ.