Rea Stark
DE

Texte

Die Welt ist nicht flach

Von , , aktualisiert am

KI hat die Welt aus flachen Fotos gelernt. Ein Roboter, der nach einer Schublade greift, braucht Tiefe. Ein Kind bekommt sie von zwei Augen und einer Hand.

Die Hände eines kleinen Kindes umfassen eine Holzkugel auf einem Holzboden

Dreiundsechzig Millimeter. So weit liegen die Pupillen eines Erwachsenen etwa auseinander. Wegen dieses Abstands empfängt jedes Auge ein leicht anderes Bild, und das Gehirn macht aus dem Unterschied Tiefenwahrnehmung. Ein Foto behält eines der beiden Bilder und wirft das andere weg.

Künstliche Intelligenz hat an Fotos sehen gelernt. LAION-5B, ein offener Datensatz, der 2022 zum Training von Bildmodellen veröffentlicht wurde, verzeichnet 5,85 Milliarden beschriftete Bilder, und jedes davon ist flach. Die Branche ist inzwischen zu Weltmodellen übergegangen, Systemen, die den physischen Raum gut genug erfassen sollen, um darin zu handeln, und sie füttert sie mit derselben Kost. Sie bringt Maschinen eine Welt bei, die sie immer nur mit einem zugekniffenen Auge gesehen haben. Dann wundert sie sich, warum ein Roboter an einer Schublade herumfummelt.

Eine Kamera ist eine Addiermaschine. Jedes Pixel summiert das Licht, das es durch das Objektiv erreicht, und speichert eine Helligkeit. Die Richtung, aus der jeder Strahl kam, geht in diesem Moment verloren, und mit ihr die Geometrie der Szene. Ein Spielzeugauto nahe am Objektiv und ein echtes Auto auf der anderen Strassenseite können auf denselben Pixeln landen.

Ein Lichtfeld bewahrt auch die Richtung. 1996 definierten es Marc Levoy und Pat Hanrahan von der Stanford University als «die Strahldichte an einem Punkt in einer gegebenen Richtung». Zeichnet man auf, wie hell das Licht ist und woher es kommt, behält das Bild seine Tiefe.

Zu den Lichtfeldern kam ich über die Forschung darüber, wie zwei Augen Tiefe erzeugen. Ich wollte Bilder, die sie bewahren. Der Konsumgütermarkt hatte andere Pläne. Lytro, 2006 gegründet, verkaufte eine Lichtfeldkamera, deren Kunststück darin bestand, einen Schnappschuss nachträglich neu zu fokussieren, und machte 2018 dicht. An der Technik lag es nicht. Sie hatte den falschen Kunden. Menschen mit zwei Augen brauchen keine Kamera, die ihnen sagt, wo die Dinge sind. Eine Maschine schon.

Eine Glasplatte über einem karierten Tuch auf einem langen Tisch, darunter ein karierter Boden, in einem alten Labor

Tiefenwahrnehmung braucht eine Hand

Google DeepMind stellte Genie 3 im August 2025 als universelles Weltmodell vor und sagte, es könne Robotern einen riesigen Raum zum Trainieren bieten. Es rendert seine Welten in 720p und mit 24 Bildern pro Sekunde. Was immer das Modell im Inneren weiss, es zeigt ein flaches Bild, das sich bewegt. Video enthält zwar einen zweiten Blickwinkel, sobald sich die Kamera bewegt, aber niemand hat aufgeschrieben, wohin die Kamera fuhr, also muss auch das erraten werden.

Die Psychologie hat das entscheidende Experiment 1963 gemacht. Richard Held und Alan Hein setzten zehn Paare junger Katzen in ein Karussell. Ein Kätzchen jedes Paares lief, das andere fuhr in einer Gondel, die das erste zog, und so sahen beide drei Stunden am Tag dieselben gestreiften Wände. Die Läufer lernten, ihre Pfoten nach Sicht zu setzen, und wählten an einer visuellen Klippe jedes Mal die flache Seite. Die Mitfahrer sahen genau, was die Läufer sahen, und es nützte ihnen wenig.

Sehen ist nach diesem Befund etwas, das ein Tier tut, und Zuschauen ist ein schlechter Ersatz. Ein Kind bekommt die ganze Ausrüstung gratis: zwei Blickwinkel und eine Hand. Die Augen sagen der Hand, wohin, und die Hand sagt den Augen, ob sie recht hatten. Roboterhersteller wissen das und schrauben Tiefensensoren an ihre Maschinen. Die Modelle, die das Verständnis liefern sollen, sind trotzdem mit flachen Bildern aufgewachsen.

Tiefe aus einem Bild

Software kann einen Teil der fehlenden Dimension zurückrechnen. Die monokulare Tiefenschätzung ist sehr gut geworden. Depth Anything V2, 2024 veröffentlicht, zeichnet aus einem einzigen Bild eine überzeugende Tiefenkarte, und Apples Depth Pro liefert eine mit absoluten Distanzen in 0,3 Sekunden. Wenn einem Modell ein Auge genügte, wäre das flache Archiv kein Nachteil.

Ein alter Feldstecher auf einem Fenstersims

Man sehe sich an, wie diese Modelle unterrichtet wurden. Depth Anything V2 lernte aus 595’000 synthetischen Bildern, gerendert aus dreidimensionalen Szenen, in denen die Tiefe jedes Pixels bekannt ist, und sein Lehrermodell beschriftete danach 62 Millionen echte Fotos für die Schülermodelle. Die dritte Dimension war die ganze Zeit im Raum. Jemand musste sie liefern.

Was das Modell selbst beisteuert, ist Erinnerung. Ein einzelnes Bild ist geometrisch mehrdeutig, also füllt das Modell die Lücke mit den Massen, die Türen und Stühle gewöhnlich haben. Das funktioniert bei Dingen, die es schon gesehen hat, und bei Bildern, die zum Anschauen gedacht sind. Ein Foto eines Korridors, an eine Wand geheftet, schickt einem einzelnen, unbewegten Auge dasselbe Bild wie der Korridor selbst. Ein Mensch mit einem Auge klärt die Sache, indem er den Kopf bewegt und die Hand ausstreckt.

Die Arbeit eines Roboters spielt sich auf den letzten paar Zentimetern ab, wo ein Griff aus der Schubladenfront vorsteht und sich Finger um ihn schliessen müssen. Eine Schätzung, die eine schöne Tiefenkarte ergibt, ist dort ein schlechter Wegweiser. Die Mitfahrer von Held und Hein sahen jeden Streifen, den die Läufer sahen. An der visuellen Klippe konnten sie die tiefe Seite nicht von der flachen unterscheiden.

Rea Stark ist Industriedesigner und Gründer in Zürich. Er hat für Sony und Nespresso entworfen, Piëch Automotive und Archaí Physics mitgegründet und arbeitet daran, wie Maschinen die physische Welt wahrnehmen und handhaben.

Die Bilder in diesem Essay sind mit KI erzeugt.