Rea Stark
DE

Texte

Die knappsten Daten zeigen zwei Menschen

Von , , aktualisiert am

In Robotik und physischer KI entscheiden die Daten. Am wertvollsten sind Aufnahmen von Menschen, die zusammenarbeiten, von allen Seiten. Es gibt sie kaum.

Eine Hand im Handschuh hält eine Schneiderschere an den Klingen, die Griffe einer zweiten Hand zugewandt, die über eine Werkbank greift

Man reicht jemandem eine Schere. Ohne nachzudenken, dreht man ihm die Griffe zu. Er greift schon zu, bevor die Drehung fertig ist, und man lässt los, sobald man seinen Griff spürt. Niemand sagt ein Wort. Der Austausch dauert etwa eine Sekunde, und für einen Roboter ist er noch immer schwer.

Eine Maschine lernt, was man ihr zeigt, und das hier hat ihr fast niemand gezeigt. KI-Firmen zahlen heute Milliarden für Daten, und je genauer sie sind, desto mehr zahlen sie. Die wertvollsten zeigen mehr als einen Menschen, gesehen von allen Seiten. Praktisch gibt es sie noch nicht.

Was das Geld sagt

Im Juni 2025 zahlte Meta 14,3 Milliarden Dollar für 49 Prozent von Scale AI. Scale baut keine Chips und besitzt kein berühmtes Modell. Die Firma bereitet Trainingsdaten auf.

Im März 2026 sammelte Yann LeCun, der die KI-Forschung bei Meta mehr als ein Jahrzehnt lang geleitet hatte, 1,03 Milliarden Dollar für seine neue Firma AMI Labs ein. Es war die grösste Seed-Runde, die Europa je gesehen hat, bei einer Bewertung von 3,5 Milliarden Dollar vor der Finanzierung, und Nvidia, Samsung und der Fonds von Jeff Bezos gehörten zu den Geldgebern. AMI baut Weltmodelle, Systeme, die aus Kameras und anderen Sensoren lernen, wie sich die physische Welt verhält, und damit planen, was als Nächstes zu tun ist. Sprache ist nicht der Ausgangspunkt.

LeCun begründet das gern mit einer Rechnung. Aller öffentliche Text im Internet, die Nahrung der grossen Sprachmodelle, kommt auf etwa hundert Billionen Bytes. Ein vierjähriges Kind war rund 16’000 Stunden wach, und in dieser Zeit hat etwa dieselbe Menge sein Gehirn über die Augen erreicht. Das Kind lernt auch, was auf keiner Seite steht, zum Beispiel, dass ein Glas fällt, wenn man es loslässt.

Für körperliche Arbeit gibt es kein solches Netz, und die Branche versucht, mit schierem Aufwand eines zu bauen. 2023 legten Google DeepMind und seine Partner, insgesamt 21 Institutionen, 60 Datensätze zu Open X-Embodiment zusammen, das mehr als eine Million aufgezeichnete Roboterbewegungen von 22 Robotertypen enthält.

Im November 2025 gab das Start-up Generalist AI bekannt, sein Modell GEN-0 sei mit 270’000 Stunden realer Handhabung von Objekten trainiert worden, gesammelt in Wohnungen, Lagerhallen und an Arbeitsplätzen, und der Bestand wachse um 10’000 Stunden pro Woche. Figure, das humanoide Roboter baut, gewann die Immobiliengruppe Brookfield mit mehr als 100’000 Wohnungen im Portfolio dafür, den Alltag darin zu filmen. Sein Roboter lernte danach allein aus Videos von Menschen, sich durch einen vollgestellten Raum zu bewegen. Sie alle wetten darauf, dass sich ein Modell in einem Jahr neu bauen lässt, eine gute Aufzeichnung aber nicht.

Zwei Schürzen hängen nebeneinander in einer leeren Profiküche

Reichhaltig schlägt viel

Stunden sind ein grobes Mass. Ein Video zeigt eine Hand, die sich um einen Becher schliesst. Es zeigt nicht, wie fest die Hand drückte, was der Becher wog, das Klicken, das sagte, dass der Deckel sass, oder wohin die Augen eine halbe Sekunde vorher gingen. Jedes davon ist ein eigener Kanal, und ein Modell, das sie alle zugleich bekommt, lernt etwas, das ihm keine noch so grosse Menge an blossem Video beibringen kann.

Meta hat das früh verstanden. Sein Datensatz Ego-Exo4D, gebaut mit 15 Universitäten, zeichnete mehr als 800 Könner auf, darunter Köche, Kletterinnen, Tänzer und Velomechaniker. Alle trugen Kamerabrillen, während weitere Kameras von aussen filmten, und die Brillen lieferten dazu sieben Audiokanäle, Bewegungssensoren, Blickverfolgung und eine 3D-Karte des Raums. Zusammen sind es fast 1300 Stunden. Das ist eine kleine Zahl, und jede dieser Stunden sagt weit mehr als eine Stunde blosses Video.

Designer kennen das Prinzip von Zeichnungen. Eine bemasste Skizze lässt sich bauen. Ein schönes Rendering ohne Bemassung nicht. Ich nehme lieber zehn exakte Stunden als tausend ungenaue.

Ein Augenpaar ist kein Raum

Fast alle diese Daten haben eine gemeinsame Grenze. Sie zeigen einen einzelnen Menschen. Die Kamera sitzt auf einem Kopf und beobachtet ein Paar Hände. Selbst Ego-Exo4D folgt meist jeweils einem einzigen Könner.

Echte Arbeit wird selten allein getan. Zwei Pflegende lagern einen Patienten um. Ein Koch richtet an, während ein anderer am Pass die Bons ausruft. Zwei Monteure tragen ein Fenster eine Treppe hinauf. Was das alles gelingen lässt, liegt im Blickfeld keines der beiden. Eine Kamera auf einem der Köpfe zeichnet die Hälfte auf und verpasst den Blick oder den halben Schritt, der dem anderen sagte, er solle warten. Das Signal liegt in dem, was zwischen ihnen geschieht: wer schaut, wer wartet, wer ausweicht, und wann.

Zwei Arbeiter, von hinten gesehen, tragen eine Glasscheibe zwischen sich durch eine schmale Gasse

Um das zu lernen, braucht eine Maschine beide Blickwinkel gleichzeitig, auf denselben Augenblick abgestimmt, zusammen mit dem Raum um sie herum. Ein Roboter soll neben Menschen arbeiten, in Wohnungen, Spitälern und Werkstätten. Dort wird er nie allein sein, also muss er wissen, wann er warten und wann er loslassen muss.

Davon ist sehr wenig aufgezeichnet worden. 2023 veröffentlichte Microsoft HoloAssist: 166 Stunden, in denen ein Mensch eine Aufgabe erledigt, während ein zweiter ihn anleitet. Die zweite Person war nicht vor Ort und schaute durch die Datenbrille der ersten zu. Im Juli 2026 veröffentlichten Forschende der ETH Zürich, von Microsoft, des Max-Planck-Instituts für Informatik und der TU München CoMind. Darin kochen Paare zusammen in echten Küchen. Beide tragen Kamerabrillen, zwei weitere Kameras beobachten den Raum, und Blick, Hände und Sprache werden alle erfasst. Die Autoren halten fest, dass es Datensätze aus der Sicht eines einzelnen Menschen reichlich gibt, dass nur wenige die Zusammenarbeit von Menschen betrachten und dass die meisten den Hauptakteur isoliert behandeln. Ihr eigener Datensatz umfasst 80 Aufnahmen und 41 Stunden.

Einundvierzig Stunden. Man stelle das den 270’000 Stunden Handhabung gegenüber, die ein einziges Start-up gesammelt hat. Das Verhältnis liegt bei mehr als 6500 zu 1.

Wer es filmt

Aus einem Rechenzentrum heraus schliesst sich diese Lücke nicht. Es braucht Räume, in denen Menschen zusammenarbeiten und einwilligen, aufgezeichnet zu werden, mit Sensoren, die für diesen Zweck gewählt sind, und allen Datenströmen auf derselben Uhr. Das ist langsam und körperlich, und deshalb ist die Lücke noch offen. Ich habe OptAI gegründet, eine KI-Firma in Zürich mit eigenem Labor für Weltmodelle, und kein Modell, auch unseres nicht, kann wettmachen, was in der Aufzeichnung fehlt.

Der erste Roboter, der einem die Schere so aus der Hand nimmt, wie es ein Kollege tut, wird es aus Aufnahmen von zwei Menschen gelernt haben, die genau das tun, gefilmt von beiden Seiten im selben Moment.

Rea Stark ist Industriedesigner und Gründer in Zürich. Er hat für Sony und Nespresso entworfen, Piëch Automotive und Archaí Physics mitgegründet und arbeitet daran, wie Maschinen die physische Welt wahrnehmen und handhaben.

Die Bilder in diesem Essay sind mit KI erzeugt.