Un résumé de la soirée VLA au Web Data Loft.
Nous avons réuni des ingénieurs d’Agility Robotics, Tesla, Prometheus et Distill Labs au Web Data Loft de Bright Data à San Francisco pour débattre d’une seule question :
Que faut-il réellement pour passer d’un modèle de langage à un robot qui fonctionne dans le monde réel ?
La réponse était plus ancrée dans la réalité que le battage médiatique ne le laisse entendre. Le goulot d’étranglement n’est pas uniquement l’architecture du modèle. C’est le corpus d’entraînement : ce que vous collectez, comment vous le mélangez, d’où il provient, et si vous pouvez le sélectionner à une échelle qu’aucune équipe manuelle ne peut atteindre.
Le panel réunissait Sri et Ahmed d’Agility Robotics, Ankur, ingénieur ML en robotique s’exprimant à titre personnel, Daniel de Prometheus, anciennement chez 1X et Waymo, et Jacek, co-fondateur de Distill Labs. La conversation était animée par Adam de HackerSquad et le Builders Collective.
Voici les cinq points essentiels à retenir si vous construisez un modèle Vision-Language-Action, un modèle du monde, ou le pipeline de données qui les sous-tend.
1. Un VLA est un VLM avec une tête d’action, et sa généralisation provient du préentraînement à l’échelle du web
La définition de travail du panel était simple : un VLA commence comme un modèle vision-langage entraîné sur des textes et des images à l’échelle d’internet, sur des tâches telles que le sous-titrage, la segmentation et la compréhension des objets. Vous ajoutez ensuite un composant d’action et l’affinez sur des données robotiques.
Cette distinction est importante. Les données robotiques enseignent l’exécution. Le préentraînement à l’échelle du web apprend au modèle ce qu’est le monde.
C’est pourquoi un VLA peut parfois saisir un objet pour lequel il n’a jamais été explicitement entraîné. La généralisation ne provient pas uniquement d’un petit ensemble de démonstrations robotiques téléopérées. Elle vient d’une large exposition visuelle et sémantique avant même que le robot n’entre en jeu.
Si votre corpus de préentraînement est étroit, aucune quantité de données de téléopération coûteuses ne peut compenser la généralisation que vous avez négligée.
« Il est entraîné sur des données à l’échelle d’internet sur du texte et des images… puis vous affinez le VLM sur des données robotiques et vous obtenez un modèle vision-langage-action. L’avantage est qu’il a une meilleure généralisation : si vous l’entraînez à saisir un certain objet, vous pouvez lui demander de saisir un objet différent, car il a vu des choses similaires. »
— Ankur, ingénieur ML en robotique, s’exprimant à titre personnel. Voir à 9:59 →
📖 Lectures associées : Qu’est-ce qu’un modèle Vision-Language (VLA) ? · Meilleures bibliothèques IA pour la robotique · Les modèles de fondation expliqués
2. Vision, langage et action convergent vers un espace de tokens unique
Les VLAs modernes ressemblent de plus en plus aux LLMs sur un point important : ils prédisent le token suivant.
Ce token peut être un mot, un patch d’image ou une commande de contrôle dans l’espace des articulations. Comme l’a expliqué Jacek, co-fondateur de Distill Labs, le lien avec les agents logiciels est direct. Un LLM appelle des outils via API. Un VLA appelle des outils physiques. Le cadre passe de « appeler un endpoint » à « saisir la tasse », mais le schéma sous-jacent est similaire.
L’implication est puissante : chaque modalité pouvant être tokenisée peut intégrer le même espace d’entraînement. Vidéo web, séquences égocentrées, démonstrations humaines, téléopération et données robotiques en politique peuvent toutes contribuer à une représentation partagée.
La contrainte passe alors de « le modèle peut-il utiliser ceci ? » à « pouvons-nous sourcer les bons exemples à la bonne échelle ? »
« Vous pouvez considérer votre espace d’action comme un appel de fonction pour les LLMs… vous le décomposez ainsi et ce n’est pas différent de ce que les gens construisent pour le monde non physique, des agents qui lancent des sous-agents dans un cadre exposant des outils. Maintenant le cadre est plus physique. C’est ce qui le rend puissant, car vous pouvez vous appuyer sur les données d’entraînement web pour obtenir un très bon point de départ. »
— Jacek, co-fondateur, Distill Labs. Voir à 15:14 →
📖 Lectures associées : La tokenisation expliquée · La stack technologique des agents IA · Comment construire des agents IA : feuille de route complète
3. Les VLAs et les modèles du monde nécessitent des données différentes, confondre les deux est coûteux
L’une des distinctions les plus nettes de la soirée portait sur la différence entre l’entraînement VLA et l’entraînement de modèles du monde.
Comme l’a formulé Ankur, un VLA est essentiellement un problème d’apprentissage par imitation. Vous voulez des trajectoires propres, réussies et de haute qualité. De mauvaises démonstrations peuvent nuire.
Un modèle du monde est différent. Il doit prédire ce qui se passe ensuite en fonction d’une action, ce qui signifie qu’il doit comprendre non seulement les résultats réussis, mais aussi les erreurs, les cas limites et les échecs. Si vous souhaitez utiliser un modèle du monde pour la planification ou comme simulateur appris pour l’apprentissage par renforcement, il doit représenter l’ensemble des futurs possibles.
Daniel, ingénieur chez Prometheus qui a précédemment dirigé les travaux sur les modèles du monde chez 1X, a expliqué pourquoi c’est difficile. De nombreux modèles du monde actuels sont biaisés vers des résultats réussis. Face à une trajectoire sur le point d’échouer, ils peuvent halluciner une récupération plutôt que de modéliser l’erreur. En robotique, c’est particulièrement dangereux. Le modèle doit être contrôlable par l’action précisément aux moments où le contact, la préhension et l’échec sont les plus probables.
La conclusion : les « données robotiques » ne forment pas un seul seau générique. Les politiques d’imitation et les modèles du monde nécessitent des corpus délibérément différents.
« Vous voulez vraiment un modèle du monde très contrôlable par l’action… le moment décisif lorsque vous saisissez un objet. Si vous avez des lacunes là, c’est vraiment mauvais signe. »
— Daniel, Prometheus, anciennement chez 1X. Voir à 35:36 →
📖 Lectures associées : Qu’est-ce que l’entraînement de modèles IA ? · Les hallucinations IA expliquées · Jeux de données pour la robotique
4. La hiérarchie des données est réelle : les données web donnent de l’étendue, les données robotiques donnent le contrôle
Ahmed, ingénieur chez Agility Robotics, a présenté une hiérarchie claire des signaux.
Les données de téléopération contiennent les informations de contrôle les plus fortes car elles incluent l’état complet du robot. Les démonstrations humaines et les vidéos égocentrées portent moins de signal de contrôle direct. La vidéo web en porte le moins au niveau du contrôle fin.
Mais cela ne rend pas les données web moins importantes. Cela rend leur rôle différent.
La vidéo à l’échelle du web enseigne la sémantique, le contexte, la structure des tâches, la diversité des objets et la connaissance générale du monde. Elle aide le modèle à comprendre à quoi ressemblent les pièces, les outils, les personnes, les objets et les objectifs à travers une variation énorme. Ce qu’elle n’enseigne pas bien, c’est la physique fine d’un corps robotique spécifique exécutant une action spécifique.
Ankur a donné l’analogie la plus claire : vous pouvez regarder toutes les vidéos de Messi ou Ronaldo jamais enregistrées et comprendre profondément le football, mais vous ne pouvez toujours pas jouer sans pratiquer. Les données web enseignent le jeu. Les données sur robot enseignent le corps.
L’insight pratique sur le budget de données venait du même échange : une heure de données web peut apporter environ la valeur transférable de cinq minutes de données de téléopération. Les données web ne remplacent pas la téléop, mais un solide préentraînement à l’échelle du web peut réduire la quantité de données robotiques coûteuses nécessaires.
« On peut regarder beaucoup de vidéos de football de Messi ou Ronaldo, mais tant qu’on ne s’entraîne pas soi-même, on ne peut pas vraiment jouer. La compréhension de la tâche, on l’obtient des données web. Pour l’exécuter réellement, on a besoin de données sur robot… peut-être qu’une heure de données web équivaut à cinq minutes de données de téléopération. »
— Ankur, ingénieur ML en robotique, s’exprimant à titre personnel. Voir à 1:01:09 →
📖 Lectures associées : Données vidéo pour l’IA · Jeu de données de vidéos YouTube · Jeux de données audio pour l’IA · Jeux de données d’images
5. Il n’existe pas encore de lois de mise à l’échelle fiables, donc la vitesse de curation devient l’avantage
Pour les LLMs, le secteur dispose des lois de mise à l’échelle de Kaplan et Chinchilla. Pour les VLAs et les modèles du monde, Daniel était direct : la robotique n’en est pas encore là.
Les équipes ne peuvent toujours pas prédire de manière fiable les performances robotiques comme une fonction claire des tokens web, des heures de téléopération, des données de déploiement, du calcul ou de la taille du modèle. Une partie du défi est que l’apprentissage par imitation et la modélisation du monde utilisent des signaux de supervision différents. Une autre est que la métrique qui compte est le succès de la tâche en aval, et non la perte de préentraînement.
Daniel a également établi un contraste utile avec la simulation de véhicules autonomes. En conduite autonome, la simulation s’arrête souvent lors d’un contact. En robotique, le contact est là où commence la vraie complexité. Saisir, pousser, glisser, déformer, entrer en collision et récupérer ne sont pas des cas limites. Ce sont la tâche elle-même.
Jusqu’à l’émergence de meilleures lois de mise à l’échelle, l’avantage va aux équipes capables de trouver et de sélectionner les bons exemples le plus rapidement : scènes spécifiques, familles de tâches, interactions d’objets, échecs et moments riches en contacts. Ce n’est pas seulement un défi de modélisation. C’est un défi de découverte et de pipeline de données.
« Répondre aux lois de mise à l’échelle par rapport aux comptes de flops ou de tokens est désormais courant pour les LLMs, Kaplan et al., les lois de mise à l’échelle Chinchilla. Nous ne posons pas vraiment ces questions pour comparer scientifiquement les VLAs et les modèles du monde aujourd’hui… Je pense que la réponse est que nous n’en sommes pas encore là, et que nous devrions vraiment y arriver. »
— Daniel, Prometheus, anciennement chez 1X et Waymo. Voir à 54:35 →
📖 Lectures associées : Découverte de données · Meilleurs fournisseurs de données d’entraînement IA · Données d’entraînement pour LLM
Ce que cela signifie pour votre stratégie de données en robotique
Le panel a convergé vers une conclusion claire :
Les données à l’échelle du web donnent aux robots une compréhension large du monde. Les données sur robot leur apprennent comment agir dans ce monde. Meilleur est votre corpus de préentraînement, moins vous avez besoin de données robotiques coûteuses pour atteindre une exécution fiable.
Agir sur cela nécessite trois capacités que la plupart des équipes sous-estiment :
🌐 Extraction à l’échelle du web
Collecte de vidéos, images et audio à l’échelle du pétaoctet depuis le web ouvert, et non uniquement des jeux de données académiques figés avec des taxonomies obsolètes. Découvrez l’infrastructure de collecte de données à l’échelle du web de Bright Data et nos solutions de données personnalisées.
🔍 Découverte visuelle au-delà de la recherche par mots-clés
La diversité de tâches la plus précieuse apparaît souvent dans des scènes jamais décrites dans un titre, une étiquette ou une légende. La recherche par mots-clés rate une grande partie de la longue traîne.
⚖️ Provenance défendable
Les modèles de texte s’entraînent sur des billions de tokens. Les VLAs s’entraînent sur des billions de frames. Chaque frame peut soulever une question de licence et de provenance, et le déploiement réel de robots élève les enjeux. En savoir plus dans notre Centre de confiance et nos directives de collecte éthique des données.
Les modèles convergent. Le facteur différenciateur devient le corpus : son étendue, sa pertinence, et si vous pouvez défendre son origine.
Vous construisez un VLA ou un modèle du monde ?
Parlez à notre équipe → pour découvrir et sourcer des vidéos d’entraînement à l’échelle du web.
En savoir plus sur Bright Data pour l’IA, explorez notre offre de données vidéo pour les VLAs, ou parcourez nos jeux de données prêts à l’emploi pour la robotique, la vision par ordinateur et l’entraînement multimodal.
