Les robots sont capables de souder une voiture ou de déplacer une palette depuis des décennies. Ce qu’ils ne peuvent toujours pas faire de manière fiable, c’est ce qu’un enfant en bas âge fait sans réfléchir : saisir un objet inconnu, le retourner dans une main et l’utiliser. C’est ce qu’on appelle la dextérité robotique, et c’est devenu la frontière la plus financée de la robotique. La partie surprenante, une fois qu’on y regarde de près, c’est que le problème difficile n’est plus la main. C’est la donnée.
Ce guide explique la dextérité robotique comme un lecteur technique doit la comprendre : ce que c’est, comment les systèmes leaders sont construits, quelles avancées ont amené le domaine ici, et pourquoi la contrainte principale s’est discrètement déplacée du matériel et des algorithmes vers les données d’entraînement. Ce dernier point est là où les données web entrent en scène.
Dans cet article :
- Ce qu’est la dextérité robotique et pourquoi elle est bien plus difficile qu’il n’y paraît
- L’architecture à double système derrière les robots dextres modernes
- Les avancées de modèles qui ont fait évoluer le domaine du mouvement scripté à la compétence apprise
- Pourquoi les données, et non le calcul ou le matériel, constituent désormais le goulot d’étranglement
- La place des données à l’échelle du web et comment les équipes les assemblent concrètement
Ce que signifie réellement la dextérité robotique
La dextérité robotique est la capacité d’un robot à manipuler des objets habilement, comme le fait une main humaine. La distinction la plus utile est entre la simple prise et dépose, où un préhenseur déplace un objet connu de A à B, et la manipulation dextre, où le robot réoriente un objet dans sa prise, ajuste la force à la volée et gère des formes et des matériaux pour lesquels il n’a jamais été explicitement programmé. La réorientation en main, et non le soulèvement, est ce qui sépare un vrai système dextre d’un bras industriel.
Trois choses rendent cela véritablement difficile.
Les degrés de liberté. La main humaine possède 27 degrés de liberté. Une main robotique de niveau recherche comme la Shadow Hand dispose d’environ 24 articulations actionnées. Coordonner autant d’articulations en temps réel, sous contact, est un problème de contrôle en haute dimension qui s’aggrave fortement avec chaque doigt et articulation supplémentaires.
Le manque tactile. Les humains manipulent les objets principalement par le toucher. Il y a environ 17 000 mécanorécepteurs tactiles dans la peau d’une seule main humaine, fournissant un retour dense et haute fréquence sur le glissement, la pression et la texture. La plupart des robots fonctionnent encore avec peu ou pas de capteurs tactiles, ce qui explique pourquoi un robot peut écraser un œuf ou lâcher un verre de vin tout en ayant l’air de bien tenir sa prise.
La généralisation sous contact et occlusion. Lors de la manipulation, l’objet est généralement partiellement caché par la main elle-même, et de petites différences de friction, de poids ou de forme changent complètement l’action correcte. Un système qui fonctionne sur les tasses avec lesquelles il a été entraîné peut échouer sur une tasse avec une anse légèrement différente. Généraliser à des objets inconnus est le vrai défi, et le plus difficile.
C’est aussi pourquoi la dextérité est un problème logiciel et d’apprentissage autant que mécanique. De meilleures mains aident, mais l’écart entre un robot qui saisit et un robot qui manipule concerne principalement la perception, le raisonnement et le contrôle appris. Pour un tour du côté logiciel, le récapitulatif des bibliothèques IA pour la robotique est un bon complément à cet article.
Comment ça fonctionne : l’architecture à double système
Les robots dextres modernes sont de plus en plus construits sur des modèles Vision-Langage-Action (VLA) : un système appris unique qui prend des images de caméra et une instruction en langage naturel et produit des actions motrices. Le modèle de conception dominant, utilisé sous diverses formes par Physical Intelligence, NVIDIA, Google DeepMind et Figure, est une architecture à double système qui s’inspire librement de l’idée de pensée rapide et lente.
La pile à double système. Les données à l’échelle du web préentraînent le cerveau de raisonnement Système 2, tandis que la téleopération et la simulation entraînent la politique motrice Système 1. La détection, la perception, le contrôle et la main forment une boucle fermée.
Les éléments, de l’entrée à l’action :
- Détection. Les caméras RGB-D, les encodeurs d’articulations pour la proprioception et de plus en plus les capteurs tactiles alimentent le système en état brut.
- Perception. Un encodeur de vision préentraîné, souvent quelque chose comme SigLIP ou DINOv2, transforme les pixels en caractéristiques sur lesquelles le reste du modèle peut raisonner. Ces encodeurs sont eux-mêmes entraînés sur d’immenses collections d’images.
- Système 2, le cerveau. Un modèle vision-langage effectue le travail sémantique lent : comprendre la scène, analyser l’instruction et décider quoi faire. Ce composant est préentraîné sur des données d’images et de textes à l’échelle d’internet, ce qui donne au robot une connaissance du sens commun des objets qu’il n’a jamais touchés physiquement.
- Système 1, l’expert d’action. Une politique rapide, souvent un modèle de diffusion ou de correspondance de flux, convertit l’intention du cerveau en commandes motrices fluides et haute fréquence. C’est la partie entraînée sur de véritables démonstrations robotiques.
- Contrôleur et main. Un contrôleur de bas niveau exécute une boucle d’impédance ou PD à des centaines de hertz pour exécuter le mouvement sur la main et le bras physiques, avec le retour des capteurs qui ferme la boucle.
La séparation est importante car les deux systèmes ont des régimes de données complètement différents. Le Système 1 a besoin de données d’action réelles, qui sont rares et coûteuses. Le Système 2 est préentraîné sur le type de données d’images, de textes et de vidéos à l’échelle du web qui existent déjà en abondance. Garder cette distinction à l’esprit rend le reste du domaine lisible. Des exemples de ce modèle en pratique incluent pi-0 de Physical Intelligence, GR00T N1 de NVIDIA, Gemini Robotics de Google DeepMind et Helix de Figure.
Les avancées qui ont amené le domaine ici
La dextérité est passée de scriptée à apprise au cours d’une série courte et dense de résultats.
L’apprentissage par imitation s’est amélioré. L’Action Chunking Transformer (ACT) puis Diffusion Policy ont montré que les robots pouvaient apprendre la manipulation fine directement à partir de démonstrations humaines. Diffusion Policy, présenté à RSS en 2023, a rapporté une amélioration moyenne de 46,9 % par rapport à l’état de l’art précédent sur 15 tâches en traitant la génération d’actions comme un processus de débruitage, ce qui gère bien mieux la nature multimodale et ambiguë de la manipulation réelle que les méthodes antérieures.
Les politiques généralistes sont arrivées. Le pi-0 de Physical Intelligence, sorti fin 2024, était un VLA basé sur les flux entraîné sur de nombreux types de robots qui a démontré des tâches à long horizon et riches en contact, comme plier du linge depuis un panier, une tâche qui combine perception, gestion d’objets déformables et planification soutenue.
Les données synthétiques ont évolué à grande échelle. Le GR00T N1 de NVIDIA, annoncé en mars 2025, s’est appuyé sur la simulation pour produire des données d’entraînement : son pipeline a généré 780 000 trajectoires synthétiques, l’équivalent d’environ neuf mois de démonstrations humaines, en environ 11 heures, et la combinaison de ces données synthétiques avec des données réelles a amélioré les performances d’environ 40 % par rapport aux données réelles seules.
L’apprentissage sur appareil est devenu plus efficace en termes d’échantillons. Le Gemini Robotics On-Device de Google DeepMind, présenté en 2025, pouvait être adapté à une nouvelle tâche avec aussi peu que 50 à 100 démonstrations, signe de combien le cerveau préentraîné réduit la quantité de données spécifiques au robot que chaque nouvelle compétence nécessite.
Le toucher s’améliore également, avec des capteurs tactiles denses comme la gamme DIGIT de Meta apportant le retour basé sur le toucher que la vision seule manque. Mais remarquez le schéma à travers chacune de ces avancées : le levier est presque toujours de meilleures données ou plus de données, et non un préhenseur fondamentalement nouveau.
Pourquoi les données, et non le matériel, constituent le goulot d’étranglement
Voici l’affirmation qui recadre tout le domaine. Selon une analyse d’Epoch AI de 2025, les plus grands modèles de manipulation robotique sont entraînés avec seulement environ 1 % du calcul utilisé pour les grands modèles de langage de pointe, et la contrainte principale n’est pas le calcul ou la taille du modèle, mais une pénurie de données d’entraînement. La robotique est privée de données d’une manière que le langage et la vision ne sont plus.
La raison est brutale dans sa simplicité. Les modèles de langage avaient internet : des billions de mots disponibles publiquement, prêts à être collectés. La manipulation dextre n’a pas d’équivalent. Comme les auteurs du jeu de données EgoDex d’Apple l’ont dit clairement, il n’existe pas de corpus de données à l’échelle d’internet pour la manipulation dextre. Les données doivent être créées, et chaque source a un inconvénient :
- La téleopération produit des données d’action de référence, un humain télécommandant le robot, mais elle est lente et coûteuse. Elle ne s’adapte pas aux millions d’heures que demande le préentraînement d’un cerveau.
- La simulation est bon marché et parallélisable, mais souffre du fossé sim-vers-réel : une politique qui fonctionne en simulation échoue souvent sur un vrai robot car la physique, la friction et le bruit des capteurs ne correspondent jamais exactement.
- La vidéo humaine est abondante et riche, mais elle manque d’actions robotiques et d’étiquettes de force, donc elle enseigne bien mieux quoi faire que comment déplacer exactement un manipulateur spécifique.
- Les images et textes à l’échelle du web sont la seule entrée qui existe déjà à l’échelle qu’un modèle de fondation nécessite, et c’est ce qui préentraîne les couches de perception et de raisonnement.
Cette taxonomie est la carte stratégique du domaine. Si vous souhaitez le contexte plus large sur la façon dont ces entrées deviennent un modèle, l’explication sur comment les modèles IA sont entraînés et l’analyse approfondie des données d’entraînement pour LLM se traduisent directement dans le contexte de la robotique. La raison pour laquelle les données web reviennent sans cesse est que, comme un nombre croissant de travaux le soutient, les données web sont la pierre angulaire de l’infrastructure IA moderne, robotique incluse.
La place des données à l’échelle du web
Les données web n’apprennent pas à un robot comment bouger ses doigts. Elles font quelque chose d’arguably plus important : elles apprennent au robot le monde avant qu’il ne saisisse quoi que ce soit. Il y a trois contributions concrètes, toutes soutenues par des résultats publiés.
L’ancrage sémantique. Le RT-2 de DeepMind a montré que le co-entraînement d’une politique robotique sur des données image-texte à l’échelle du web, aux côtés de données robotiques, a environ doublé sa capacité à généraliser à de nouveaux objets et arrière-plans, et a débloqué des comportements émergents tels que choisir l’objet qui est un outil improvisé ou identifier une catégorie qu’il n’avait vue que sur internet. La connaissance web se transfère en action physique. C’est la même logique de transfer-learning derrière l’affinage d’un modèle sur des données web, appliquée à un robot.
La diversité des objets. Une étude de 2025 sur les lois de mise à l’échelle des données dans l’apprentissage par imitation robotique a constaté que la généralisation s’améliore comme une loi de puissance avec la diversité des objets et des environnements dans l’ensemble d’entraînement, et non simplement le nombre de démonstrations. Les auteurs ont constaté que collecter des données sur environ 32 objets diversifiés suffisait à atteindre environ 90 % de succès sur des objets complètement inconnus. La diversité des objets est, en pratique, un problème d’images à l’échelle du web : les catalogues de produits, les marketplaces et la recherche d’images sont là où vit cette variété, ce qui est exactement ce que les guides sur la collecte de données d’images à grande échelle abordent.
Les priors de manipulation issus de vidéos humaines. La vidéo égocentrique de personnes utilisant leurs mains est ce qui se rapproche le plus d’un corpus de manipulation naturel. L’Ego4D de Meta en a assemblé 3 670 heures, et l’EgoDex d’Apple a ajouté 829 heures sur 338 000 épisodes et plus de 90 millions de frames spécifiquement pour les tâches dextres. C’est la matière première que les chercheurs exploitent pour enseigner aux robots une stratégie de manipulation semblable à celle des humains, même sans étiquettes d’action.
Ensemble, ces trois entrées, paires image-texte, images d’objets diversifiés et vidéos humaines pratiques, remplissent le cerveau Système 2. Ce sont toutes des données web publiques, et les assembler de manière fiable à grande échelle est un problème de collecte de données. La version stratégique de cette idée, où de meilleures données se composent en un meilleur modèle qui génère de meilleures données, est le volant de données que les meilleures équipes IA construisent désormais délibérément.
Construire la couche de données en pratique
La collecte de ce type de données semble simple jusqu’à ce qu’on l’essaie à grande échelle. Les sources d’images et de vidéos qui importent sont exactement celles qui sont fortement défendues : les marketplaces, les moteurs de recherche et les grandes plateformes médias limitent le débit, restreignent géographiquement et bloquent activement la collecte automatisée, et affichent une grande partie de leur contenu avec JavaScript. Assembler un corpus propre, diversifié et multi-régional est un problème d’infrastructure avant d’être un problème d’apprentissage automatique.
C’est là que Bright Data s’intègre comme couche de données web sous une pile d’entraînement en robotique. C’est l’infrastructure de collecte qui transforme le web ouvert en données structurées prêtes pour les modèles, l’entrée en amont du cerveau Système 2 dans le diagramme ci-dessus.
- L’API Web Scraper transforme les sources d’images et de produits en points de terminaison structurés, avec des scrapers préconstruits qui gèrent automatiquement les systèmes anti-bot, afin qu’un corpus de diversité d’objets puisse être extrait sans construire et maintenir des collecteurs manuellement.
- Un réseau de proxys résidentiels de plus de 400 millions d’IPs d’origine éthique à travers le monde est ce qui rend la diversité géographique et visuelle réalisable : le même produit ou la même scène collecté dans de nombreuses régions, ce que les résultats des lois de mise à l’échelle des données indiquent comme plus important que le volume brut.
- Le Navigateur de scraping affiche les pages de médias et de catalogues lourdes en JavaScript que la collecte statique manquerait, là où vit une grande partie des images d’objets du monde réel.
- Les jeux de données IA et LLM prêts à l’emploi et personnalisés livrent des corpus structurés précollectés directement, exportés en JSON, CSV ou Parquet, afin qu’une équipe puisse alimenter un pipeline de préentraînement sans mettre en place de collecte du tout.
La fiabilité est la partie qui sépare un corpus utilisable d’un corpus empoisonné, car un échec silencieux de collecte biaise discrètement le jeu de données. Bright Data rapporte un taux de succès moyen de 98,44 % dans un benchmark indépendant de onze fournisseurs, et maintient la conformité RGPD, CCPA, SOC 2 et ISO 27001 tout en collectant uniquement des données accessibles au public, le type de provenance qui compte lorsque le jeu de données entraînera un système physique. Si vous évaluez comment sourcer ces données, les comparaisons entre jeux de données et APIs de scraping web et l’aperçu des fournisseurs de données d’entraînement IA présentent les options, et les primers sur ce qu’est un jeu de données et les données structurées et non structurées couvrent les fondamentaux. Les mêmes données web collectées alimentent également des techniques adjacentes comme les embeddings, les jeux de données vectoriels prêts pour l’IA, et la décision RAG versus affinage une fois que l’extraction de données brutes est terminée.
Les limites honnêtes
Il est important d’être précis sur ce que les données web font et ne font pas, car il est facile et erroné de surestimer leur rôle ici.
Les données web préentraînent le cerveau, pas les compétences motrices. Elles donnent à un robot une compréhension sémantique, une connaissance des objets et des priors visuels. Elles ne contiennent pas les trajectoires d’action, les forces de contact ou les étiquettes d’interaction 3D dont le Système 1 a besoin pour réellement bouger une main. Celles-ci proviennent toujours de la téleopération, de la simulation et de l’apprentissage sur robot. Les données web élèvent le plafond de ce qu’un robot peut comprendre et généraliser ; elles ne remplacent pas la pratique physique qui produit un mouvement habile.
Le manque tactile est également réel et non résolu par n’importe quelle quantité d’images. Le roboticien Rodney Brooks a soutenu en 2025 que les humanoïdes d’aujourd’hui n’apprendront pas la vraie dextérité à partir de démonstrations de mouvement et de vidéos seules, car ils manquent du riche capteur tactile à haute bande passante dont dépend la manipulation humaine. Cette critique est un contrepoids utile : de meilleures données de perception sont nécessaires mais pas suffisantes, et le domaine a encore besoin de progrès dans le matériel tactile et le transfert sim-vers-réel. La bonne façon de lire tout cela est que les données sont le goulot d’étranglement actuel, pas le seul.
Où cela mène
La trajectoire est claire même si le calendrier ne l’est pas. La manipulation dextre converge vers de grands modèles multimodaux préentraînés, la même recette qui a fonctionné pour le langage et la vision, et le domaine lui-même nomme désormais de meilleures données, notamment la vidéo et le préentraînement à l’échelle du web, comme la voie de sortie de la contrainte de données. À mesure que les mains, les capteurs tactiles et les méthodes sim-vers-réel s’améliorent en parallèle, le différenciateur entre les équipes sera de plus en plus la qualité et la diversité des données qu’elles peuvent assembler.
C’est la conclusion silencieuse derrière toutes les annonces de financement d’humanoïdes. Les robots qui apprennent à manipuler le monde seront ceux entraînés sur la meilleure image de celui-ci, et la majeure partie de cette image est des données web publiques. Bright Data est la couche qui transforme ce web ouvert en données fiables, structurées et prêtes pour les modèles. Prêt à construire la couche de données pour vos systèmes IA ? Commencez un essai gratuit et voyez à quelle vitesse le web ouvert peut devenir des données d’entraînement.
Questions fréquemment posées
Q : Qu’est-ce que la dextérité robotique ?
La dextérité robotique est la capacité d’un robot à manipuler des objets habilement, comme le fait une main humaine, y compris la réorientation d’un objet dans sa prise, l’ajustement de la force en temps réel et la gestion de formes et de matériaux pour lesquels il n’a pas été explicitement programmé. Elle va bien au-delà de la simple prise et dépose, où un préhenseur déplace un objet connu entre des points fixes. La capacité déterminante est la manipulation en main d’objets inconnus.
Q : Pourquoi la manipulation dextre est-elle si difficile pour les robots ?
Trois raisons. Premièrement, les degrés de liberté élevés : une main humaine en a 27 et une main robotique de recherche environ 24 articulations actionnées, ce qui est un problème de contrôle en temps réel difficile. Deuxièmement, le manque tactile : les humains s’appuient sur environ 17 000 récepteurs tactiles par main pour un retour dense, tandis que la plupart des robots ont peu ou pas de capteurs tactiles. Troisièmement, la généralisation : lors de la manipulation, l’objet est souvent occulté par la main, et de petits changements de forme ou de friction changent l’action correcte, ce qui rend le transfert de compétences à des objets inconnus très difficile.
Q : Qu’est-ce qu’un modèle Vision-Langage-Action (VLA) ?
Un modèle VLA est un système appris unique qui prend des images de caméra et une instruction en langage naturel et produit des actions motrices robotiques. Les robots dextres modernes utilisent souvent une version à double système : un cerveau vision-langage lent qui comprend la scène et planifie, préentraîné sur des données d’images et de textes à l’échelle d’internet, associé à un expert d’action rapide, souvent une politique de diffusion ou de correspondance de flux, qui convertit ce plan en commandes motrices haute fréquence entraînées sur de véritables démonstrations robotiques.
Q : Pourquoi les données sont-elles le goulot d’étranglement pour la dextérité robotique plutôt que le matériel ?
Une analyse d’Epoch AI en 2025 a révélé que les plus grands modèles de manipulation robotique utilisent seulement environ 1 % du calcul des modèles de langage de pointe, et que le facteur limitant est une pénurie de données d’entraînement plutôt que le calcul ou la taille du modèle. Contrairement au langage, la manipulation dextre n’a pas de jeu de données à l’échelle d’internet à partir duquel apprendre, donc les données d’action doivent être créées par une téleopération coûteuse ou une simulation imparfaite, tandis que les couches de perception et de raisonnement sont préentraînées sur des données d’images et de textes à l’échelle du web.
Q : Comment les données web aident-elles à entraîner un robot dextre ?
Les données web préentraînent le cerveau de perception et de raisonnement du robot plutôt que son contrôle moteur. Elles contribuent de trois façons : l’ancrage sémantique, où le préentraînement image-texte web a environ doublé la généralisation dans les travaux RT-2 de DeepMind ; la diversité des objets, où des études sur les lois de mise à l’échelle des données montrent que la généralisation s’améliore avec la variété des objets et des scènes, ce qui est un problème d’images à l’échelle du web ; et les priors de manipulation issus de vidéos humaines comme Ego4D et EgoDex. Elle ne remplace pas les données d’action et de force que la pratique physique fournit.
Q : Un robot peut-il apprendre la dextérité uniquement à partir de données web et de vidéos ?
Non. Les données web et la vidéo donnent à un robot une compréhension sémantique et des priors visuels, mais elles ne contiennent pas les trajectoires d’action, les forces de contact et les étiquettes d’interaction 3D nécessaires pour contrôler une main. Celles-ci proviennent de la téleopération, de la simulation et de l’apprentissage sur robot. Des critiques comme Rodney Brooks soutiennent également que la vraie dextérité nécessite un riche capteur tactile que les humanoïdes actuels manquent largement. Les données web élèvent ce qu’un robot peut comprendre et généraliser, mais la pratique physique et de meilleurs capteurs tactiles restent nécessaires.
