--- title: "Trouver les moments cachés d'entraînement robotique dans les vidéos publiques du web" slug: robot-training-data-in-public-web-video date: 2026-08-25T09:01:47+00:00 modified: 2026-08-25T09:01:52+00:00 permalink: https://brightdata.fr/blog/ai/robot-training-data-in-public-web-video type: blog --- [ Blog ](https://brightdata.fr/blog "Blog") / [AI](https://brightdata.fr/blog/ai) [AI](https://brightdata.fr/blog/ai) # Trouver les moments cachés d’entraînement robotique dans les vidéos publiques du web Recherche : l’API de recherche vidéo de Bright Data a découvert 10× plus de moments d’actions physiques en recherchant ce que montrent les vidéos plutôt qu’en se fiant aux titres, descriptions et tags. 22 min de lecture [ ![](https://media.brightdata.fr/2025/12/1763645725709-50x50.png) ](https://brightdata.com/blog/authors/raz-kaplan) [Raz Kaplan AI GTM Lead ](https://brightdata.com/blog/authors/raz-kaplan) ![Finding the web’s hidden robot training moments in public web video data](https://media.brightdata.fr/2026/08/Finding-the-webs-hidden-robot-training-moments-in-public-web-video-data.png) Les données vidéo peuvent aider à entraîner des robots, y compris des humanoïdes, à comprendre et exécuter des tâches physiques. Cela inclut les modèles VLA, qui relient les observations visuelles et les instructions linguistiques aux actions, et les modèles World, qui apprennent comment un environnement évolue dans le temps. Le web public contient des millions de vidéos de personnes effectuant ces tâches, et trouver une action spécifique parmi elles est difficile, car un titre décrit le sujet général d’une vidéo sans nommer les actions présentes dans les images. Les descriptions et les tags ne sont généralement pas plus utiles. Pour cette étude, nous avons utilisé l’[API de recherche vidéo](https://brightdata.com/ai/video-data/vla) de Bright Data. L’API de recherche vidéo est un outil qui permet de rechercher visuellement des moments à l’intérieur de vidéos web. Vous lui fournissez une description en langage naturel d’une action, elle recherche le contenu visuel des vidéos publiques plutôt que le texte qui leur est associé, et elle renvoie des vidéos candidates avec les horodatages indiquant où l’action peut apparaître. La recherche par mots-clés conventionnelle fonctionne à l’inverse, en faisant correspondre vos mots au titre, à la description et aux tags d’une vidéo, de sorte que les deux approches aboutissent à des images très différentes. Nous lui avons soumis **141 actions physiques** et avons obtenu en retour **10 828 moments** dans **7 549 vidéos**. Pour chaque moment conservé, nous avons vérifié si un mot du nom de l’action apparaissait dans le titre, la description ou les tags de sa vidéo. Dans **90,8 %** des cas, aucun ne l’était. Si vous collectez des images d’entraînement par mots-clés, ces 90,8 % représentent les données que vous manquez, et cela rend la collecte de l’API 10× plus grande que ce que la recherche textuelle pourrait atteindre. Ces moments supplémentaires montrent les mêmes actions que vous avez demandées, dans des vidéos dont les titres parlent d’autre chose, et ils restent invisibles pour un pipeline textuel, peu importe le nombre de requêtes effectuées sur ces champs. Nous avons comparé des sous-chaînes littérales au titre, à la description et aux tags, et nous avons compté dans le corpus renvoyé par l’API elle-même, donc le ratio est valable sous ces deux conditions. La recherche sémantique, la recherche multilingue, la recherche dans les transcriptions et le classement propre à YouTube sont en dehors de ce que nous avons testé. --- ### Le résultat en trois chiffres **10,9×**plus de moments que la correspondance littéralela recherche de contenu a retourné 10 828 ; 992 contiennent un mot du nom de l’action dans leurs métadonnées**90,8 %**non nommé nulle part9 836 des 10 828 moments ne contiennent aucune mention de l’action dans leur titre, description ou tags**56,1 %**aucun indice dans le titreun test plus souple que la recherche. Nous avons demandé à google/gemini-2.5-flash si quoi que ce soit dans le titre était lié à l’action, même vaguement, y compris des indices trop vagues pour être recherchés. Il n’a rien trouvé dans 6 071 des 10 828 casD’où viennent ces trois chiffresLes deux premiers sont la même division : 9 836 des 10 828 moments ne contiennent aucun mot de l’action dans aucun champ, et les 992 qui en contiennent un sont ce qu’un matcher littéral atteint, 10 828 ÷ 992 = 10,9. Les quatre catégories (titre, description, tags, aucun) sont mutuellement exclusives et s’additionnent pour atteindre le total vérifié. Les deux sont comptés par ligne de correspondance ; si on les regroupe par les 8 849 secondes vidéo distinctes, le ratio est de 8,9×. Le troisième compte les titres que le modèle a jugés sans rapport : 6 071 des 10 828, une ligne par moment sur 7 549 vidéos distinctes. Les horodatages ont une deuxième conséquence. En accordant à chaque moment au maximum 10 secondes d’action, les **5 066,5 h** de vidéo source dans lesquelles ces correspondances se trouvent deviennent **24,58 h** de clip, ce qui réduit ce qui doit être déplacé, stocké et examiné de 206,1×. **Ce que la récupération a réellement retourné.** La confiance de la récupération n’est pas la même chose que son exactitude, nous avons donc extrait une vraie image de presque chaque correspondance et l’avons fait évaluer par un modèle de vision. La section 3.5 contient les taux. Cet audit met en évidence des images candidates pour la découverte et la curation, et aucune politique, aucun modèle de monde ou robot n’a été entraîné sur ces données. ### Exemple de six vidéos et leurs titres sur YouTube Ce qu’un modèle de vision a vu, montré l’image sans le titre, comparé au titre de la vidéo, traduit en anglais lorsqu’une langue source est indiquée. Un juge IA a lu chaque titre du corpus pour y trouver le moindre indice de son action, et il a jugé ces six sans rapport : une simple date, un verset du Coran, un bulletin d’actualité économique. Nous avons confirmé chaque image à l’œil nu et chaque vidéo est en ligne. Cliquez sur une image pour lire la vidéo à cette seconde. Le momentCe que montre l’imageComment s’appelle la vidéo[![Personne pelletant du ciment dans un bac de mélange](https://media.brightdata.com/2026/08/Q6T5qNlN8k0_43.jpg)](https://www.youtube.com/watch?v=Q6T5qNlN8k0&t=41s) `mix_cement`Personne pelletant du ciment dans un bac de mélangeSourate Tawbah verset 26. « Mais (même ainsi) où allez-vous ? » *(depuis tr)*[![Main insérant une pompe à carburant dans le réservoir d'une voiture](https://media.brightdata.com/2026/08/Uk0HDyKdMM8_151.jpg)](https://www.youtube.com/watch?v=Uk0HDyKdMM8&t=149s) `refuel`Main insérant une pompe à carburant dans le réservoir d’une voitureDéfis de réforme économique au Bangladesh et message du FMI | Économie du Bangladesh | FMI *(depuis bn)*[![Deux mains pliant du papier vert en deux](https://media.brightdata.com/2026/08/MVabAXq-o40_376.jpg)](https://www.youtube.com/watch?v=MVabAXq-o40&t=374s) `fold`Deux mains pliant du papier vert en deux24 décembre 2023 *(depuis zh)*[![Main tranchant un avocat sur une planche à découper](https://media.brightdata.com/2026/08/O_4ODEXyEs0_306.jpg)](https://www.youtube.com/watch?v=O_4ODEXyEs0&t=304s) `cut_knife`Main tranchant un avocat sur une planche à découperDes aliments cultivés dans la terre de la Lune… Les scientifiques ont eu peur ? *(depuis hi)*[![Main frappant un bouton d'arrêt d'urgence rouge en forme de champignon](https://media.brightdata.com/2026/08/1Na9zoYj2C4_16.jpg)](https://www.youtube.com/watch?v=1Na9zoYj2C4&t=14s) `emergency_stop`Main frappant un bouton d’arrêt d’urgence rouge en forme de champignon(Cheongju City/Ligne principale) Woojin Sanjeon Apollo 1100 Modèle électrique ultra-bas plancher standard PEV Édition juin 2024 2027 Dongil Transportation 712 *(depuis ko)*[![Main guidant un ciseau dans une sculpture sur bois](https://media.brightdata.com/2026/08/KKiSvsIFetg_13275.jpg)](https://www.youtube.com/watch?v=KKiSvsIFetg&t=13273s) `chisel_carve`Main guidant un ciseau dans une sculpture sur boisadapter et surmonter 🌱--- ### 90,8 % des moments récupérés ne sont nommés nulle part dans leurs métadonnées Cette proportion représente l’écart entre ce que la récupération de contenu a atteint sur ce corpus et ce que la correspondance littérale des métadonnées aurait atteint. L’objection évidente est la langue, puisque nous testons des mots d’action en anglais contre des titres qui ne sont souvent pas en anglais. En se limitant aux titres en anglais confirmés par le modèle, le chiffre reste à 85,8 % ; la section 3.3 montre chaque découpe. #### Où l’action est nommée, sur l’ensemble des 10 828 moments récupérés ![Graphique en gaufre : 100 carrés, un par point de pourcentage des 10 828 moments correspondants ; 91 ne sont nommés nulle part](https://media.brightdata.com/2026/08/waffle.svg)Format tableauCatégorieMomentsPartCe que cela signifie pour un pipeline textuelnommé dans le titre3863,6 %le matcher littéral le trouvedescription uniquement5314,9 %seulement si vous lisez les descriptionstags uniquement750,7 %seulement si vous lisez les tags**nommé nulle part****9 836****90,8 %**le matcher littéral ne le trouve pasUn vrai moment de chaque catégorie, parce que « 531 moments sont nommés uniquement dans la description » est une affirmation, et un titre réel avec le mot correspondant marqué est une preuve : CatégorieActionTitre de la vidéo (s’ouvre à la seconde correspondante)Correspondancenommé dans le titre`pour`[Teaching a beginner how to pour latte art patterns (Expert Barista Guide)](https://www.youtube.com/watch?v=2P4d7Vq4GSc&t=404s)correspondance sur « pour »description uniquement`take`[GENTLE SOY SAUCE SOUP RAMEN (SHOYU RAMEN) | A Real Japanese Dad Cooks | Japanese cooking](https://www.youtube.com/watch?v=c8Kf9xlqVc0&t=216s)correspondance sur « take »tags uniquement`fold`[ورقة واحدة .. طيّات قليلة .. بدون لاصق.. وعالمٌ هرميٌ كامل!](https://www.youtube.com/watch?v=hljmkQn7uD8&t=89s)correspondance sur « fold »nommé nulle part`take`[\# viral video in social media # viral koriyaan # sad story of koriyan romance](https://www.youtube.com/watch?v=v3JvHty7O_w&t=40s)aucun mot de « take » n’apparaît dans ses métadonnées#### Part invisible, par domaine ![Les moments de chaque domaine divisés en nommés nulle part (rose) et nommés dans le titre, la description ou les tags (bleu)](https://media.brightdata.com/2026/08/domains.svg)Chiffres en format tableauDomaineNommé nulle partMoments vérifiésTabletop (DROID)98,1 %1 836Extérieur95,9 %217Corps entier95,4 %866Domestique92,0 %402Construction91,1 %987Industriel89,6 %4 612Automobile83,8 %1 908Chaque vidéo correspondante dans chaque domaine portait des métadonnées scrapées, donc chaque n est l’ensemble complet récupéré pour ce domaine. Personne ne titre une vidéo « mettre un bloc dans un bol » ; les vidéos de réparation annoncent bien ce qu’elles réparent, ce qui explique pourquoi l’automobile est le seul domaine qu’un matcher littéral peut partiellement atteindre. --- ### 1 Ce qu’un horodatage retire du pipeline Supposons que vous vouliez dix secondes de quelqu’un en train de souder un joint. La méthode habituelle comporte cinq étapes, et chacune d’elles s’exécute sur un fichier vidéo complet : trouver une vidéo par son titre, l’extraire entièrement, rechercher dans votre propre copie le moment souhaité, découper ce moment, puis étiqueter ce qu’il montre. La première étape manque 90,8 % de ces moments. Rechercher dans les images renvoie la vidéo *et* la seconde à l’intérieur, et l’une des cinq étapes cesse d’exister. Il n’y a rien à rechercher dans la vidéo extraite, puisque vous savez déjà où se trouve le moment. La découpe doit toujours avoir lieu, car l’[API Media Data](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json) livre des vidéos entières, de l’audio, des sous-titres et des storyboards sans prendre d’horodatage, mais vous découpez sur un décalage connu plutôt que de le rechercher. Cinq étapes deviennent quatre. Les pipelines de collecte hors ligne divisent généralement ce travail entre plusieurs systèmes : déplacer la vidéo vers un stockage cloud, l’annoter image par image manuellement ou semi-automatiquement, et convertir entre les formats robotiques tels que ROS ou MCAP et les formats vidéo généraux. Chaque transfert est un endroit où le débit est perdu et où l’alignement temporel entre les flux de caméra et les commandes moteur peut dériver. Nous n’avons rien mesuré de tout cela ici. C’est le contexte qui rend un horodatage retourné précieux. **Méthode conventionnelle** (cinq étapes, payé sur des vidéos entières) : 1. **Trouver des vidéos** · recherche par mots-clés dans les titres 2. **Extraire** · 5 066,5 h de vidéo source *(l’étape coûteuse, mesurée à partir de la durée scrapée de chaque vidéo correspondante)* 3. **Lancer une recherche** · un deuxième outil, sur votre propre copie 4. **Découper** · rogner chaque clip au moment souhaité 5. **Étiqueter** · annoter ce que vous avez découpé **Avec la récupération de moments** (quatre étapes, payé à la seconde) : 1. **Trouver des scènes** · la recherche de contenu renvoie la seconde 2. **Récupérer** · ~24,58 h autour des décalages retournés *(estimation : suppose que chaque moment dure au maximum 10 secondes d’action)* 3. **Découper** · rogner localement, sur un décalage connu 4. **Étiqueter** · une image par moment ![Images déplacées, à l'échelle : deux barres sur un axe](https://media.brightdata.com/2026/08/volume.svg)--- ### 2 Méthode Nous avons rédigé une phrase décrivant chacune des 141 actions et les avons envoyées à l’[API de recherche vidéo](/ai/video-data/vla). Celle concernant la soudure se lisait : > **l’une des 141 phrases que nous avons envoyées** > > gros plan d’une main tenant un fer à souder sur un joint de circuit imprimé tout en alimentant le fil de soudure avec l’autre main, éclairage par lampe de bureau Nous avons ensuite scrapé le titre, la description et les tags de chaque vidéo retournée. Bright Data documente l’index comme correspondant sur des images échantillonnées plutôt que sur le titre, la description ou les tags, donc les champs que nous avons évalués ne devraient pas être ce qui a trouvé les images. Nous n’avons pas testé cela indépendamment. Nous avons tiré 22 noms d’actions des chaînes de tâches de [DROID](https://huggingface.co/datasets/lerobot/droid_1.0.1), que nous avons lues pour la fréquence des verbes, et avons ajouté les 119 actions restantes comme actions rédigées manuellement pour élargir l’audit au-delà de la couverture de DROID. --- ### 3 Résultats #### 3.1 Ce que coûte chaque méthode Tout ici est en heures sur ce corpus, avec des durées additionnées depuis le scraper, donc le chiffre source est un décompte plutôt qu’une estimation. Nous n’avons extrait aucune vidéo, nous ne revendiquons donc aucun nombre d’octets. Deux décomptes se cachent derrière les **206,1×**. Les 5 066,5 h sont une somme réelle sur 7 549 vidéos. Le chiffre du clip compte chaque (vidéo, seconde) une fois, sur 8 849 secondes distinctes, et multiplie par la fenêtre de 10 secondes. Le ratio repose sur deux choix, la durée d’un clip et si la longue traîne compte, et la longue traîne est le plus grand levier des deux : 483 vidéos de trois heures ou plus représentent ~6 % de l’ensemble et portent ~60 % des heures. Le tableau de sensibilité complet : ![Facteur de réduction sous chaque plafond de durée de vidéo](https://media.brightdata.com/2026/08/sensitivity.svg)Chiffres en format tableauSupprimer les vidéos de plus deVidéosHeures du corpusSecondes distinctesHeures de clip (10 s)Réduction1 h6 5541 113,57 60521,1252,7×2 h6 8731 563,88 01722,2770,2×3 h7 0662 031,38 24722,9188,7×6 h7 3643 272,88 60923,91136,9×12 h7 5465 012,38 84624,57204,0×tout conserver (publié)7 5495 066,58 84924,58206,1×Le même corpus, obtenu de l’une ou l’autre façon : 10 828 lignes de correspondance tombant sur 8 849 secondes vidéo distinctes. Compter chaque correspondance plutôt que chaque seconde distincte donnerait 30,08 heures de clip et une réduction de 168,4×. Le même ratio s’applique au temps de révision uniquement si l’alternative examine chaque vidéo source en entier, si le temps de révision évolue linéairement avec la durée, et si parcourir 8 849 clips séparés n’entraîne aucun surcoût par clip. #### 3.2 La règle de correspondance, et l’effet de son resserrement Pour chaque moment candidat conservé, nous avons vérifié le titre, la description et les tags de la vidéo, les principaux champs de métadonnées disponibles dans cet audit. Un moment est considéré comme nommé si un mot du nom de l’action de plus de deux caractères apparaît comme sous-chaîne insensible à la casse, donc « change » seul marque `change_tire_wrench` et « car » se trouve dans « carpet ». C’est la règle la plus permissive que nous aurions pu choisir, ce qui fait du titre une valeur plancher. Resserrez-la et elle monte : ![Moments qu'un matcher textuel atteint sous quatre règles de plus en plus strictes : 992, 868, 597, 206 sur 10 828](https://media.brightdata.com/2026/08/matcher.svg)Chaque règle plus stricte que la règle publiée fait monter le chiffre, ce qui fait de 90,8 % une valeur plancher plutôt qu’un cas optimal : 395 des 992 moments que la règle publiée compte comme nommés le doivent à un fragment à l’intérieur d’un mot plus long. Chaque valeur est mesurée, quatre passes réelles sur le corpus (`supply_gap.py _variants()`). #### 3.3 Une grande partie est titrée dans une autre langue Nous avons lu une langue de titre pour chacun des 10 828 moments correspondants, donc c’est l’ensemble du corpus plutôt qu’un échantillon. Parmi eux, **4 863 (~45 %)** se trouvent dans une vidéo titrée dans l’une des **77 langues non anglaises nommées**, plus un titre que le modèle n’a pas pu identifier. Les mêmes descriptions d’actions en anglais ont retourné 423 moments de vidéos titrées en hindi et 509 de vidéos titrées en portugais. Aucun champ géographique n’a été collecté, donc cela ne dit rien sur l’endroit où les vidéos ont été réalisées. ![Langue du titre de chaque moment correspondant, bande proportionnelle](https://media.brightdata.com/2026/08/langs.svg)*Langue du titre de chaque moment correspondant, sur l’ensemble des 79 langues trouvées.* Ce mélange explique pourquoi nous avons découpé le corpus vers l’anglais avant de faire confiance au chiffre principal. En se limitant aux titres que nous savons être en anglais, le chiffre se déplace de quelques points et la majeure partie reste valable, donc une partie de l’écart est un décalage linguistique et le reste est un échec de description qui persiste une fois le décalage supprimé : ![Part nommée nulle part quand le corpus est découpé vers l'anglais : 90,8 % tous, 87,6 % ASCII, 85,8 % titres en anglais, 95,0 % audio en anglais](https://media.brightdata.com/2026/08/slices.svg)Les mêmes chiffres sous forme de tableauDécoupeNommé nulle partntous les moments**90,8 %**10 828titres en ASCII pur87,6 %5 560titres en anglais confirmés par le modèle85,8 %5 965audio en anglais confirmé95,0 %317 (trop peu pour s’y fier)#### 3.4 Par action Triés par la part sans terme d’action littéral dans les métadonnées disponibles. 17 actions n’ont aucun moment conservé dont les métadonnées nomment l’action cible. Sur l’ensemble des 141 actions avec au moins 8 moments vérifiés, la part va de 50,0 % à 100,0 %, médiane 94,1 %. Les 12 moins cachées : ![Les 12 actions les moins cachées : chaque barre représente les moments trouvés, divisés en nommés dans leur propre texte (bleu) et nommés nulle part (rose)](https://media.brightdata.com/2026/08/supply.svg)Chiffres en format tableauActionDomaineTrouvésMentionné dans son texteNommé nulle part`wash_car`Automobile723650,0 %`wash_car_panel`Automobile783653,8 %`car_door_open`Automobile923858,7 %`car_door_close`Automobile913660,4 %`car_door`Automobile933661,3 %`pack_box`Industriel732861,6 %`grinder_use`Industriel692366,7 %`hand_saw_cut`Industriel772567,5 %`jack_up_car`Automobile782469,2 %`tape_box`Industriel752369,3 %`sit_stand`Corps entier28871,4 %`impact_driver`Industriel701972,9 %**Les 141 actions** · trouvés / mentionnés / nommés-nulle-part, plus l’extrapolation à l’échelle de l’index par actionActionDomaineTrouvésMentionnésNommé nulle partMoments estimés à l’échelle de l’indexTaux utilisableBase du taux`climb_ladder`Corps entier930100,0 %188 79026,1 %action`crane_hook`Industriel840100,0 %170 4369,5 %action`flip`Tabletop (DROID)870100,0 %176 52326,7 %action`lift`Tabletop (DROID)890100,0 %180 58124,7 %action`load_cart`Industriel820100,0 %166 4609,8 %action`pick_up`Tabletop (DROID)720100,0 %146 08847,9 %action`push`Tabletop (DROID)910100,0 %184 63923,3 %action`push_heavy_cart`Corps entier700100,0 %142 10024,3 %action`push_trolley`Industriel650100,0 %131 95020,0 %action`refuel`Automobile910100,0 %184 63926,4 %action`refuel_nozzle`Automobile880100,0 %178 55227,6 %action`seatbelt_buckle`Automobile870100,0 %176 52329,9 %action`slide`Tabletop (DROID)820100,0 %166 37832,1 %action`sort_parcel`Industriel820100,0 %166 46037,8 %action`stack`Tabletop (DROID)650100,0 %136 95821,9 %action`unfold`Tabletop (DROID)790100,0 %160 29157,0 %action`ziptie_bundle`Industriel820100,0 %166 46048,8 %action`carry_upstairs`Corps entier87198,9 %176 61025,6 %action`hang`Tabletop (DROID)92198,9 %181 59612,1 %action`pull`Tabletop (DROID)87198,9 %176 52318,4 %action`pull_trolley`Corps entier92198,9 %186 76022,8 %action`close`Tabletop (DROID)83198,8 %168 40741,5 %action`emergency_stop`Industriel85198,8 %172 46522,6 %action`handbrake_pull`Automobile82198,8 %166 37831,7 %action`place`Tabletop (DROID)84198,8 %170 43639,3 %action`remove`Tabletop (DROID)86198,8 %174 49448,8 %action`turn_on`Tabletop (DROID)85198,8 %172 46529,4 %action`count_stock`Industriel76198,7 %154 28032,4 %action`reach_overhead`Corps entier79198,7 %160 37046,8 %action`wipe`Tabletop (DROID)77198,7 %180 58128,0 %action`crouch_down`Corps entier65198,5 %131 95034,9 %action`seat_chip`Industriel65198,5 %131 95046,9 %action`plaster_wall`Construction88297,7 %178 55225,3 %action`plug_in`Domestique87297,7 %176 52336,5 %action`turn`Tabletop (DROID)86297,7 %174 49427,9 %action`unplug_cable`Industriel88297,7 %178 64042,5 %action`label_parcel`Industriel85297,6 %172 55045,9 %action`move`Tabletop (DROID)82297,6 %166 37834,2 %action`press`Tabletop (DROID)83297,6 %168 40742,2 %action`spirit_level`Industriel83297,6 %168 40712,5 %action`conveyor_pick`Industriel79297,5 %160 29135,4 %action`grout_joint`Construction81297,5 %164 34928,4 %action`open_hood`Automobile80297,5 %162 32053,8 %action`trowel_mortar`Construction79297,5 %160 29128,2 %action`balance_load`Corps entier77297,4 %156 31021,1 %action`shovel_load`Extérieur74297,3 %150 22031,5 %action`scan_barcode`Industriel71297,2 %144 05927,1 %action`desolder_remove`Industriel63296,8 %127 89051,6 %action`pull_wire`Construction61296,7 %123 76930,0 %action`take`Tabletop (DROID)90396,7 %182 61037,8 %action`forklift_controls`Industriel59296,6 %119 71127,1 %action`open_gate`Corps entier88396,6 %178 64021,6 %action`pour`Tabletop (DROID)89396,6 %183 62456,2 %action`plug_in_socket`Industriel85396,5 %172 55036,5 %action`shrink_wrap`Industriel81396,3 %164 43022,5 %action`wipe_windshield`Automobile82396,3 %166 37834,6 %action`control_dial`Industriel72395,8 %146 08831,9 %action`steering`Automobile72395,8 %146 08859,7 %action`open_carton`Industriel69395,7 %140 07031,9 %action`put`Tabletop (DROID)91495,6 %184 63941,8 %action`plant_seed`Extérieur67395,5 %136 01028,8 %action`steering_turn`Automobile43295,3 %87 24760,5 %action`pipe_fitting`Industriel83495,2 %168 40744,6 %action`open`Tabletop (DROID)79494,9 %173 98744,2 %action`dig_soil`Extérieur76494,7 %154 28044,6 %action`sweep`Domestique75494,7 %152 17529,3 %action`route_cable`Industriel74494,6 %150 22043,8 %action`gear_shift`Automobile73494,5 %148 11737,0 %action`stack_pallet`Industriel70494,3 %142 10012,9 %action`thermal_paste`Industriel69494,2 %140 07019,1 %action`ev_charge_plug`Automobile85594,1 %172 46526,2 %action`carry_box`Domestique84594,0 %170 43625,0 %action`open_trunk`Automobile84594,0 %170 43628,6 %action`socket_ratchet`Industriel82593,9 %166 37831,7 %action`top_up_fluid`Automobile82593,9 %166 37837,0 %action`press_machine_button`Industriel79593,7 %160 29131,6 %action`valve_turn`Industriel79593,7 %160 29119,0 %action`insert_usb`Industriel78593,6 %158 34046,0 %action`caulk_gun`Industriel86693,0 %174 49434,1 %action`adjust_mirror`Automobile85692,9 %172 46520,0 %action`sand_surface`Industriel85692,9 %172 46555,3 %action`cut_pipe`Construction68592,6 %137 97241,8 %action`machine_unload`Industriel68592,6 %137 97230,9 %action`unload_truck`Industriel68592,6 %138 04035,3 %action`machine_lever`Industriel80692,5 %162 32021,2 %action`assemble_snap_fit`Industriel77692,2 %156 31051,3 %action`measure_tape`Industriel76692,1 %154 20442,1 %action`chisel_carve`Industriel49491,8 %99 42142,9 %action`wrench_bolt`Industriel85791,8 %172 46534,1 %action`hammer_nail`Industriel84791,7 %170 43620,2 %action`solder_pipe`Construction70691,4 %142 03037,1 %action`step_over`Corps entier70691,4 %142 10028,6 %action`gauge_read`Industriel78791,0 %158 26235,9 %action`fold`Tabletop (DROID)77790,9 %158 76957,1 %action`tile_place`Construction83890,4 %168 40730,1 %action`solder`Industriel55689,1 %111 59545,5 %action`screwdriver`Industriel72888,9 %146 08843,1 %action`bend_lift`Corps entier62788,7 %125 86032,3 %action`power_drill_hole`Industriel70888,6 %142 03040,9 %action`solder_joint`Industriel61788,5 %123 83055,7 %action`mix_cement`Construction68888,2 %137 97243,3 %action`nail_gun`Construction68888,2 %137 97229,8 %action`drywall_screw`Construction72987,5 %146 08828,2 %action`lay_brick`Construction801087,5 %162 32027,5 %action`clamp_workpiece`Industriel62887,1 %125 79835,5 %action`machine_load`Industriel62887,1 %125 79819,4 %action`cut_vegetable`Domestique831186,7 %168 40742,2 %action`torque_wrench`Industriel831186,7 %168 40731,3 %action`cut_knife`Domestique731086,3 %148 11734,2 %action`tire_pressure`Automobile731086,3 %148 11747,9 %action`weld_seam`Industriel871286,2 %176 52331,4 %action`pliers_grip`Industriel721086,1 %146 08850,7 %action`paint_brush`Construction901385,6 %182 61022,2 %action`wire_cut`Industriel761185,5 %154 20434,2 %action`paint_roller`Construction791383,5 %160 29115,2 %action`breadboard_wire`Industriel651183,1 %131 95044,6 %action`change_tire`Automobile691282,6 %140 00150,0 %action`kneel_work`Corps entier551081,8 %111 65045,5 %action`change_tire_wrench`Automobile711381,7 %144 05946,4 %action`assemble_part`Industriel701381,4 %142 03064,3 %action`check_oil_dipstick`Automobile801581,2 %162 32043,8 %action`screw_panel`Industriel811680,2 %164 43037,5 %action`lathe_operate`Industriel511178,4 %103 47931,4 %action`engine_bay`Automobile771777,9 %156 23356,6 %action`probe_test`Industriel631477,8 %127 89054,8 %action`machine_control`Industriel781876,9 %158 26236,4 %action`screwdriver_drive`Industriel782074,4 %158 26239,5 %action`weld`Industriel862274,4 %174 49431,4 %action`power_drill`Industriel701874,3 %142 03048,6 %action`impact_driver`Industriel701972,9 %142 03035,3 %action`sit_stand`Corps entier28871,4 %56 84035,7 %action`tape_box`Industriel752369,3 %152 25026,4 %action`jack_up_car`Automobile782469,2 %158 26227,3 %action`hand_saw_cut`Industriel772567,5 %156 23332,9 %action`grinder_use`Industriel692366,7 %140 00142,6 %action`pack_box`Industriel732861,6 %148 11750,0 %action`car_door`Automobile933661,3 %188 69720,4 %action`car_door_close`Automobile913660,4 %184 63926,4 %action`car_door_open`Automobile923858,7 %186 66822,8 %action`wash_car_panel`Automobile783653,8 %158 26241,6 %action`wash_car`Automobile723650,0 %146 08845,1 %actionFacilité de découverte par action. « Mentionnés » compte les moments dont le titre, la description ou les tags portent un mot du nom de l’action selon la règle de sous-chaîne publiée. Les colonnes d’extrapolation multiplient le rendement mesuré par shard de chaque action par le nombre de shards de l’index et divisent par le chevauchement inter-actions mesuré ; « base du taux » indique si le taux utilisable a été mesuré sur les images de cette action, hérité de son domaine, ou hérité du taux à l’échelle du corpus. #### 3.5 Obtenir les images Pour vérifier que la récupération était correcte, nous avons extrait une vraie image de chaque vidéo correspondante et l’avons examinée. Ce que YouTube expose sans extraire la vidéo est le storyboard, une feuille de sprites de miniatures dont l’intervalle d’échantillonnage s’élargit avec la durée : nous avons mesuré 1 s pour les vidéos jusqu’à 109 s, 2 s de 175 s à 275 s, 5 s de 454 s à 892 s, et 10 s à partir de 1 366 s. Les limites entre ces bandes n’ont pas été résolues par les 12 vidéos que nous avons sondées. L’image que nous avons évaluée est l’échantillon le plus proche à ou avant la seconde correspondante, donc elle peut être en avance d’un intervalle au maximum, 10 s dans le pire des cas et 5 s ou 10 s pour un peu plus de la moitié des images. Mesuré par `storyboard_probe.py` ; les spécifications par vidéo sont dans `data/storyboard_spec.json`. Un modèle de vision a évalué les 10 750 des 10 828 images obtenues, donc chaque taux ici est mesuré sur 99,3 % du corpus plutôt que sur un échantillon. **93,8 %** sont de vraies images plutôt que des animations, des jeux ou des enregistrements d’écran ; **25,7 %** ont capturé l’action visiblement en cours et 57,4 % l’ont montrée en cours ou préparée ; **34,5 %** ont obtenu 3 ou plus sur une échelle d’utilisabilité de 0 à 5. Ce dernier chiffre est un jugement sur un processus d’entraînement en aval que le modèle ne peut pas observer, et il se comporte comme tel : sur un échantillon de 60 images, quatre exécutions de la même configuration ont couvert 3,4 points, et reformuler le critère l’a déplacé de 20. La part d’action visible s’est déplacée de 1,7 sur ce même changement de critère, ce qui en fait le chiffre à comparer entre les exécutions. Acquisition des images : ![Résultats d'extraction d'images sur tous les moments tentés](https://media.brightdata.com/2026/08/acquisition.svg)Chiffres en format tableauRésultatMomentsPartImages obtenues10 750 / 10 82899 %Pas de storyboard analysable750,7 %Échec de récupération du sprite30,03 %Acquisition des images. Nous avons récupéré les storyboards directement et avons rencontré une limitation de débit sur 863 des 10 828 moments, dont 856 ont été récupérés lors d’une passe ultérieure, donc aucun des 78 moments perdus ne s’est terminé sur un 429 ; l’[API Media Data](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json) est la route prise en charge pour cette étape et renvoie les storyboards directement. Cet audit n’y a fait aucun appel. Ces moments se trouvent sur 7 549 vidéos, et une vidéo coûte une récupération de page de visionnage plus au moins une feuille de sprites, mise en cache par vidéo. --- ### 4 Les moments, lisibles Les correspondances sont affichées par rapport à l’image de storyboard la plus proche à ou avant la seconde à laquelle elles ont été trouvées. Le classement n’est pas curé. 10 750 des 10 828 moments ont leur propre image, et la galerie complète contient 10 761 lignes car 11 autres partagent une image avec une autre action correspondante à la même seconde. Ces lignes reposent sur 8 792 images distinctes, car le nom de fichier indique une vidéo et une seconde plutôt qu’une action. Voici les moments correspondants les mieux classés, un par action, directement issus du classement. **Cliquez sur n’importe quelle image pour lire la vidéo source à la seconde correspondante.** [![Main utilisant un mètre ruban sur une planche en bois](https://media.brightdata.com/2026/08/dsOefN6Mny8_168.jpg)](https://www.youtube.com/watch?v=dsOefN6Mny8&t=166s)[![Mains tenant un coupe-tube en cuivre](https://media.brightdata.com/2026/08/cKl6h0O2n80_701.jpg)](https://www.youtube.com/watch?v=cKl6h0O2n80&t=699s)[![Mains gantées roses arrangeant de petites pièces métalliques blanches](https://media.brightdata.com/2026/08/3FQl-uhcrYI_138.jpg)](https://www.youtube.com/watch?v=3FQl-uhcrYI&t=136s)`measure_tape` · 0,391 · utile 4/5 Main utilisant un mètre ruban sur une planche en bois *Shootout review and a work story!*`cut_pipe` · 0,388 · utile 2/5 Mains tenant un coupe-tube en cuivre *How Raw Copper Turns into a Masterpiece with Artistic Hammer Strikes⚒️🔥🇮🇷*`machine_load` · 0,386 · utile 2/5 Mains gantées roses arrangeant de petites pièces métalliques blanches *THK rail | Installation guide | THK rail | Rail removal and installation | 0363.*[![Mains sur les commandes et le volant d'un chariot élévateur](https://media.brightdata.com/2026/08/bqZxQKw5WEU_342.jpg)](https://www.youtube.com/watch?v=bqZxQKw5WEU&t=340s)[![Mains près d'un circuit imprimé, configuration de soudure peu claire](https://media.brightdata.com/2026/08/dNi7ayBp2nk_577.jpg)](https://www.youtube.com/watch?v=dNi7ayBp2nk&t=575s)[![Les deux mains tenant le volant, en train de tourner](https://media.brightdata.com/2026/08/RtV-k39-4_496.jpg)](https://www.youtube.com/watch?v=_RtV-k39--4&t=494s)`forklift_controls` · 0,383 · utile 5/5 Mains sur les commandes et le volant d’un chariot élévateur *JUST DRIVE : Forklift #38*`solder` · 0,382 · utile 3/5 Mains près d’un circuit imprimé, configuration de soudure peu claire *⚡ Simple DIY Repair Old Bike Battery And Install Separate USB Charging Port For* `steering_turn` · 0,378 · utile 5/5 Les deux mains tenant le volant, en train de tourner *1995 Volvo 850 T5-R Wagon – POV Driving Impressions*[![Main près de rouleaux de ruban adhésif et de fournitures d'emballage](https://media.brightdata.com/2026/08/Acq-JaCaZ4s_236.jpg)](https://www.youtube.com/watch?v=Acq-JaCaZ4s&t=234s)[![Mains manipulant du tissu blanc sur une surface](https://media.brightdata.com/2026/08/NIUlXM8eO-c_441.jpg)](https://www.youtube.com/watch?v=NIUlXM8eO-c&t=439s)[![Mains gantées près d'une installation de machine industrielle](https://media.brightdata.com/2026/08/aDD3H8-GLw8_887.jpg)](https://www.youtube.com/watch?v=aDD3H8-GLw8&t=885s)`tape_box` · 0,376 · utile 1/5 Main près de rouleaux de ruban adhésif et de fournitures d’emballage *Cell 32140 high discharge line – battery pack accessories 0824457979*`wipe` · 0,374 · utile 3/5 Mains manipulant du tissu blanc sur une surface *Washed Notebook ASMR 📘✨ Radiator‑Dried Pages With Intense Crinkles*`machine_unload` · 0,373 · utile 1/5 Mains gantées près d’une installation de machine industrielle *Transmission Assembly – 1929 Ford Model A*[![Mains positionnant un pistolet à clous sur un cadre en bois](https://media.brightdata.com/2026/08/qugpJY_vgYQ_731.jpg)](https://www.youtube.com/watch?v=qugpJY_vgYQ&t=729s)[![Personne se levant d'une chaise en utilisant les accoudoirs](https://media.brightdata.com/2026/08/Wlw81mG4t74_863.jpg)](https://www.youtube.com/watch?v=Wlw81mG4t74&t=861s)[![Main écrivant dans un cahier près d'un presse-papiers](https://media.brightdata.com/2026/08/GKP-rqZoDuo_21084.jpg)](https://www.youtube.com/watch?v=GKP-rqZoDuo&t=21082s)`nail_gun` · 0,371 · utile 4/5 Mains positionnant un pistolet à clous sur un cadre en bois *Building a deck for garden raised bed – Part 1*`sit_stand` · 0,371 · utile 5/5 Personne se levant d’une chaise en utilisant les accoudoirs *Flexibility and Mobility Senior Chair Exercise*`count_stock` · 0,371 · utile 2/5 Main écrivant dans un cahier près d’un presse-papiers *\[26.4.16.Thu.\] Study with me | Studying together | Thursday meet-up! | Firefight*[![Deux mains tenant des sondes de multimètre sur un circuit](https://media.brightdata.com/2026/08/BsuRceDcme4_1360.jpg)](https://www.youtube.com/watch?v=BsuRceDcme4&t=1358s)[![Mains tenant des bouteilles près d'une ouverture de boîte, sans découpe](https://media.brightdata.com/2026/08/2aPPTbhPz3w_11813.jpg)](https://www.youtube.com/watch?v=2aPPTbhPz3w&t=11811s)[![Personne allongée sur le sol en position de travail](https://media.brightdata.com/2026/08/oATd18wPPe8_67.jpg)](https://www.youtube.com/watch?v=oATd18wPPe8&t=65s)`probe_test` · 0,371 · utile 5/5 Deux mains tenant des sondes de multimètre sur un circuit *How to Measure Electronic Components with a Multimeter (Complete Guide)*`open_carton` · 0,369 · utile 2/5 Mains tenant des bouteilles près d’une ouverture de boîte, sans découpe *Oddly Satisfying Video-How to Cutting New Wooden Fruits and Vegetables ASMR – Cu*`kneel_work` · 0,369 · utile 3/5 Personne allongée sur le sol en position de travail *Lupimorphie, animal-performance by Régis Moulu, Capsule 114, dance*[![Personne poussant un chariot lourd des deux mains](https://media.brightdata.com/2026/08/Rc0zu29h0Rg_25.jpg)](https://www.youtube.com/watch?v=Rc0zu29h0Rg&t=23s)[![Main guidant un ciseau dans une sculpture sur bois](https://media.brightdata.com/2026/08/KKiSvsIFetg_13275.jpg)](https://www.youtube.com/watch?v=KKiSvsIFetg&t=13273s)[![Main tournant la manivelle du chariot transversal d'un tour avec une pièce en rotation](https://media.brightdata.com/2026/08/uF8evG-9QH8_746.jpg)](https://www.youtube.com/watch?v=uF8evG-9QH8&t=744s)`push_heavy_cart` · 0,367 · utile 4/5 Personne poussant un chariot lourd des deux mains *2321FI”2-Step Multi-Functional Aluminum Alloy Step Trolley: Comprehensive Usage* `chisel_carve` · 0,366 · utile 5/5 Main guidant un ciseau dans une sculpture sur bois *adapter et surmonter 🌱*`lathe_operate` · 0,362 · utile 5/5 Main tournant la manivelle du chariot transversal d’un tour avec une pièce en rotation *Unbelievable Damage! Caterpillar Cylindrical Roller Bearing Destroyed 😱*Chaque cellule : l’action pour laquelle elle a été trouvée et son score de pertinence, puis ce que le modèle de vision a vu dans l’image (montrée sans le titre), puis le titre de la vidéo en anglais. Les horodatages s’ouvrent deux secondes avant pour que le moment entre en jeu. --- ### 5 Travaux connexes La récupération d’un moment par description est une tâche établie : ancrage temporel sur [Charades-STA](https://arxiv.org/abs/1705.02101), détection de points forts sur [QVHighlights](https://arxiv.org/abs/2107.09609), requêtes en langage naturel dans [Ego4D](https://arxiv.org/abs/2110.07058). Nous n’introduisons aucune nouvelle méthode ici. La construction a des précédents. [TVR](https://arxiv.org/abs/2001.09099) (2020) a étiqueté ses 108 965 requêtes selon que la vidéo, les sous-titres ou les deux y répondaient, rapportant **74,2 % vidéo uniquement**. Ce qui diffère, c’est le corpus et l’objectif : vidéo web ouverte plutôt que six séries télévisées, actions physiques, un sous-échantillon vérifié, et un ratio de coût. Le format de publication suit [AVA](https://research.google.com/ava/download.html) et [HowTo100M](https://www.di.ens.fr/willow/research/howto100m/) : identifiant, horodatage et étiquette, sans redistribution de vidéo. La récupération tout au long utilise l’[API de recherche vidéo](/ai/video-data/vla). Les images ici ont été obtenues en analysant le storyboard YouTube depuis la page de visionnage ; aucun clip n’a été extrait à aucun moment. Pour une exécution en production, la route prise en charge est l’[API Media Data](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json). Ce que l’audit établit est plus étroit qu’un remplacement des démonstrations robotiques. Le web contient une couche importante et mal indexée d’images d’actions physiques, et la recherche visuelle horodatée rend cette couche considérablement plus facile à atteindre. La question de savoir si les images curées de cette façon améliorent de manière mesurable un système de robotique ou de modèle de monde est la prochaine question, et y répondre nécessite une expérience d’entraînement que cet audit n’a pas réalisée. --- ### 6 Citation ```none @misc{webmoments2026, title = {Finding the Web's Hidden Robot Training Moments in Public Web Video Data}, author = {Bright Data}, year = {2026}, howpublished = {Technical report}, note = {141 physical actions, 10,828 retrieved match rows over 8,849 distinct video-second moments, and 10,750 frames reviewed by a vision model} } ``` Contacter ventesEssai gratuit![google social icon](/wp-content/themes/brightdata/assets/images/ic_google.svg) Table des matières [ ](https://news.ycombinator.com/submitlink?t=Trouver+les+moments+cach%C3%A9s+d%26%238217%3Bentra%C3%AEnement+robotique+dans+les+vid%C3%A9os+publiques+du+web&u=https://brightdata.fr/blog/ai/robot-training-data-in-public-web-video) [ ](https://www.linkedin.com/shareArticle?mini=true&title=Trouver+les+moments+cach%C3%A9s+d%26%238217%3Bentra%C3%AEnement+robotique+dans+les+vid%C3%A9os+publiques+du+web&url=https://brightdata.fr/blog/ai/robot-training-data-in-public-web-video) [ ](http://www.reddit.com/submit?title=Trouver+les+moments+cach%C3%A9s+d%26%238217%3Bentra%C3%AEnement+robotique+dans+les+vid%C3%A9os+publiques+du+web&url=https://brightdata.fr/blog/ai/robot-training-data-in-public-web-video) ## Vous pourriez aussi être intéressé par [ ![OpenHuman with Bright Data](https://media.brightdata.fr/2026/09/OpenHuman-with-Bright-Data.png) ](https://brightdata.fr/blog/ai/openhuman-with-bright-data "Accès Web Prêt pour la Production dans OpenHuman via le CLI Bright Data") [AI ![Antonello Zanini](https://media.brightdata.fr/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### Accès Web Prêt pour la Production dans OpenHuman via le CLI Bright Data Intégrez le CLI Bright Data avec OpenHuman pour permettre un accès web prêt pour la production et la collecte de données pour les agents IA. 09-Sep-2026 14 min de lecture ](https://brightdata.fr/blog/ai/openhuman-with-bright-data) [ ![Multimodal Web Scraping with MiniMax](https://media.brightdata.fr/2026/09/Multimodal-Web-Scraping-with-MiniMax.png) ](https://brightdata.fr/blog/donnees-web/multimodal-web-scraping-with-minimax "Scraping Web Multimodal avec MiniMax") [Données Web ![Antonello Zanini](https://media.brightdata.fr/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### Scraping Web Multimodal avec MiniMax Associez Bright Data Web Unlocker avec la vision MiniMax M3 pour extraire des données structurées à partir d’images et de captures d’écran de pages web. 09-Sep-2026 5 min de lecture ](https://brightdata.fr/blog/donnees-web/multimodal-web-scraping-with-minimax) [ ![The 10 Best CLI Tools for Codex in 2026](https://media.brightdata.fr/2026/08/The-10-Best-CLI-Tools-for-Codex-in-2026.png) ](https://brightdata.fr/blog/ai/best-cli-tools-for-codex "Les 10 meilleurs outils CLI pour Codex en 2026 – Testés & Classés") [AI ![Daniel Shashko](https://media.brightdata.fr/2022/04/Daniel-Shashko-2-50x50.png) Daniel Shashko Web Data & AI Expert ### Les 10 meilleurs outils CLI pour Codex en 2026 – Testés & Classés Les 10 outils CLI qui rendent Codex plus rapide et plus capable, en commençant par le Bright Data CLI pour un accès web réel depuis l’intérieur du sandbox. 06-Sep-2026 24 min de lecture ](https://brightdata.fr/blog/ai/best-cli-tools-for-codex)