Apprentissage profond

TLDR: L’apprentissage profond utilise des réseaux de neurones à plusieurs couches pour apprendre des modèles complexes directement à partir de données brutes. Il alimente la vision par ordinateur, la reconnaissance vocale et les grands modèles de langage.

L’apprentissage profond est un sous-domaine du machine learning. Il utilise des réseaux de neurones avec de nombreuses couches cachées — d’où le terme « profond ». Chaque couche apprend des représentations de plus en plus abstraites de l’entrée. Les premières couches détectent des caractéristiques simples comme les contours et les textures. Les couches plus profondes reconnaissent des concepts complexes comme les visages ou le sens des phrases. L’apprentissage profond élimine largement l’ingénierie des caractéristiques manuelle — le réseau apprend ce qu’il faut rechercher directement à partir des données.

Architectures clés

1. Réseau de neurones convolutif (CNN) : L’architecture dominante pour la vision par ordinateur. Apprend les hiérarchies spatiales de caractéristiques à partir des images.
2. Réseau de neurones récurrent (RNN) / LSTM : Traite les données séquentielles. Utilisé pour la parole et les premières tâches de TALN.
3. Transformer : Utilise l’auto-attention pour modéliser les dépendances à longue portée. Désormais l’architecture dominante pour le TALN et de plus en plus pour la vision.
4. Modèle de diffusion : Apprend à générer des données en inversant un processus de bruit. Voir : modèle de diffusion.

Comment fonctionne l’apprentissage profond

1. Entrée des données : Les données brutes (images, texte, audio) entrent dans la couche d’entrée.
2. Passe avant : Les données traversent les couches. Chacune applique une transformation linéaire et une fonction d’activation non linéaire.
3. Calcul de la perte : La sortie est comparée à l’étiquette de vérité terrain.
4. Rétropropagation : Les gradients d’erreur se propagent en sens inverse. Les poids se mettent à jour via la descente de gradient pour réduire la perte.
5. Itération : Les étapes 1 à 4 se répètent sur des millions d’exemples d’entraînement.

Applications

1. Vision par ordinateur : Détection d’objets, segmentation sémantique et classification d’images.
2. Traitement du langage naturel : Traduction, résumé automatique et chatbots.
3. Reconnaissance vocale : Conversion précise du langage parlé en texte.
4. Conduite autonome : Fusion de données multi-capteurs pour la perception en temps réel.
5. Découverte de médicaments : Prédiction des propriétés moléculaires et de la structure des protéines.

Apprentissage profond et données d’entraînement

L’apprentissage profond est gourmand en données. Plus de données donnent généralement une meilleure généralisation. La diversité des données prévient le surapprentissage sur des distributions étroites. L’apprentissage par transfert réduit les besoins en données en partant de poids pré-entraînés. Les jeux de données de Bright Data fournissent des données d’entraînement de haute qualité pour les équipes d’apprentissage profond.