Apprentissage par transfert

TLDR: L’apprentissage par transfert prend un modèle entraîné sur une tâche et l’adapte à une nouvelle. Il réduit considérablement les données et le calcul nécessaires pour entraîner des systèmes IA efficaces.

L’apprentissage par transfert est une technique en apprentissage automatique. Un modèle entraîné sur une large tâche source est réutilisé comme point de départ pour une tâche cible différente. Le modèle transfère les connaissances acquises lors de la première tâche. C’est particulièrement utile lorsque les données étiquetées pour la tâche cible sont rares. L’entraînement d’un modèle de zéro nécessite de vastes données et calculs. L’apprentissage par transfert obtient de bons résultats avec beaucoup moins d’exemples.

Comment fonctionne l’apprentissage par transfert

1. Pré-entraînement : Un grand modèle est entraîné sur un jeu de données général et volumineux. Pour la vision, il s’agit souvent d’ImageNet. Pour le langage, c’est un large corpus textuel.
2. Transfert : Les poids du modèle pré-entraîné sont copiés vers un nouveau modèle.
3. Affinage : Le nouveau modèle est ensuite entraîné sur un jeu de données plus petit et spécifique à la tâche. Les premières couches sont souvent gelées ; les couches ultérieures sont mises à jour.

Approches clés

1. Extraction de caractéristiques : Le modèle pré-entraîné est utilisé comme extracteur de caractéristiques fixe. Seule une nouvelle tête de classification est entraînée.
2. Affinage : Tout ou partie du modèle pré-entraîné est réentraîné sur le nouveau jeu de données avec un faible taux d’apprentissage.
3. Adaptation de domaine : Le modèle s’adapte d’un domaine (ex. : photos) à un autre (ex. : scanners médicaux) avec un minimum de données cibles étiquetées.

Applications

1. Vision par ordinateur : Un CNN pré-entraîné sur ImageNet est affiné pour l’imagerie médicale, la détection de défauts ou l’imagerie satellitaire. Voir : vision par ordinateur.
2. NLP : Des modèles comme BERT et GPT sont pré-entraînés sur des textes web, puis affinés pour l’analyse de sentiment, la reconnaissance d’entités nommées ou les questions-réponses.
3. Robotique : Les compétences de manipulation apprises en simulation se transfèrent à des robots réels. Cela réduit la collecte coûteuse de données d’entraînement dans le monde réel.
4. Conduite autonome : Les modèles de perception pré-entraînés sur de grands jeux de données s’adaptent à de nouveaux types de véhicules ou environnements avec peu de nouvelles données.

Apprentissage par transfert et efficacité des données

L’apprentissage par transfert est l’une des techniques les plus pratiques de l’IA moderne. Il réduit les besoins en données étiquetées de millions d’exemples à quelques milliers. La qualité des données du domaine source reste importante. Un modèle pré-entraîné sur des données propres et diversifiées se transfère mieux. Les jeux de données de Bright Data aident les équipes à construire des corpus de pré-entraînement et des jeux de données d’affinage de haute qualité dans divers domaines.