Grand modèle de langage

TLDR : Un grand modèle de langage (LLM) est un réseau de neurones entraîné sur des milliards de mots. Il génère, traduit et analyse le langage. GPT-4, Claude et Gemini en sont des exemples.

Un grand modèle de langage (LLM) est un type de réseau de neurones entraîné sur d’immenses corpus de textes. Il apprend à prédire le prochain token dans une séquence. Grâce à cet objectif, il développe une connaissance étendue du langage, des faits et du raisonnement. Les LLM sont la technologie centrale des assistants IA modernes, des outils de codage et des systèmes de recherche. Tous les LLM de pointe reposent sur l’architecture transformer, introduite dans l’article de 2017 « Attention Is All You Need ».

Comment les LLM sont entraînés

1. Pré-entraînement : Le modèle apprend à prédire le prochain token sur des centaines de milliards de tokens de texte. Cela construit une compréhension générale du langage.
2. Affinage : Le modèle est ensuite entraîné sur des données curées spécifiques à des tâches pour améliorer la précision sur des domaines ou formats particuliers.
3. RLHF : L’apprentissage par renforcement à partir des retours humains aligne le modèle sur les préférences humaines en matière d’utilité et de sécurité.

LLM notables

1. GPT-4 : Le modèle multimodal d’OpenAI. Propulse ChatGPT.
2. Claude : Le modèle d’Anthropic. Conçu pour la sécurité et les tâches à long contexte.
3. Gemini : Le LLM multimodal de Google. Intégré dans les produits Google.
4. LLaMA : Le modèle open-weight de Meta. Largement utilisé en recherche et en affinage.
5. DeepSeek R1 : Modèle open-weight à 671 milliards de paramètres. Performances compétitives à faible coût.

Applications des LLM

1. IA conversationnelle : Chatbots et assistants virtuels propulsés par les LLM.
2. Génération de code : Des outils comme GitHub Copilot génèrent et expliquent du code.
3. Résumé : Les LLM condensent de longs documents en résumés concis.
4. Extraction de données : Les LLM analysent des textes non structurés et produisent des données structurées.
5. Recherche : La recherche alimentée par l’IA utilise les LLM pour comprendre l’intention des requêtes.

Données d’entraînement des LLM et le Web

Les LLM nécessitent des billions de tokens de texte d’entraînement. Le web en est la principale source. La qualité des données détermine directement la qualité du modèle. Des données de mauvaise qualité, biaisées ou toxiques dégradent les performances. Les textes générés par LLM sur le web risquent de créer des boucles de rétroaction dans les futurs entraînements. Les LLM spécialisés nécessitent des textes spécifiques — juridiques, scientifiques, financiers. Les jeux de données de Bright Data fournissent des données web structurées et de haute qualité pour construire et affiner les LLM. Voir aussi : données d’entraînement, données synthétiques.