Utilisation de la connexion Composio de Bright Data pour des agents IA plus puissants

Dans ce tutoriel, vous découvrirez :

• Ce qu’est Composio et ses capacités uniques pour la création d’agents IA.
• Pourquoi connecter des agents IA à Bright Data via Composio.
• La liste des outils de Bright Data disponibles dans Composio.
• Comment alimenter un agent IA avec Bright Data à l’aide de Composio et OpenAI Agents.

C’est parti !

Qu’est-ce que Composio ?

Composio est une plateforme tout-en-un qui permet aux agents IA et aux LLM d’interagir avec des outils du monde réel. Plus précisément, elle fournit des intégrations plug-and-play avec plus de 870 boîtes à outils, gérant pour vous l’authentification, les déclencheurs et le mappage API.

Composio est alimenté par une infrastructure cloud. Il est également pris en charge par les SDK open source Python et TypeScript, disponibles sur un référentiel GitHub avec 26,4 k étoiles. Cela démontre la popularité et l’adoption de cette nouvelle approche de la création d’agents IA au sein de la communauté des développeurs.

Compatible avec les agents de plusieurs frameworks, Composio garantit des appels d’outils précis et une observabilité en temps réel. Parmi les fonctionnalités pertinentes, citons la prise en charge multi-agents, des compétences évolutives qui s’améliorent à mesure que les agents les utilisent, une passerelle MCP gérée pour la mise à l’échelle et une sécurité conforme à la norme SOC 2.

Pourquoi connecter un agent IA à Bright Data via Composio

L’intérêt d’une solution comme Composio est simple : les LLM sont intrinsèquement limités. Après tout, ils ne peuvent pas interagir directement avec le monde extérieur à moins que des outils spécifiques ne leur soient fournis. C’est là que Composio entre en jeu !

Composio simplifie considérablement la découverte, l’adoption et l’utilisation d’outils provenant de centaines de fournisseurs pour les agents IA. Les principaux inconvénients des LLM sont les suivants :

1. Ils ne peuvent fonctionner que sur la base de leurs données d’entraînement, qui deviennent rapidement obsolètes une fois le modèle publié.
2. Ils ne peuvent pas interagir directement avec le web, qui est aujourd’hui la source principale d’informations et de valeur.

Ces deux problèmes peuvent être résolus en équipant un agent IA avec Bright Data, l’un des kits d’outils officiellement disponibles dans Composio.

Les solutions Bright Data permettent aux agents IA de rechercher sur le web, de récupérer des informations à jour et d’interagir avec elles. Cela est rendu possible grâce à des solutions telles que :

• API SERP: récupérez les résultats de recherche Web de Google, Bing, Yandex et d’autres moteurs de recherche, à grande échelle et sans être bloqué.
• API Web Unlocker: accédez à n’importe quel site web et recevez du code HTML ou Markdown propre, avec gestion automatique des proxys, rotation des IP, empreintes digitales et CAPTCHA.
• API de Scraping web: récupérez des données structurées à partir de plateformes populaires telles qu’Amazon, LinkedIn, Yahoo Finance, Instagram et plus de 100 autres.
• Et d’autres solutions…

Ces services sont regroupés sous forme d’outils spécifiques à Composio, que vous pouvez facilement connecter à votre agent IA à l’aide de n’importe quelle technologie d’agent IA prise en charge.

Composio–Bright Data Connection : liste des outils

Les outils Bright Data disponibles dans Composio sont les suivants :

Comment créer un agent IA alimenté par Bright Data dans Composio

Dans cette section étape par étape, vous apprendrez comment intégrer Bright Data dans un agent IA à l’aide de Composio. Plus précisément, vous comprendrez comment alimenter un agent IA en Python avec OpenAI Agents et le connecter à Bright Data via le SDK Composio.

Suivez les instructions ci-dessous !

Prérequis

Pour suivre ce tutoriel, assurez-vous de disposer des éléments suivants :

• Python 3.9 installé localement.
• Un compte Composio.
• Une clé API OpenAI.
• Un compte Bright Data avec une clé API configurée.

Pour plus d’informations sur la configuration d’un compte Bright Data et la génération d’une clé API, consultez la documentation officielle de Bright Data.

Étape n° 1 : Démarrer avec Composio à l’aide des agents OpenAI

Inscrivez-vous à Composio si vous n’avez pas encore de compte, ou connectez-vous simplement. Vous arriverez sur la page « Aperçu » :

Cette page contient des instructions pour configurer un agent IA simple intégré à Composio à l’aide des agents OpenAI. Le tableau de bord web fournit également des exemples utilisant Claude Agents, LangChain, Vercel AI et plusieurs autres frameworks.

Dans ce guide, nous allons créer un agent IA connecté à Bright Data via Composio dans le SDK OpenAI Agents. Cela dit, vous pouvez facilement adapter l’exemple ci-dessous à tout autre framework d’agent IA pris en charge.

Remarque: pensez également à vérifier comment intégrer Bright Data directement dans le SDK OpenAI Agents.

Commencez par créer un dossier pour votre projet et accédez-y :

mkdir composio-bright-data-ai-agent
cd composio-bright-data-ai-agent

Ensuite, initialisez un environnement virtuel:

python -m venv .venv

Ajoutez un nouveau fichier appelé agent.py à la racine du projet. La structure de votre répertoire devrait maintenant ressembler à ceci :

composio-bright-data-IA-agent/
├── .venv/
└── agent.py

Le fichier agent.py contiendra la logique de définition de l’agent IA.

Chargez le dossier du projet dans votre IDE Python préféré, tel que PyCharm Community Edition ou Visual Studio Code avec l’extension Python.

Activez maintenant l’environnement virtuel que vous venez de créer. Sous Linux ou macOS, exécutez :

source .venv/bin/activate

De manière équivalente, sous Windows, exécutez :

.venv/Scripts/activate

Une fois l’environnement virtuel activé, installez les paquets PyPI requis répertoriés sur la page « Overview » :

pip install composio composio-openai-agents openai-agents

Les dépendances pour cette application sont les suivantes :

• composio: SDK Python pour interagir avec la plateforme Composio, permettant l’exécution d’outils, la gestion de l’authentification et l’intégration de frameworks d’IA.
• composio-openai-agents: couche d’intégration reliant les outils Composio au framework OpenAI Agents pour des workflows basés sur des agents transparents.
• openai-agents: framework léger et indépendant du fournisseur pour la création de workflows multi-agents à travers les API OpenAI et plus de 100 fournisseurs LLM.

Bravo ! Vous disposez désormais d’un projet Composio OpenAI Agents.

Étape n° 2 : configurer le chargement des clés API avec des variables d’environnement

Votre agent IA se connectera à des services tiers, notamment Composio et OpenAI. Pour éviter de coder en dur les informations d’identification directement dans votre script, vous allez configurer l’agent pour qu’il lise les clés API à partir d’un fichier .env.

Commencez par installer python-dotenv dans votre environnement virtuel activé :

pip install python-dotenv

Dans agent.py, ajoutez l’importation suivante en haut du fichier :

from dotenv import load_dotenv

Ensuite, créez un fichier .env à la racine de votre projet :

composio-bright-data-ai-agent/
├─── .venv/
├─── agent.py
└─── .env    # <-----

Remplissez le fichier .env avec vos clés API Composio et OpenAI :

COMPOSIO_API_KEY="<VOTRE_CLÉ_API_COMPOSIO>"
OPENAI_API_KEY="<VOTRE_CLÉ_API_OPENAI>"

Remplacez les espaces réservés par vos clés API réelles. Si vous ne savez pas où trouver votre clé API Composio, rendez-vous dans la section « Paramètres » de votre compte :

Enfin, chargez les variables d’environnement dans agent.py en appelant :

load_dotenv()

Et voilà ! Votre script peut désormais lire en toute sécurité les secrets requis à partir du fichier .env sans les exposer dans le code.

Étape n° 3 : Configurer la boîte à outils Bright Data dans Composio

Pour configurer la boîte à outils Bright Data dans Composio, vous devez suivre quelques étapes dans le tableau de bord Composio.

Commencez par cliquer sur la section « Browser Toolkits » (Boîtes à outils du navigateur) dans l’onglet « Overview » (Aperçu) :

Vous serez redirigé vers la page des boîtes à outils Composio :

Ici, vous pouvez parcourir toutes les intégrations prises en charge par Composio. Utilisez la barre de recherche pour rechercher « bright data », puis cliquez sur la carte correspondante :

Vous serez redirigé vers la page du kit d’outils Composio Bright Data :

Sur cette page, vous pouvez explorer les outils disponibles, consulter la documentation et voir les détails d’utilisation. Pour continuer, cliquez sur le bouton « Ajouter au projet ».

Lorsque vous êtes invité à configurer les détails d’authentification :

• Définissez un nom de configuration d’authentification (vous pouvez conserver le nom généré automatiquement par défaut).
• Sélectionnez la méthode d’authentification : API KEY (la seule option d’authentification principale pour Bright Data).

Une fois prêt, cliquez sur « Créer une configuration d’authentification Bright Data » pour continuer :

Remarque: une configuration d’authentification Composio est une configuration réutilisable qui stocke en toute sécurité les identifiants, les méthodes d’authentification et les autorisations pour les services externes. Votre agent IA utilisera cette configuration d’authentification via le SDK Composio pour se connecter aux outils Bright Data par programmation.

Parfait ! Il est temps d’authentifier l’intégration Bright Data dans Composio.

Étape n° 4 : authentifier l’intégration Bright Data

Après avoir ajouté la boîte à outils Bright Data dans Composio, vous devez connecter votre compte Bright Data afin que l’intégration puisse fonctionner correctement. Cela permet à Composio d’accéder aux services de Scraping web et de données de Bright Data et de les exposer à vos agents IA via le SDK Composio.

Pour connecter votre compte Bright Data, cliquez sur le bouton « Connect Account » (Connecter le compte) sur la page « Auth Configs » (Configurations d’authentification) correspondante :

Un identifiant utilisateur externe s’affichera :

Copiez cette valeur et collez-la dans votre fichier agent.py en tant que variable Python :

COMPOSIO_EXTERNAL_USER_ID = "<VOTRE_COMPOSIO_EXTERNAL_USER_ID>"

Dans Composio, un identifiant utilisateur détermine les comptes connectés et les données auxquels vous pouvez accéder. Chaque exécution d’outil, demande d’autorisation et opération de compte nécessite un identifiant utilisateur pour identifier le contexte correct. En gros, les identifiants utilisateur agissent comme des conteneurs qui regroupent les comptes connectés à travers les boîtes à outils. Ils peuvent représenter un utilisateur individuel, une équipe ou même une organisation entière.

Cliquez ensuite sur « Connecter le compte » pour continuer. Vous serez invité à saisir votre clé API Bright Data :

Collez votre clé API Bright Data et finalisez la connexion en cliquant sur le bouton « Connecter le compte ». Une fois cette opération terminée, vous devriez voir le compte connecté avec le statut « ACTIF » dans l’onglet « Comptes connectés » :

Cela confirme que Composio s’est authentifié avec succès grâce à votre clé API Bright Data. La boîte à outils Bright Data est désormais disponible pour être utilisée dans votre agent IA !

Vous pouvez même tester l’intégration directement dans l’application web Composio via la fonctionnalité « Playground » :

Incroyable ! Bright Data est désormais entièrement authentifié et intégré à Composio.

Étape n° 5 : Initialiser une session Composio

Vous avez maintenant tout ce qu’il faut pour connecter votre agent IA basé sur OpenAI Agents à Bright Data via le SDK Composio.

Commencez par initialiser Composio avec le fournisseur OpenAI Agents :

from composio import Composio
from composio_openai_agents import OpenAIAgentsProvider

# Initialiser Composio avec le fournisseur OpenAI Agents
composio = Composio(provider=OpenAIAgentsProvider())

Remarque: le constructeur Composio recherche automatiquement la variable d’environnement COMPOSIO_API_KEY (que vous avez déjà définie) et l’utilise pour l’authentification. Vous pouvez également passer la clé API explicitement via l’argument api_key.

Ensuite, créez une session Tool Router limitée à l’intégration Bright Data :

# Créer une session Tool Router
session = composio.create(
    user_id=COMPOSIO_EXTERNAL_USER_ID,
    toolkits=["brightdata"],
    auth_configs={"brightdata": "ac_XXXXXXXXX"}, # Remplacer par votre ID de configuration d'authentification pour la boîte à outils Bright Data
)

Tool Router est le tout dernier outil de Composio, désormais utilisé par défaut, pour alimenter les outils au sein des agents IA. Il s’agit d’une interface unifiée qui permet à un agent de découvrir les outils disponibles, de planifier les outils à utiliser, de gérer l’authentification et d’exécuter des actions sur des milliers d’intégrations Composio. Il expose un ensemble de méta-outils qui gèrent ces tâches en arrière-plan, sans surcharger le contexte de l’agent.

La méthode composio.create() initialise une session Tool Router, qui définit le contexte dans lequel l’agent opère. Par défaut, un agent a accès à toutes les boîtes à outils Composio et est invité, au moment de l’exécution, à authentifier les outils qu’il souhaite utiliser.

Dans ce cas, cependant, vous avez déjà configuré Bright Data dans le tableau de bord Composio, vous souhaitez donc vous y connecter explicitement dans le code. Pour ce faire, procédez comme suit :

• Spécifiez « brightdata » dans l’argument toolkits (il s’agit du slug officiel du kit d’outils Composio Bright Data).
• Mappant « brightdata » à son ID de configuration d’authentification dans auth_configs.

Si vous vous demandez où trouver ces informations (slug + Auth Config ID), vous pouvez les trouver sur la page « Auth Configs » du kit d’outils Bright Data dans le tableau de bord Composio :

Remarque: dans Composio, les identifiants Auth Config commencent par le préfixe « ac ». N’oubliez pas non plus que les slugs des boîtes à outils ne sont pas sensibles à la casse, donc « BRIGHTDATA » équivaut à « brightdata ».

Vous pouvez maintenant vérifier que Bright Data est correctement connecté avec :

toolkits = session.toolkits()
for toolkit in toolkits.items:
    print(toolkit.name)
    print(toolkit.connection)

Le résultat devrait être :

Bright Data
ToolkitConnection(is_active=True, auth_config=ToolkitConnectionAuthConfig(id='ac_XXXXXXXXX', mode='API_KEY', is_composio_managed=False), connected_account=ToolkitConnectedAccount(id='ca_YYYYYYYY', status='ACTIVE'))

Cela confirme que :

• La connexion au toolkit est active.
• Le statut du compte connecté est ACTIF.

Cela signifie que le SDK Composio s’est connecté avec succès à votre intégration Bright Data et que le kit d’outils est prêt à être utilisé par votre agent IA. Formidable !

Étape n° 6 : définir l’agent IA

Compte tenu de la session Composio Tool Router, récupérez les outils disponibles avec :

tools = session.tools()

Transmettez ces outils à un agent IA OpenAI Agents comme ci-dessous :

from agents import Agent

agent = Agent(
    name="Web Data Assistant",
    instructions=(
        "Vous êtes un assistant utile qui a accès à la boîte à outils de Bright Data "
        "pour le Scraping web, l'accès aux données et le Web Unlocker."
    ),
    model="gpt-5-mini",
    tools=tools,
)

Cela crée un assistant de données web alimenté par le modèle GPT-5 mini, pleinement conscient de son intégration avec les outils Bright Data.

Remarque: l’authentification à votre compte OpenAI se fait automatiquement, car le SDK OpenAI Agents recherche la variable d’environnement OPENAI_API_KEY (que vous avez définie précédemment).

Mission accomplie ! Vous disposez désormais d’un agent IA alimenté par OpenAI qui s’intègre de manière simplifiée à Bright Data via Composio. Il ne reste plus qu’à le tester dans un scénario réel.

Étape n° 7 : lancer l’agent

Pour vérifier que l’agent IA fonctionne, vous devez lui confier une tâche qui nécessite l’accès à des données web. Vous pouvez par exemple lui demander de gérer un scénario marketing courant, tel que l’analyse des sentiments sur un produit donné à partir des avis le concernant.

Dans ce cas, concentrons-nous sur les avis G2 concernant le produit Composio lui-même. Spécifiez la tâche comme suit :

task = """"
1. Récupérez les avis à partir de l'URL G2 suivante en utilisant le Scraper/Jeu de données le plus approprié :
'https://www.g2.com/products/composio/reviews'
2. Attendez et interrogez jusqu'à ce que l'instantané soit prêt.
3. Récupérer l'instantané contenant toutes les données collectées.
4. Analyser les avis et les informations récupérées.
5. Fournir un rapport Markdown structuré comprenant :
   - Une section d'analyse des sentiments avec des citations directes tirées des avis
   - Des informations exploitables et des recommandations d'amélioration
"""

C’est quelque chose qu’un LLM classique ne peut pas faire, car il n’a pas accès aux avis G2 en direct. De plus, G2 est réputé pour être difficile à scraper en raison de ses mesures anti-bot agressives.

Au lieu de cela, le comportement attendu de l’agent IA est le suivant :

1. Faire appel aux outils de Bright Data pour sélectionner le Scraper le plus approprié pour ce scénario (par exemple, le Bright Data G2 Scraper).
2. Exécute le Scraper sur l’URL G2 cible.
3. Utiliser l’outil dédié pour attendre et interroger l’instantané résultant contenant les avis récupérés.
4. Analyser l’instantané et produire le rapport structuré final.

Exécute l’agent avec :

import asyncio
from agents import Runner

# Exécutez l'agent IA
async def main():
    result = Runner.run_streamed(
        starting_agent=agent,
        input=task,
        max_turns=50 # Pour éviter les blocages, car l'instantané vérifie plus de 10 appels d'outils (max_turns par défaut)
    )

    # Diffuser le résultat de l'agent dans le terminal
    async for event in result.stream_events():
        # Imprimer le texte de sortie du modèle au fur et à mesure de sa diffusion
        if event.type == "raw_response_event":
            # Vérifier si l'événement contient des données textuelles de sortie (response.output_text.delta)
            if event.data.type == "response.output_text.delta":
                print(event.data.delta, end="", flush=True)

asyncio.run(main())

Parfait ! Votre agent Composio + Bright Data IA est maintenant prêt.

Étape n° 8 : assembler le tout

Votre fichier agent.py devrait maintenant contenir :

import asyncio
from composio import Composio
from composio_openai_agents import OpenAIAgentsProvider
from agents import Agent, Runner
from dotenv import load_dotenv

# Charger les variables d'environnement à partir du fichier .env
load_dotenv()

# L'ID utilisateur externe Composio
COMPOSIO_EXTERNAL_USER_ID = "pg-YYYYYYYYYYYYYYYYYYYYYYYYYYYYY" # Remplacez par votre ID utilisateur Composio

# Initialisez Composio avec le fournisseur OpenAI Agents
composio = Composio(provider=OpenAIAgentsProvider())

# Créer une session Tool Router
session = composio.create(
    user_id=COMPOSIO_EXTERNAL_USER_ID,
    toolkits=["brightdata"],
    auth_configs={"brightdata": "ac_XXXXXXXXX"}, # Remplacer par votre ID Auth Config pour la boîte à outils Bright Data
)

# Accéder aux outils Composio
tools = session.tools()

# Créer un agent IA avec des outils à l'aide du SDK OpenAI Agents
agent = Agent(
    name="Web Data Assistant",
    instructions=(
        "Vous êtes un assistant utile qui a accès à la boîte à outils Bright Data "
        "pour le Scraping web, l'accès aux données et le Web Unlocker."
    ),
    model="gpt-5-mini",
    tools=tools,)


# Décrivez la tâche d'analyse des sentiments impliquant les données web récentes de G2
task = """"
1. Récupérez les avis à partir de l'URL G2 suivante en utilisant le Scraper/Jeu de données le plus approprié :
'https://www.g2.com/products/composio/reviews'
2. Attendre et interroger jusqu'à ce que l'instantané soit prêt.
3. Récupérer l'instantané contenant toutes les données collectées.
4. Analyser les avis et les informations récupérées.
5. Fournir un rapport Markdown structuré comprenant :
   - Une section d'analyse des sentiments avec des citations directes tirées des avis
   - Des informations exploitables et des recommandations d'amélioration
"""

# Exécuter l'agent IA
async def main():
    result = Runner.run_streamed(
        starting_agent=agent,
        input=task,
        max_turns=50 # Pour éviter les blocages, car l'instantané vérifie plus de 10 appels d'outils (max_turns par défaut)
    )

    # Diffuser le résultat de l'agent dans le terminal
    async for event in result.stream_events():
        # Imprimer le texte de sortie du modèle au fur et à mesure de sa diffusion
        if event.type == "raw_response_event" :
            # Vérifier si l'événement contient des données textuelles de sortie (response.output_text.delta)
            if event.data.type == "response.output_text.delta" :
                print(event.data.delta, end="", flush=True)

asyncio.run(main())

Dans votre environnement virtuel activé, lancez-le avec :

python agent.py 

L’agent prendra un certain temps pour récupérer de manière autonome les données requises via les services Bright Data. Une fois cette opération terminée, il diffusera un rapport Markdown directement dans le terminal :

Copiez et collez cette sortie dans un visualiseur Markdown, et vous devriez voir quelque chose comme ceci :

Notez que le rapport est long, précis et étayé par des citations tirées d’avis G2 réels:

Pour mieux comprendre ce qui s’est passé en coulisses, consultez l’onglet « Logs » (Journaux) de votre compte Composio :

Vous verrez que l’agent a appelé :

1. L’outil Composio Bright Data « Parcourir les Scrapers disponibles » (BRIGHTDATA_DATASET_LIST) pour récupérer une liste de toutes les API et Jeux de données de scraping disponibles.
2. Composio Bright Data « Trigger Site Crawl » (BRIGHTDATA_CRAWL_API ) pour déclencher le Scraper G2 sur l’URL spécifiée, lançant ainsi une tâche de Scraping web asynchrone dans le cloud Bright Data.
3. L’outil « Download Scraped Data » (BRIGHTDATA_GET_SNAPSHOT_RESULTS ) de Composio Bright Data, qui a effectué des sondages jusqu’à ce que l’instantané contenant les données collectées soit prêt.

C’est exactement le comportement attendu, qui confirme que l’agent IA s’est intégré avec succès à Bright Data.

Et voilà ! En seulement 65 lignes de code, vous venez de créer un agent IA qui s’intègre parfaitement à toutes les solutions Bright Data disponibles dans Composio.

L’analyse des sentiments sur les avis G2 n’est qu’un des nombreux cas d’utilisation pris en charge par les outils de données web de Bright Data. Modifiez vos invites pour tester d’autres scénarios et explorez la documentation Composio pour découvrir des fonctionnalités plus avancées, afin de rendre votre agent prêt à être utilisé en production !

Conclusion

Dans cet article, vous avez vu comment activer les fonctionnalités de Bright Data dans un agent IA créé avec le SDK OpenAI Agents, simplifié grâce à Composio.

Grâce à cette intégration, l’agent IA a pu :

1. Découvrir automatiquement le bon Scraper web parmi les nombreux proposés par Bright Data.
2. Exécuter l’outil pour la récupération de données web.
3. Obtenir des données structurées à partir du web
4. Les traiter pour produire un rapport riche en contexte, étayé par des informations réelles et actualisées.

Ce n’était qu’un exemple. Grâce à la suite complète de services Bright Data pour l’IA, vous pouvez donner aux agents IA les moyens d’automatiser des interactions web complexes !

Créez gratuitement un compte Bright Data dès aujourd’hui et commencez à développer vos projets avec nos outils de données web prêts pour l’IA !