Créer des pipelines de données web automatisés dans Nexla Express avec le Web MCP de Bright Data

Dans cet article, vous verrez :

• Ce qu’est Nexla Express et ce qu’il offre.
• Pourquoi connecter le Web MCP de Bright Data le rend plus puissant.
• Comment intégrer le Web MCP de Bright Data dans Express pour créer des pipelines de données web.

Plongeons dans le vif du sujet !

Qu’est-ce que Nexla Express ?

Nexla Express, ou simplement Express, est une plateforme d’intégration de données agentique pour les entreprises. Elle vous permet de créer des pipelines de données en les décrivant en langage naturel, sans écrire de code ni gérer d’infrastructure.

Express se connecte aux API, bases de données et fichiers, puis gère automatiquement l’ingestion, la transformation et le déploiement. Il supprime le besoin de scripts ETL, de mappage de schémas et de gestion d’infrastructure.

Les cas d’usage courants incluent la création de pipelines d’analyse, la synchronisation de données entre systèmes et la préparation de jeux de données pour les rapports. Vous pouvez l’utiliser pour livrer plus vite, réduire la charge d’ingénierie et vous concentrer sur le développement produit, les insights et les décisions métier plutôt que sur la maintenance des flux de données.

Pourquoi étendre Express avec les capacités du Web MCP ?

De nombreux processus métier dépendent d’informations qui n’existent pas dans les bases de données internes ou les entrepôts de données. C’est le cas des actualités récentes, des signaux de marché et des données de tarification concurrentielle. Ces données proviennent du web public et jouent un rôle clé dans l’analyse et la prise de décision.

Cela crée deux défis majeurs :

• Accès limité aux données externes en temps réel : Les pipelines de données traditionnels opèrent principalement sur des sources internes et manquent souvent d’accès direct aux informations web actualisées.
• Difficulté à collecter des données web à grande échelle : Les sites web modernes utilisent des protections anti-bot, du contenu dynamique et des interactions complexes avec le navigateur, ce qui rend la collecte fiable de données web difficile.

Ces limitations peuvent être surmontées en étendant Express avec des capacités externes. C’est pourquoi la plateforme prend en charge les intégrations MCP.

Par exemple, en intégrant le Web MCP de Bright Data, Express accède à la recherche web en direct, à la découverte de sites, au Scraping web et à l’automatisation du navigateur. Cela permet aux pipelines de combiner données d’entreprise et informations en temps réel provenant du web.

Le Web MCP expose plus de 70 outils pour la collecte, la découverte et l’automatisation de données web. Une fois connectés à Nexla Express, ces outils deviennent disponibles dans les conversations et peuvent être intégrés aux pipelines générés.

Tous ces outils s’appuient sur le réseau mondial de Bright Data, composé de plus de 400 millions d’IPs résidentielles, avec une couverture dans 195 pays. Cette infrastructure est conçue pour gérer des charges de travail à l’échelle de l’entreprise, avec un taux de succès de 99,95 %, une disponibilité de 99,99 % et une évolutivité illimitée.

Comment connecter le Web MCP de Bright Data à Express pour des pipelines de données web

Dans cette section, vous verrez comment le Web MCP de Bright Data donne à Express la capacité de créer des pipelines de données web évolutifs et prêts pour l’entreprise.

Suivez les instructions ci-dessous !

Prérequis

Avant de passer aux étapes suivantes, assurez-vous d’avoir :

• Un compte Nexla Express (le plan gratuit suffit).
• Un compte Bright Data avec une clé API configurée. Suivez le guide officiel pour générer votre clé API Bright Data.

Bien que ce ne soit pas strictement requis, nous connecterons également une base de données Snowflake pour rendre l’exemple plus réaliste. Notez que vous pouvez utiliser toute autre source de données prise en charge par Express.

En détail, nous utiliserons le jeu de données « AI Training Dataset from Wikipedia », fourni gratuitement par Bright Data sur Snowflake. Nous le traiterons comme une base de connaissances interne qui servira de source principale dans le pipeline de données web.

Il est également utile de se familiariser avec le fonctionnement du MCP et les outils exposés par le serveur Web MCP.

Étape n°1 : Démarrer avec le Web MCP

Avant de créer votre agent Airia, obtenez l’URL de connexion qu’Airia utilisera pour accéder au serveur Web MCP distant.

Remarque : Le serveur distant Web MCP de Bright Data est conçu pour les scénarios d’entreprise. Il prend en charge une évolutivité illimitée et des connexions simultanées, comme tous les autres services Bright Data.

Familiarisez-vous d’abord avec le format d’URL de connexion distante Web MCP standard :

https://mcp.brightdata.com/mcp?token=<YOUR_BRIGHT_DATA_API_KEY>&pro=1

Remplacez <YOUR_BRIGHT_DATA_API_KEY> par votre clé API Bright Data réelle. Le paramètre token authentifie les requêtes et les associe à votre compte Bright Data. Le paramètre &pro=1 dans l’URL est facultatif :

• Sans &pro=1 : Vous accédez uniquement aux outils gratuits en mode Rapid (jusqu’à 5 000 requêtes par mois).
• Avec &pro=1 : Vous accédez au catalogue complet de 70+ outils et aux fonctionnalités avancées. Les tarifs standard de Bright Data s’appliquent.

Si vous souhaitez plus de contrôle, par exemple activer uniquement des outils ou groupes d’outils spécifiques, générez une URL de connexion MCP personnalisée directement depuis le tableau de bord Bright Data.

Connectez-vous à votre compte Bright Data et accédez à la page « AI Gateways > MCP ». Suivez l’assistant de configuration pour paramétrer votre serveur MCP et générer une URL de connexion Web MCP personnalisée :

Copiez l’URL de connexion « Streamable HTTP » obtenue, ou construisez-la en utilisant le format décrit ci-dessus. Vous l’utiliserez à l’étape suivante pour connecter le Web MCP de Bright Data à votre pipeline Express. Bien joué !

Étape n°2 : Ajouter la connexion Web MCP dans Nexla Express

Connectez-vous à Express et sélectionnez « Explore MCPs » dans le menu de gauche. Sur la page « MCP STORE », cliquez sur le bouton « Add Custom MCP » :

Ensuite, remplissez le formulaire « Add MCP Server » en collant votre URL de connexion Web MCP dans le champ « SERVER URL » :

Cliquez sur « Connect », et Express établira une connexion au serveur Web MCP de Bright Data. Parfait !

Étape n°3 : Vérifier que l’intégration fonctionne

Vous devriez maintenant voir Nexla Express se connecter au serveur Web MCP et accéder à 70+ outils (ou un sous-ensemble limité en mode Rapid si vous avez omis le paramètre pro=1) :

Pour vous assurer que les outils sont bien disponibles pour l’agent conversationnel de Nexla Express, cliquez sur l’entrée « New Chat » dans le menu de gauche :

Ensuite, connectez le MCP en cliquant sur l’icône « Add MCP » et en sélectionnant l’option « mcp.brightdata.com » :

Ensuite, exécutez une invite telle que :

Which Bright Data Web MCP tools do you have access to?

La réponse listera tous les outils disponibles, accompagnés d’une description de ce que chacun d’eux fait :

Cela confirme qu’Express peut accéder avec succès aux outils Web MCP de Bright Data exposés par le serveur MCP distant. Fantastique !

Étape n°4 : Créer un pipeline de données web

Dans le chat Express connecté au Web MCP, rédigez une invite comme suit :

Connect to my Snowflake instance and retrieve the full record from the Wikipedia table in the AI_TRAINING_DATASET_FROM_WIKIPEDIA database where the "Title" field equals "FIFA World Cup".
Given the retrieved record, scrape the Wikipedia article URL to fetch the latest version of the article in Markdown format.
Then, compare the freshly retrieved content with the version stored in Snowflake and generate a report that:
- Summarizes the key differences between the stored and current versions.
- Highlights any added, removed, or significantly modified sections.
- Identifies major content updates, factual changes, or structural changes.
Present the results in a clear, structured report.

C’est un excellent exemple car il combine la récupération de données depuis un entrepôt/base de données d’entreprise avec du Scraping web en direct. Dans un scénario réel, adaptez l’invite à vos objectifs métier spécifiques.

Le comportement attendu est un pipeline de bout en bout qui extrait, enrichit et compare le contenu Wikipedia. Il se connecte à Snowflake pour la récupération de données statiques et utilise les outils Web MCP de Bright Data pour scraper des données Wikipedia fraîches.

Exécutez l’invite, et Nexla Express générera un formulaire dans lequel vous pourrez saisir les informations de connexion Snowflake requises. Remplissez le formulaire et cliquez sur « Connect » :

Nexla Express configurera alors une source de données active, lui permettant d’accéder à vos données Snowflake.

Il récupérera l’enregistrement demandé depuis la base de données, y compris toutes ses colonnes :

Ensuite, il lira l’URL de la page (depuis la colonne url) et la scraperà à l’aide de l’outil Bright Data scrape_as_markdown (qui s’appuie sur l’API Web Unlocker de Bright Data). Après analyse du contenu de la page, il le comparera avec les données stockées dans Snowflake et produira un rapport de comparaison détaillé :

Ce n’est qu’un exemple, mais le même flux de travail peut être utilisé pour mettre à jour en continu les données stockées dans votre base de données grâce aux capacités de scraping structuré en direct fournies par le Web MCP, ou pour les enrichir avec des données web fraîches.

Sans accès aux outils Web MCP de Bright Data, un LLM ordinaire ne serait pas en mesure d’accomplir cette tâche. Mission accomplie !

Étape n°5 : Explorer le résultat

Le résultat final sera un pipeline de données web visuel représentant le processus décrit. Notez que vous pouvez planifier le pipeline ou l’exécuter manuellement pour générer le rapport :

Express transforme votre chat conversationnel en un pipeline de données web reproductible alimenté par Bright Data.

Le résultat de ce pipeline est un rapport détaillé comparant les données statiques de votre entrepôt de données avec des données web fraîches :

L’étape suivante pourrait être de poursuivre la conversation et de demander à Nexla Express d’écrire les données actualisées dans Snowflake. Vous pourriez également l’utiliser pour des flux de travail de capture instantanée ou d’enrichissement. Le résultat de cette nouvelle invite mettra également à jour le pipeline généré.

Et voilà ! Cela démontre les capacités d’accès au web, de scraping et de découverte fournies par le Web MCP dans Nexla Express. Cet exemple est simple, mais Nexla Express + le Web MCP de Bright Data permet de couvrir de nombreux autres cas d’usage en entreprise.

Conclusion

Dans cet article de blog, vous avez appris ce qu’est Express et ce qu’il apporte en tant que générateur de pipelines IA conversationnels. En particulier, vous avez vu comment le connecter au Web MCP de Bright Data pour créer des flux de données avec un accès direct au web.

Les outils Web MCP permettent aux pipelines Express de rechercher, découvrir et scraper des données web de manière fiable et à grande échelle sur de nombreux sites. Ils permettent également l’interaction automatique avec les pages web, rendant possible la création de flux de travail complets d’automatisation du navigateur.

Si vous rencontrez des problèmes avec l’intégration Web MCP dans Express, souhaitez en savoir plus ou avez besoin d’assistance, contactez l’équipe de support 24h/24 et 7j/7 de Bright Data.

Créez un compte Bright Data gratuitement dès aujourd’hui et commencez à intégrer des solutions de données web prêtes pour l’IA !