Le principal obstacle au web agentique reste le “vieux web” – dynamique, à forte composante JS, CAPTCHAs, paywalls, popups, throttling, et HTML désordonné que les agents ne peuvent pas analyser de manière fiable. C’est la raison pour laquelle nous avons créé le MCP Web: pour que les agents puissent accéder à ce vieux web et interagir avec lui. C’est également la raison pour laquelle nous avons décidé de faire un pas de plus et de rendre les fonctionnalités de base disponibles gratuitement.
En tant que développeur principal et responsable de la maintenance du MCP Web de Bright Data, nous savions dès le départ qu’il ne s’agissait pas d’un MCP ” ordinaire “. La plupart des serveurs MCP intègrent un SaaS/API unique (comme Gmail, HubSpot, GitHub), ce qui constitue un problème ordonné et structuré : un schéma et un modèle d’authentification, des entrées et des sorties prévisibles et des actions répétables avec des erreurs documentées.
Mais le MCP Web englobe l’ensemble de l’internet.
Il s’intègre au web ouvert, où chaque site est sa propre “API” mouvante, où les pages sont rendues côté client, où le défilement infini apparaît et où les CAPTCHA ou l’étranglement peuvent modifier le comportement d’une minute à l’autre. Web MCP absorbe ce chaos avec une navigation et une récupération résilientes, des sessions gérées et un contrôle de la région, et une extraction qui nettoie le HTML désordonné en JSON/Markdown utilisable.
Qu’est-ce que le Web MCP ?
Web MCP permet à votre agent de naviguer sur le web réel. Il gère les pages en rendu JS et les CAPTCHA, puis renvoie un texte propre que votre modèle peut utiliser. Il s’agit d’un “accès à Internet pour les agents”, présenté sous la forme d’outils MCP.
Pourquoi gratuit ? Le plan gratuit vous donne juste ce dont vous avez besoin pour commencer à construire et à tester sans friction de coût (plus assez pour vos utilisations quotidiennes). Il inclut 5 000 requêtes/mois pour le mode rapide, exposant les deux outils quotidiens : les résultats de recherche et “scrape as Markdown”. C’est parfait pour que la plupart des agents puissent trouver des pages et les lire de manière fiable.
Vous pouvez passer à la version Pro plus tard, lorsque vous êtes prêt pour les clics, le défilement, les captures d’écran et l’extraction JSON structurée (définissez PRO_MODE dans la version locale ou ajoutez &pro=1 dans la version distante).
Démarrage rapide et documentation
Tutoriels guidés
- Le scraping web avec les serveurs MCP (comment faire)
- Présentation de Gemini CLI + Web MCP
- OpenAI Codex CLI + Web MCP
Conception d’un serveur MCP à l’échelle du web
Alors que les MCP “classiques” offrent des outils déterministes sur des API fixes, le MCP Web offre des outils tolérants aux pannes sur un internet chaotique afin que les agents puissent toujours agir de manière fiable. Bien faire les choses implique à la fois de grands défis d’ingénierie et une réelle responsabilité.
L’expédition d’un MCP pour l’ensemble du web a nécessité le respect de trois normes strictes :
- Léger et intelligent, pour ne pas brûler de jetons en se connectant.
- Être évolutif et performant, afin de fonctionner en charge de production, et pas seulement en démo.
- Sécurisé et conforme, il permet aux équipes de se déployer en toute confiance.
1) Être léger et intelligent (efficacité symbolique sans être simpliste)
À l’origine, le MCP était livré avec plus de 60 outils, mais les premiers utilisateurs nous ont appris une chose précieuse : ~90% des appels d’agents n’utilisaient que deux outils, à savoir la recherche et le scrape-as-markdown.
Pourtant, les MCP typiques énumèrent d’emblée des dizaines d’outils. Dans MCP, la première étape est /list/tools. Avec plus de 60 outils, cette poignée de main a coûté à elle seule ~17 000 tokens 🤯 avant de faire du vrai travail. Cela a également embrouillé les modèles et conduit à de mauvais choix d’outils, ce qui l’a rendu plus lent et moins cohérent.
Nous avons appris que le coût des jetons lors de la poignée de main faisait fuir les utilisateurs bien plus que la latence d’exécution, et que la gestion des CAPTCHA était un enjeu de taille : sans elle, trop de pages du monde réel échouaient tout simplement.
Notre réponse : deux modes.
Mode rapide (par défaut)
Exactement deux outils :
search_engine→ renvoie les résultats des SERPscrape_as_markdown→ récupère n’importe quelle URL sous forme de Markdown propre et compatible avec LLM
Handshake quasi nul : métadonnées d’outil minimales, confusion minimale
Couvre la grande majorité des tâches de recherche et d’extraction
Rapide et adapté aux cas d’utilisation en temps réel
Pourquoi scrape_as_markdown est-il important ?
La plupart des intégrations “web” s’arrêtent à ce stade à cause des CAPTCHAs et des blocs, qui ne fonctionnent plus sur le web moderne.scrape_as_markdown:
- Fonctionne sur les sites à forte composante JS (rendu complet)
- Résolution automatique des CAPTCHA
- Retourne du Markdown propre que les LLMs digèrent bien mieux que le HTML brut.
Lorsque vous avez besoin de JSON structuré (par exemple, des données de produits), passez à Pro et utilisez les scrapeurs verticaux.
Mode pro (opt-in)
- La surface complète de ~60 outils (e-commerce, social, news, immobilier, finance, LinkedIn/HR, et plus encore)
- Utilise l’API Web Scraper de Bright Data pour renvoyer du JSON structuré lorsque le flux de travail l’exige.
- Vous optez pour cette solution lorsque la structure verticale justifie le coût du jeton.
Résultat : des départs plus rapides, moins de jetons et des agents plus heureux d’avoir choisi le bon outil.
Comment activer Pro
- A distance/hébergé : ajoutez
&pro=1à votre URL de connexion - STDIO/self-hosted : set
PRO_MODE = true
2) Être évolutif et performant (conçu pour le trafic réel)
Nous avons maintenu l’orchestration en dehors du chemin chaud, de sorte que le temps de requête provient du site cible, et non de Web MCP.
Vue d’ensemble de l’architecture :
- Point d’aboutissement MCP unique avec une surface d’outil à deux modes
- Orchestration du navigateur sans tête pour les pages à forte composante JS ou si une interaction avec le site cible est nécessaire.
- Résolution automatique des CAPTCHA et gestion résiliente des sessions
- Concurrence réglable et isolation par compte
En pratique :
- Faible coût de la poignée de main (mode rapide) → temps de démarrage minimal
- Scraping robuste sur des sites réels, riches en JS
- Marge de manœuvre opérationnelle pour les travaux par lots et les agents à haute qualité de service
3) Être sécurisé et conforme (basé sur le programme GDPR de Bright Data)
Web MCP est une enveloppe mince sur les API de Bright Data, de sorte que vous héritez de la confidentialité, de la sécurité et de la gouvernance de la plate-forme (GDPR/CCPA) au lieu de réimplémenter les contrôles dans votre agent. Pour en savoir plus, consultez notre Centre de confiance.
Vous utilisez l’infrastructure et les politiques approuvées de Bright Data – la même configuration que celle utilisée par les clients de production – tandis que la couche MCP reste minimale. L’assise juridique de la plateforme est prouvée, avec des victoires dans des affaires judiciaires avec Meta et X Corp soutenant l’accès responsable aux données web publiques.
Ce qui n’est (intentionnellement) pas contenu dans Web MCP
Web MCP n’ ajoute pas ses propres couches d’isolation, de résidence, de destruction des informations nominatives ou de limitation des taux ; ces garde-fous sont gérés par les API/politiques de Bright Data et/ou doivent être mis en œuvre dans votre agent/application en fonction de votre niveau de risque.
Démarrage rapide et facile
from langchain_mcp_adapters.client import MultiServerMCPClient
from langgraph.prebuilt import create_react_agent
client = MultiServerMCPClient({
"brightdata": {
"url": "https://mcp.brightdata.com/sse?token=<API_TOKEN>", # add &pro=1 to opt into Pro
"transport": "sse",
}
})
tools = await client.get_tools() # Rapid mode returns the slim, high-value set
agent = create_react_agent("openai:gpt-4.1", tools)
# Your agent can now search and extract live sites reliably:
resp = await agent.ainvoke({"messages": "Find the latest guidance on US passport renewal fees and summarize the changes."})La gratuité signifie “pas d’excuses”
Si votre agent n’est pas connecté au web en direct, il se trompera en toute confiance sur les tâches sensibles au temps. Avec la version gratuite de Web MCP, vous pouvez y remédier dès aujourd’hui.
