Alimenter les Recettes Workato avec des Données Web Fraîches via les APIs Bright Data

Dans cet article de blog, vous apprendrez :

• Ce qu’est Workato et ce qu’il offre en tant que plateforme d’automatisation low-code.
• Pourquoi les workflows automatisés bénéficient d’un accès à des données web structurées et de haute qualité.
• Comment créer une recette Workato qui traite des données web récupérées programmatiquement via les APIs Bright Data.

Plongeons dans le vif du sujet !

Qu’est-ce que Workato ?

Workato est une plateforme cloud d’automatisation et d’intégration low-code. Elle connecte des applications, synchronise des données et orchestre des workflows métier avec des outils low-code. Elle vous aide à automatiser des processus et à intégrer des agents IA dans des milliers d’applications et de systèmes.

Les principales fonctionnalités proposées par Workato sont :

• Recettes : Des workflows visuels qui définissent des processus automatisés via des déclencheurs et des actions. Ils connectent des applications, transforment des données et exécutent une logique métier sans nécessiter un développement personnalisé important.
• Connecteurs : Des intégrations préconfigurées qui connectent Workato aux applications SaaS populaires, systèmes d’entreprise, bases de données, APIs et autres outils métier pour simplifier l’échange de données.
• Automatisation low-code/no-code : Une interface glisser-déposer qui permet aux équipes de créer et de modifier des workflows sans écrire de code traditionnel, réduisant le temps de développement et la dépendance aux ressources techniques.
• Orchestration d’agents IA : Des outils pour concevoir, déployer et gouverner des agents IA capables d’interagir avec les systèmes d’entreprise, de respecter les règles métier et d’exécuter des processus automatisés.
• Gouvernance et sécurité d’entreprise : Fournit des contrôles tels que la gestion des accès, les journaux d’audit, la protection des données, la surveillance et l’application des politiques pour garantir une automatisation fiable à grande échelle.

Pourquoi Intégrer des Données Web dans les Recettes Workato

Workato prend en charge les intégrations avec des applications SaaS et services tiers dans votre stack technologique d’entreprise. Cependant, les données internes seules ne suffisent généralement pas à générer des insights complets et précis.

Les données web fournissent un contexte externe sur ce qui se passe actuellement sur le marché. Ces informations contextuelles en temps réel sont essentielles pour améliorer la prise de décision, en particulier dans les scénarios métier.

Les données en ligne deviennent encore plus importantes lors de la création d’automatisations alimentées par l’IA. Les LLM sont entraînés sur des jeux de données statiques et n’ont pas accès aux derniers événements, mises à jour ou signaux métier. Sans données en temps réel, leurs sorties peuvent impliquer des connaissances obsolètes et conduire à des insights inexacts.

Le problème est que la collecte de données web à grande échelle est difficile en raison des limites de débit, des systèmes anti-bot, des CAPTCHA et de l’analyse des empreintes digitales. C’est là qu’intervient Bright Data !

Les APIs Bright Data comme Solution

Bright Data est un fournisseur de données web de premier plan qui expose des APIs pour collecter, extraire et traiter des données web publiques à grande échelle. Toutes ces APIs peuvent être intégrées dans des recettes Workato pour alimenter des workflows automatisés avec des données web structurées, vérifiables et à jour.

Les principales APIs Bright Data comprennent :

• APIs Web Scraper : Extraient des jeux de données structurés depuis des sites web populaires, notamment Amazon, LinkedIn et plus de 40 domaines pris en charge.
• API Web Unlocker : Récupèrent le contenu des pages web en HTML ou Markdown tout en gérant automatiquement les systèmes anti-bot et les défis d’accès.
• API SERP : Collectent des résultats structurés des moteurs de recherche depuis Google, Bing, Yandex et d’autres plateformes de recherche pour des workflows de recherche et d’automatisation.
• API Discover : Trouvent et classent les URLs web publiques pertinentes en fonction d’une requête de recherche pour un traitement ultérieur.
• API Browser : Exécutent des sessions de navigateur automatisées pour interagir avec des sites web dynamiques et des applications basées sur JavaScript.

Remarque : Chaque nouveau compte Bright Data inclut 5 000 requêtes gratuites par mois pour l’API Web Unlocker, l’API SERP et les APIs Web Scraper.

Ce qui distingue Bright Data, c’est son infrastructure de niveau entreprise, alimentée par un réseau de Proxys de plus de 400 millions d’IPs dans 195 pays. Elle prend en charge une évolutivité et une simultanéité illimitées tout en atteignant une disponibilité de 99,99 % et un taux de succès de 99,95 %.

Combiné à Workato, Bright Data permet aux entreprises de créer des workflows robustes. Découvrez comment !

Comment Utiliser les APIs Scraper Bright Data dans une Recette Workato

Dans ce chapitre étape par étape, vous apprendrez à configurer une recette Workato réelle alimentée par l’IA. Plus précisément, le workflow va automatiquement :

1. Récupérer les avis Glassdoor récents via Bright Data.
2. Les analyser avec OpenAI.
3. Envoyer un rapport HTML structuré directement dans votre boîte de réception.

Cette recette est utile pour la surveillance de la concurrence, l’étude de marché et l’analyse des retours des employés.

Remarque : Il ne s’agit que d’un exemple de ce que vous pouvez créer. Les APIs Bright Data prennent en charge de nombreux autres cas d’usage, vous permettant de créer des workflows pour la recherche web, la génération de leads, la surveillance des avis, l’enrichissement de données, et bien plus encore.

Suivez les instructions ci-dessous !

Prérequis

Assurez-vous de disposer de :

• Un compte Workato (un essai gratuit convient).
• Un compte Bright Data avec une clé API configurée. Consultez le guide officiel sur la configuration d’une clé API Bright Data.
• Une clé API OpenAI.

Bien que non strictement requis, une compréhension de base du fonctionnement de l’API Scraper Bright Data sera également utile.

Étape n°1 : Initialiser une Recette Workato

Connectez-vous à votre compte Workato et créez un nouveau projet (par exemple, « Web Data Workflows »). Ouvrez le projet, puis sélectionnez « Créer > Recette » pour créer une nouvelle recette Workato :

Si vous débutez avec Workato, une recette est un workflow automatisé qui connecte différentes applications via un déclencheur et une série d’actions. Le déclencheur détermine quand le workflow démarre, tandis que les actions définissent les tâches exécutées ensuite.

Donnez un nom à votre recette (par exemple, « Workflow de Surveillance et d’Analyse des Avis Glassdoor »), puis sélectionnez « Exécuter selon un calendrier » comme point de départ :

Vous serez redirigé vers l’éditeur visuel de recettes :

Notez que la recette inclut déjà un déclencheur planifié. Cela signifie que le workflow s’exécutera périodiquement à intervalles réguliers sans intervention manuelle.

Pour configurer le moment où le workflow sera déclenché, cliquez sur l’étape « Déclencheur » et ajustez les paramètres de planification. Par exemple, vous pouvez le configurer pour s’exécuter tous les 10 jours à 9h00 :

Très bien ! Votre nouvelle recette Workato a été initialisée.

Étape n°2 : Se Familiariser avec l’API Scraper Bright Data pour les Avis Glassdoor

Le Scraper d’Avis Glassdoor Bright Data est le point de terminaison d’API Web Scraper idéal pour récupérer les données d’avis Glassdoor. Avant de l’intégrer dans votre recette Workato, il est utile de comprendre comment l’API fonctionne, notamment son endpoint, ses entrées et ses sorties.

Connectez-vous à votre compte Bright Data et accédez au panneau de contrôle. Naviguez vers « Scrapers > Bibliothèque de Scrapers », recherchez « glassdoor » et sélectionnez la carte « glassdoor.com » :

Vous serez redirigé vers la page du Scraper Glassdoor. Là, sélectionnez l’option « Avis des entreprises Glassdoor > Collecter par URL » dans le menu de gauche. C’est le point de terminaison utilisé pour scraper les avis Glassdoor :

L’exemple de code à droite montre que les requêtes de scraping synchrones sont envoyées au point de terminaison suivant :

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1z

Ici, gd_l7j1po0921hbu0ri1z est l’identifiant du jeu de données pour l’API Scraper d’Avis Glassdoor. La requête est envoyée au point de terminaison datasets/v3/scrape, qui effectue le travail de scraping et attend qu’il se termine avant de renvoyer les données extraites dans la réponse.

Comme vous pouvez le voir, le corps de la requête a la structure suivante :

{
  "input": [
    {
      "url": "<GLASSDOOR_REVIEW_PAGE_URL>",
      "days": <NUM_DAYS>
    },
    // autres objets URL...
  ],
  "limit_per_input": null
}

Le champ url spécifie la page d’avis de l’entreprise Glassdoor à scraper, tandis que days limite les résultats aux avis publiés dans le nombre de jours spécifié.

Vous pouvez également tester le point de terminaison directement depuis le panneau de contrôle Bright Data en cliquant sur « Exécuter manuellement » dans le coin supérieur droit. Si vous analysez la sortie JSON d’un appel API, vous verrez :

Remarquez comment chaque avis inclut les mêmes informations disponibles sur la page Glassdoor d’origine. Cela comprend le titre de l’avis, la note, les points positifs, les points négatifs, les recommandations et la date de l’avis :

Excellent ! Il est temps d’intégrer l’appel à l’API Scraper Bright Data dans votre recette Workato.

Étape n°3 : Configurer l’Étape HTTP pour Appeler l’API Scraper

Retournez à la page de l’éditeur de recettes Workato. Cliquez sur le bouton « + » et sélectionnez « Action dans l’application » pour ajouter une nouvelle étape. Dans le panneau de droite, recherchez « http » et sélectionnez l’application « HTTP » :

L’application « HTTP » de Workato vous permet d’envoyer des requêtes HTTP à des services externes, ce qui en fait le choix idéal pour appeler les APIs Scraper Bright Data.

Configurez la connexion avec les paramètres suivants :

• Nom de la connexion : Bright Data Scraper API
• Emplacement : Votre projet Workato
• Type de connexion : Cloud
• Type d’authentification : Auth par en-tête (car les APIs Scraper Bright Data sont authentifiées via l’en-tête Authorization)

Ensuite, comme « URL de base », collez l’URL de base de l’API Scraper Bright Data :

https://api.brightdata.com/datasets/v3/scrape

Laissez les autres options inchangées et cliquez sur « Connecter ». Ensuite, sous la configuration de l’étape, cliquez sur le bouton « Démarrer la configuration guidée » :

Cela ouvrira un assistant pour vous guider dans la configuration de la requête HTTP.

Sélectionnez « POST » comme méthode HTTP et utilisez l’URL de requête suivante pour le point de terminaison de l’API Scraper Glassdoor :

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1z&format=json

Le paramètre de requête format=json indique à l’API de retourner les résultats en JSON. D’autres formats, tels que CSV et JSONL, sont également pris en charge.

Supposons maintenant que vous souhaitiez surveiller les avis Glassdoor pour Nike. Ajoutez ce corps de requête :

{"input":[{"url":"https://www.glassdoor.com/Reviews/NIKE-Reviews-E1699.htm","days":10}],"limit_per_input":null}

Notez que days est défini sur 10 car la recette Workato est configurée pour s’exécuter tous les 10 jours. Cela garantit que chaque exécution récupère tous les nouveaux avis publiés depuis l’exécution précédente.

Pour authentifier la requête via votre compte Bright Data, configurez un en-tête Authorization contenant :

Bearer <YOUR_BRIGHT_DATA_API_KEY>

Remplacez <YOUR_BRIGHT_DATA_API_KEY> par votre propre clé API Bright Data. C’est le schéma requis utilisé par les APIs Bright Data pour l’authentification.

Cliquez sur « Envoyer la requête » pour tester la configuration. Si tout est correctement configuré, Workato retournera une réponse 200 OK contenant les avis Glassdoor scrapés au format JSON :

Cliquez sur « Appliquer la configuration » pour terminer la configuration guidée.

De retour dans la configuration de l’étape « HTTP », vous pourrez explorer le schéma de réponse généré automatiquement après le test d’appel API. Dans les options « Configuration », assurez-vous de définir l’option « Attendre la réponse » sur « Oui » :

Ainsi, Workato attendra que l’API Bright Data retourne les données scrapées avant d’exécuter l’étape suivante de la recette.

Enfin, n’oubliez pas que cette étape « HTTP » contient votre clé API Bright Data. Pour éviter de l’exposer dans les journaux de recettes ou les rapports de tâches, soit stockez-la comme un secret, soit cliquez sur le menu « … » de l’étape HTTP et activez « Masquer les données » :

Excellent ! Votre recette Workato est maintenant connectée avec succès à l’API Scraper d’Avis Glassdoor Bright Data.

Étape n°4 : Configurer l’Étape OpenAI

La recette Workato peut récupérer des données web scrapées via les APIs Bright Data. Vous êtes prêt à envoyer ces données à un modèle OpenAI pour analyse.

Cliquez à nouveau sur « + », ajoutez une nouvelle application, recherchez « openai » et sélectionnez l’application « OpenAI » :

Choisissez l’action « Envoyer des messages aux modèles OpenAI », qui permet à votre recette d’envoyer des invites à un modèle OpenAI et de recevoir la réponse :

Lors de la création de la connexion, collez votre clé API OpenAI dans le champ approprié et cliquez sur « Connecter » :

Ensuite, sélectionnez le mode « Message unique » (puisque vous souhaitez envoyer une seule invite au LLM). Dans « Texte à envoyer », passez en mode « Formule » et collez l’invite suivante :

"Given the following Glassdoor reviews, generate a concise yet comprehensive HTML email report summarizing recent user reviews, highlighting key trends, recurring themes, sentiment, and notable feedback.

GLASSDOOR REVIEWS:" + <response_array_text_data>

Remplacez le paramètre fictif <response_array_text_data> par la sortie « Envoyer la requête > Réponse > Tableau » de l’étape « HTTP » précédente afin que le modèle reçoive les données d’avis scrapées. Comme la réponse est un tableau, appelez la méthode join(";") pour concaténer tous les objets d’avis en une seule chaîne avant de l’envoyer au LLM.

Notez comment l’invite demande explicitement une réponse HTML. C’est intentionnel car le contenu généré sera envoyé ultérieurement par e-mail, dont le protocole prend en charge le contenu formaté en HTML.

Remarque : Au moment de la rédaction, l’étape « OpenAI » de Workato utilise GPT-4o par défaut.

Super ! Votre recette Workato peut désormais traiter des données web à jour via les modèles OpenAI et générer des rapports HTML alimentés par l’IA.

Étape n°5 : Ajouter l’Intégration Gmail

La dernière étape consiste à envoyer le rapport généré par l’IA par e-mail. Cliquez sur « + », ajoutez l’application « Gmail » et sélectionnez l’action « Envoyer un e-mail » :

Cliquez sur « Se connecter à Google » pour connecter votre compte Google à Workato. Accordez les autorisations demandées pour autoriser l’intégration.

Ensuite, configurez l’étape « Envoyer un e-mail via Gmail » comme suit :

• À : La ou les adresses e-mail des destinataires
• Objet : Rapport d'analyse des avis Glassdoor (ou un titre similaire)
• Type d’e-mail : HTML
• Message : Sélectionnez la sortie de données de recette « Meilleur choix » de l’étape « Envoyer des messages aux modèles OpenAI ».

Remarque : Les données de recette « Meilleur choix » contiennent le rapport HTML généré par le modèle OpenAI à l’étape précédente.

Parfait ! La recette Workato est complète.

Étape n°6 : Exécuter la Recette

Votre recette Workato finale devrait ressembler à ceci :

Ouvrez l’onglet « TEST » et cliquez sur « Tester la recette » pour exécuter le workflow. Voici ce que vous obtiendrez :

Lors de l’exécution, Workato va :

1. Déclencher le workflow planifié.
2. Appeler l’API Scraper d’Avis Glassdoor Bright Data.
3. Transmettre les avis récupérés à OpenAI pour les analyser et générer un rapport HTML.
4. Envoyer le rapport via Gmail.

Pour vérifier que le workflow utilise les données d’avis de Glassdoor, inspectez l’« Entrée » de l’étape « OpenAI » :

Remarquez comment l’invite contient les avis Glassdoor récupérés à la demande par l’API Scraper Bright Data. Cela ancre le LLM avec des données web contextuelles au lieu de s’appuyer sur des connaissances obsolètes provenant des données d’entraînement.

Remarque : Vous pouvez suivre une approche similaire pour intégrer toute autre API Bright Data. Par exemple, vous pouvez ajouter des capacités de recherche web, de découverte web, de crawling ou de Scraping web générique à vos recettes Workato.

Mission accomplie ! Vous avez intégré avec succès Bright Data avec Workato. En combinant le support API de Workato avec l’infrastructure de données web de Bright Data, vous pouvez créer des workflows d’automatisation puissants qui collectent, analysent et exploitent des données web fraîches depuis pratiquement n’importe quel site web.

Explorez les nombreux cas d’usage pris en charge par les APIs Bright Data pour créer des workflows d’automatisation encore plus alimentés par l’IA.

Étape n°7 : Explorer la Sortie Générée

Enfin, vérifiez votre boîte de réception :

Vous devriez apercevoir un nouvel e-mail « Rapport d’analyse des avis Glassdoor ». Ouvrez-le pour consulter un rapport HTML structuré résumant les avis publiés au cours des 10 derniers jours. Le rapport met en évidence les thèmes positifs et négatifs récurrents.

Et voilà ! La recette Workato fonctionne à merveille.

Conclusion

Dans cet article, vous avez appris à utiliser l’API Scraper de Bright Data pour récupérer des données structurées en temps réel depuis des sites web et les traiter avec OpenAI dans une recette Workato automatisée.

Le workflow IA présenté ici peut être facilement étendu à d’autres APIs Bright Data pour permettre le Scraping web programmatique, la recherche, la découverte de sources, la récupération de flux de données, et bien plus encore. Pour créer des pipelines plus avancés, explorez la suite complète d’APIs prêtes pour l’IA de Bright Data.

Créez un compte Bright Data gratuitement dès aujourd’hui et commencez à intégrer des APIs de données web de niveau entreprise dans vos workflows IA !