Comment utiliser OpenOSINT avec Bright Data pour l’intelligence web automatisée

Dans cet article sur OpenOSINT, vous apprendrez :

• Ce qu’est le framework OSINT.
• Ce qu’est OpenOSINT, ses principales fonctionnalités et outils.
• Comment Bright Data renforce OpenOSINT.
• Comment utiliser OpenOSINT avec Bright Data, étape par étape.

Entrons dans le vif du sujet !

Qu’est-ce qu’OpenOSINT ?

L’OSINT (Open-source intelligence) est la pratique consistant à collecter et analyser des informations publiquement accessibles pour répondre à une question d’investigation. Dans le contexte du scraping web, la collecte de données est la partie familière du processus. L’OSINT ajoute un flux d’investigation par-dessus : il définit le périmètre, collecte les informations, suit les connexions, vérifie les résultats et documente les conclusions.

OpenOSINT est un framework OSINT open-source, sous licence MIT, propulsé par l’IA. Le produit connecte les utilitaires OSINT existants, les API de renseignement, les services de recherche et les capacités de scraping web. Les utilisateurs peuvent travailler via un terminal interactif, une interface en ligne de commande, une interface basée sur navigateur, ou un serveur MCP pour se connecter à des outils et tiers compatibles.

Son architecture est construite sur une conception en couches où aucune couche n’importe de celle au-dessus d’elle. Cela garantit une exécution modulaire des outils et une séparation structurelle entre le raisonnement de l’IA et les appels d’outils :

Principales fonctionnalités d’OpenOSINT

Le logiciel sert principalement les investigateurs OSINT, les chercheurs en sécurité et les analystes qui mènent des investigations autorisées, en leur fournissant ce qui suit :

• 20 outils intégrés : Investigue les e-mails, noms d’utilisateur, domaines, adresses IP et numéros de téléphone via une interface unifiée qui connecte les utilitaires OSINT, les API de renseignement et les services de collecte web.
• Rapports Markdown et PDF : Sauvegarde automatiquement les rapports d’investigation en Markdown et génère des rapports PDF.
• Exécution parallèle : Exécute des outils complémentaires simultanément avec l’option --parallel pour collecter différents types d’informations en même temps.
• Historique de session persistant : Sauvegarde automatiquement les sessions de terminal interactif et permet de parcourir les investigations précédentes via la commande historique.
• Backends IA flexibles : Exécute l’inférence localement via Ollama, utilise Anthropic Claude, ou se connecte à un point de terminaison compatible OpenAI.
• Intégration MCP native : Expose les 20 outils d’investigation via le serveur MCP intégré d’OpenOSINT pour utilisation par des clients IA compatibles, sans écrire de nouveau code.

Le tableau ci-dessous présente et décrit les outils actuellement pris en charge :

Que fait OpenOSINT ?

Grâce à ses fonctionnalités, le produit prend en charge plusieurs types de recherche :

• Recherche de compte et d’identité : Trouvez les services associés à une adresse e-mail, recherchez des noms d’utilisateur sur plusieurs plateformes, et examinez les profils et dépôts GitHub publics.
• Vérifications d’exposition aux fuites : Interrogez HaveIBeenPwned pour les fuites de données associées à une adresse e-mail.
• Recherche d’infrastructure : Récupérez les enregistrements WHOIS et DNS, découvrez les sous-domaines, et investiguez les services exposés sur internet, ports et certificats.
• Renseignement sur les IP et menaces : Rassemblez des informations de géolocalisation et réseau, vérifiez les rapports d’abus IP, et interrogez des services de sécurité tels que Shodan, VirusTotal, et Censys.
• Recherche et collecte web : Générez des requêtes de recherche ciblées, récupérez des résultats de recherche en direct, scrapez des URL publiques en Markdown, et collectez l’empreinte des moteurs de recherche publics d’une cible.

L’agent IA enchaîne ces actions en une investigation. Par exemple, il peut commencer par une adresse e-mail, découvrir un nom d’utilisateur, et rechercher ce nom d’utilisateur sur d’autres plateformes. L’application exécute les outils et API sous-jacents plutôt que de demander au modèle de générer lui-même des résultats de recherche.

Comment Bright Data renforce OpenOSINT

OpenOSINT s’intègre nativement à Bright Data via les trois outils intégrés présentés ci-dessus. En coulisses, l’intégration appelle les API REST de Bright Data. Cela signifie que les utilisateurs peuvent activer l’intégration avec une clé API et les paramètres de zone Bright Data pertinents.

Sans Bright Data, OpenOSINT prend en charge la découverte de comptes, les vérifications de fuites, la recherche d’infrastructure et ses autres outils indépendants. Il peut également générer des URL de recherche Google ciblées, mais générer une requête ne récupère pas ses résultats. Bright Data comble cet écart avec ses outils.

Ensemble, ils aident à faire passer les investigations de requêtes de recherche préparées à des résultats de recherche collectés et du matériel source lisible, réduisant la recherche manuelle et l’extraction de pages. L’avantage est pratique : Bright Data gère la récupération de recherche, l’extraction de données, et l’accès aux pages protégées, tandis qu’OpenOSINT place cette collecte dans un flux d’investigation assisté par l’IA.

Utiliser OpenOSINT avec et sans l’intégration Bright Data

Pour être pratique, considérez un analyste examinant l’exposition publique de son organisation sur example.com.

Voici le flux sans utiliser Bright Data :

• L’analyste demande à OpenOSINT d’investiguer example.com.
• L’agent peut utiliser search_whois pour récupérer les détails d’enregistrement, search_dns pour examiner les enregistrements DNS et paramètres de sécurité e-mail, et search_domain pour énumérer les sous-domaines.
• Pour étendre l’investigation au contenu web indexé, l’analyste utilise generate_dorks pour produire des URL de recherche Google ciblées.

Le processus est simple. Cependant, la limitation est qu’OpenOSINT n’exécute pas les recherches ni ne collecte les résultats. Cela signifie que l’analyste doit ouvrir ces URL et examiner manuellement les pages résultantes.

Ainsi, OpenOSINT prend en charge la recherche d’infrastructure sans Bright Data, mais ses liens de recherche générés laissent les étapes de recherche web et d’examen de page à l’analyste.

D’autre part, voici le flux de travail lorsque l’intégration Bright Data est activée :

• L’analyste demande à OpenOSINT d’investiguer example.com.
• Parallèlement aux vérifications d’infrastructure, search_footprint reconnaît example.com comme un domaine et exécute des requêtes Google spécifiques au domaine via l’API SERP de Bright Data.
• Il retourne des résultats structurés pour les domaines et profils découverts.
• L’analyste peut également utiliser search_dorks_live pour exécuter des recherches ciblées et collecter des titres, URL et extraits. Si une recherche retourne une page publique pertinente (par exemple, une page de documentation indexée), l’analyste peut utiliser scrape_url pour récupérer son contenu en Markdown propre via Web Unlocker, qui gère les barrières d’accès telles que Cloudflare et les CAPTCHA.

Ainsi, dans ce cas, l’analyste peut collecter des résultats de recherche et récupérer des pages sources pertinentes au sein d’OpenOSINT, plutôt que d’ouvrir manuellement chaque recherche et de copier le contenu des pages. De plus, le logiciel retourne les résultats à la fois en Markdown et PDF, prêts à être partagés avec les parties prenantes.

Construire un flux de travail OSINT avec OpenOSINT et Bright Data : tutoriel étape par étape

Dans cette section, vous apprendrez comment utiliser OpenOSINT. Le site web cible est https://openosint.tech/ :

REMARQUE : Le propriétaire du site web, qui est le développeur d’OpenOSINT lui-même, a accordé la permission de l’utiliser comme site web cible et de rapporter les résultats pour cet article.

Suivez les prochaines étapes pour découvrir comment installer et utiliser OpenOSINT via REPL.

Prérequis

Pour reproduire le tutoriel, votre système doit répondre aux exigences suivantes :

• Un compte Bright Data actif.
• Une clé API OpenAI valide.
• Python 3.10+ installé sur votre machine.

Les prérequis sont remplis. Vous êtes prêt à installer le logiciel.

Étape n° 1 : Installer OpenOSINT

Créez un dossier sur votre machine :

mkdir openosint-project

Naviguez dans le dossier :

cd openosint-project

Créez un environnement virtuel :

python -m venv venv

Sur macOS ou Linux, activez l’environnement virtuel avec :

source venv/bin/activate

Ou, sur Windows :

./venv/Scripts/activate

Ensuite, installez OpenOSINT dans sa version utilisant OpenAI :

pip install "openosint[openai]" sublist3r

REMARQUE : Actuellement, la configuration standard utilise les LLM d’Anthropic. Si vous préférez utiliser cette version, la commande d’installation est : pip install openosint.

Très bien ! Le produit est installé. Vous êtes prêt à le configurer.

Étape n° 2 : Définir vos variables OpenAI et Bright Data

Avant d’utiliser OpenOSINT, vous devez le configurer en définissant certaines variables. Pour ce faire, créez un fichier .env dans votre dossier openosint-project/. À l’intérieur, écrivez ce qui suit :

OPENAI_API_KEY="<your-openai-api-key>"
OPENAI_BASE_URL="https://api.openai.com/v1"
OPENAI_MODEL="gpt-4o" 
BRIGHTDATA_API_KEY="<your-bright-data-api-key>"
BRIGHTDATA_SERP_ZONE="<your-bright-data-serp-zone>"
BRIGHTDATA_UNLOCKER_ZONE="<your-bright-data-unlocker-zone>"

Voici ce que définit le fichier .env que vous avez créé :

• OPENAI_API_KEY est la variable qui stocke votre clé API OpenAI.
• OPENAI_BASE_URL est l’URL de base qu’OpenOSINT utilise en coulisses pour effectuer l’appel API à OpenAI. Laissez sa valeur telle quelle ci-dessus.
• OPENAI_MODEL vous permet d’utiliser n’importe quel modèle OpenAI de votre choix.
• BRIGHTDATA_API_KEY est la variable qui stocke votre clé API Bright Data. Ce paramètre n’est pas obligatoire pour utiliser OpenOSINT. Mais vous devez le définir si vous souhaitez utiliser les outils de Bright Data dans OpenOSINT.
• BRIGHTDATA_SERP_ZONE vous permet d’utiliser les outils search_dorks_live et search_footprint.
• BRIGHTDATA_UNLOCKER_ZONE débloque l’utilisation de l’outil scrape_url.

Pour créer une clé API Bright Data, naviguez vers Accès Web > Mes API et cliquez sur Créer une API :

Sélectionnez API SERP, cliquez sur Continuer, et c’est fait :

En vous référant au fichier .env ci-dessus, les variables se terminant par ZONE représentent le nom de la clé API que vous avez définie. Par exemple, considérez la clé API suivante :

L’image ci-dessus montre que son nom est “serp_api1”. Dans ce cas, vous devriez écrire ce qui suit dans le fichier .env :

BRIGHTDATA_SERP_ZONE="serp_api1"

Votre dossier openosint-project/ a maintenant la structure suivante :

openosint-project/
   ├── .env
   └── venv/

Parfait. Vous avez défini vos paramètres. Tout est prêt pour un premier test.

Étape n° 3 : Investiguer une cible en utilisant le REPL OpenOSINT

Pour utiliser le REPL d’OpenOSINT avec un modèle OpenAI, lancez-le via la CLI comme suit :

openosint --provider openai

Voici ce que vous verrez :

Invoquez la fonction d’aide pour apprendre à utiliser le logiciel :

L’utilisation de base nécessite d’investiguer le site web cible. Pour ce faire, tapez l’URL qui vous intéresse :

Une fois le processus terminé, vous trouverez un dossier appelé reports/ à l’intérieur de openosint-project/. C’est là que vous trouverez les rapports en Markdown et PDF créés par OpenOSINT. Voici une image du rapport partiel en PDF :

Bien. Vous êtes arrivé à un premier exemple. Il est temps d’insérer Bright Data dans l’équation.

Étape n° 4 : Exécuter des recherches en direct avec Bright Data

Disons que vous souhaitez utiliser search_dorks_live. Cet outil exécute des requêtes Google dork en direct via l’API SERP de Bright Data, retournant des résultats structurés (titre, URL, extrait). Pour l’utiliser, tapez ce qui suit :

search_dorks_live openosint.tech

L’image montre ce que l’outil retourne via la ligne de commande :

Dans le paragraphe précédent, l’investigation de base a récupéré des données DNS mais n’a pas pu terminer les vérifications WHOIS et de sous-domaines, limitant les résultats. En utilisant l’intégration Bright Data, search_dorks_live a exécuté des requêtes Google en direct et retourné des résultats exploitables, y compris GitHub, LinkedIn et les profils du développeur. C’est ce qui transforme réellement des liens de recherche manuels en renseignement immédiatement utilisable.

Et voilà ! Vous avez terminé votre premier projet en utilisant OpenOSINT et Bright Data.

Autres façons d’intégrer et d’exécuter OpenOSINT

OpenOSINT ne se limite pas aux flux de travail REPL et CLI présentés ci-dessus dans cet article. Son serveur MCP natif expose tous ses outils aux clients IA compatibles MCP, permettant à des applications comme Claude Code et Claude Desktop d’invoquer directement les utilitaires OSINT pendant une conversation.

OpenOSINT prend également en charge différentes préférences d’exécution :

• Avec Docker Compose, les équipes peuvent empaqueter l’application et ses dépendances dans un environnement reproductible, exécuter des commandes ponctuelles, demander une sortie JSON, et conserver les rapports générés.
• L’interface Web optionnelle fournit un chat IA basé sur navigateur avec sortie d’outil en streaming, cartes de résultats intégrées, et thèmes clair et sombre. Elle peut se connecter à Ollama pour une inférence entièrement locale ou à des points de terminaison compatibles OpenAI. Ces options offrent aux ingénieurs une interface pratique pour tester les outils et examiner les résultats avant d’intégrer les flux de travail dans l’automatisation de production.

Conclusion

Dans cet article, vous avez appris ce qu’est OpenOSINT, quels outils d’investigation il prend en charge, et comment l’utiliser via son REPL interactif. Vous avez également exploré ses autres capacités d’intégration ainsi que les autres façons de l’exécuter.

Comme vous l’avez appris, Bright Data renforce OpenOSINT avec des résultats Google en direct et une extraction fiable des pages publiques, même lorsque des barrières d’accès telles que les CAPTCHA compliquent la collecte de données. Cela transforme les requêtes dork statiques en renseignement exploitable au sein d’un flux de travail unique assisté par l’IA.

Créez gratuitement un compte Bright Data dès aujourd’hui et transformez vos investigations OSINT en flux de travail de renseignement web automatisés.