Intégration du proxy Apify
L’utilisation des proxys Bright Data avec Apify améliore l’efficacité du scraping web en garantissant une extraction de données sécurisée et anonyme et en réduisant le risque de blocages IP et de détection.
Ce guide peut être obsolète. Pour un guide à jour, veuillez consulter notre documentation.
- 400M+ IPs résidentielles
- Sessions collantes et rotatives
- 99,95% de taux de réussite
- Ciblage par géolocalisation - GRATUIT
Qu'est-ce qu'Apify?
Apify est une plateforme puissante de scraping web, d’extraction de données et de RPA web. Elle peut automatiser tout ce que vous pouvez faire manuellement dans un navigateur web, et l’exécuter à grande échelle. L’Apify Store propose des centaines d’outils de scraping prêts à l’emploi qui nécessitent seulement de modifier quelques paramètres.
Les proxys sont souvent un élément essentiel du scraping web. Vous devez toujours sécuriser votre identité lors du scraping web et vous devrez peut-être aussi faire face aux mesures anti-scraping et autres restrictions déployées par votre site cible.
C’est là que Bright Data intervient 💪
Les proxys de Bright Data peuvent vous aider à mener à bien vos tâches de scraping et d’automatisation. Les proxys Bright Data s’intègrent parfaitement à Apify afin que vous puissiez effectuer votre travail sans être bloqué.
Comment configurer Apify
avec les proxys Bright Data:
Rendez-vous sur Bright Data:
- Connectez-vous à votre compte Bright Data et accédez au tableau de bord
- Cliquez sur Proxies & Infra et créez une zone
- Vous pouvez choisir entre les IP de centre de données, résidentielles, FAI et mobiles
- Configurez et créez la zone selon les besoins de votre projet
- Cliquez sur l’icône Paramètres à côté du nom de la zone.
- Obtenez le nom d’utilisateur et le mot de passe.
Rendez-vous sur Apify:
- Rendez-vous sur apify.com et connectez-vous à votre compte.
- Une fois dans la console Apify, cliquez sur Actors dans le menu de gauche.
- Sous l’onglet Store, vous trouverez Web scraper. Nous l’utiliserons comme exemple. Cliquez dessus.
- Naviguez vers l’onglet Input.
- Entrez lumtest comme URL de départ à scraper : https://lumtest.com/myip.json
- Dans la Page function, collez ce code :
async function pageFunction(context) {
// jQuery is handy for finding DOM elements and extracting data from them.
// To use it, make sure to enable the "Inject jQuery" option.
const $ = context.jQuery;
// Select the element using the 'body > pre' CSS selector and extract its text content.
const data = $('body > pre').text();
// Return an object with the extracted data. It will be stored in the resulting dataset.
return {
data: data
};
}
- Puis descendez pour trouver proxy and browser configuration.
- Cliquez sur own proxy et saisissez vos identifiants de proxy au format suivant.
- http://username:[email protected]:33335 et le mot de passe peuvent être récupérés depuis les paramètres de la zone que nous venons de créer.
- Le nom d’hôte pour les proxys Bright Data est :brd.superproxy.io et le port est 33335.
- Voici à quoi ressemblera l’URL finale du proxy Bright Data: http://lum-customer-c_375eb5c4-zone-zone5:[email protected]:33335
- Puis cliquez simplement sur Start.
- Vous pouvez ensuite prévisualiser et télécharger les données au format HTML, JSON, CSV, Excel, XML et flux RSS, ou les afficher dans l’onglet output
- Pour confirmer qu’Apify a utilisé le proxy, allez dans votre tableau de bord Bright Data, accédez aux proxys puis vérifiez le journal d’événements.
⚠️Remarque importante: Si vous utilisez les Proxys résidentiels, Web Unlocker ou API SERP de Bright Data, vous devez installer un certificat SSL pour permettre des connexions sécurisées de bout en bout vers votre/vos site(s) cible(s). Il s’agit d’une procédure simple, consultez https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate pour les instructions.
Obtenir des proxys pour Apify
Alimenté par une infrastructure de proxy résidentiel primée
Plus de 400M+ monthly d’adresses IP résidentielles, la meilleure technologie avec la possibilité de cibler n’importe quel pays, ville et opérateur mobile font de nos services de proxy premium le meilleur choix pour les développeurs.
Un proxy pour chaque voie de développement
Combinez réseaux, pairs et IPs pour optimiser votre flux continu de données web.
Vous utilisez AWS ? Vous pouvez désormais payer avec AWS Marketplace Leader de la catégorie des proxys et de la collecte de données
La meilleure expérience client du secteur
De nouvelles fonctionnalités tous les jours
Pour répondre à toutes vos questions quand vous en avez besoin
Tableau de bord des performances en temps réel
Pour optimiser votre performance
Pour atteindre vos objectifs de collecte de données