Intégration de Scrapy Proxy
Ce guide pourrait être obsolète. Pour un guide à jour, veuillez consulter notre documentation.
Qu'est-ce que Scrapy ?
Scrapy est un framework Python pour le crawling et le scraping web, qui permet aux utilisateurs d’extraire des données structurées à partir de sites web. Il est open-source, rapide et extensible. Scrapy peut être utilisé à diverses fins, telles que l’exploration de données, la surveillance et les tests automatisés.
Intégration de Scrapy avec les proxys Bright Data
Ouvrez votre IDE préféré et démarrez un nouveau projet scrapy, tapez dans la ligne de commande :
scrapy startproject <project_name>
Cela créera un nouveau dossier avec le nom du projet, dans le dossier ouvrez un fichier python.
- Allez sur votre Panneau de Contrôle Bright Data et cliquez sur l’icône ‘Proxies & Scraping Infra’
- Créez une nouvelle zone de proxy en cliquant sur ‘Ajouter’, en choisissant un type de réseau, en configurant le proxy, et en cliquant sur enregistrer
- Sous l’onglet ‘Paramètres d’accès‘ de votre zone de proxy, vous trouverez vos valeurs ‘USERNAME‘ et ‘PASSWORD‘.
- Dans votre fichier de code spider scrapy, dans le paramètre meta de la requête, définissez la valeur ‘proxy’ comme suit, en utilisant les valeurs ‘USERNAME‘ et ‘PASSWORD‘ obtenues précédemment : “http://USERNAME:[email protected]:33335“
- Par exemple :
import scrapy
class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"
def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://USERNAME:[email protected]:33335"
yield request
def parse(self, response):
print(response.body)
Puis exécutez la commande suivante dans votre ligne de commande :
scrapy runspider <Pythonfilename.py>
Comment utiliser le gestionnaire de proxy Bright Data avec Scrapy
- Créez une zone de proxy comme dans l’intégration directe ci-dessus
- Installez le Gestionnaire de Proxy
- Cliquez sur ‘ajouter un nouveau port’ et configurez-le pour votre cas d’usage
- Dans votre fichier de code spider Scrapy, dans le paramètre meta de la requête, définissez la valeur ‘proxy’ comme suit : “http://IP:PORTNUMBER”
- L’IP de l’hôte local est 127.0.0.1 – c’est la valeur à utiliser si le gestionnaire de proxy est installé sur votre machine. Si le gestionnaire de proxy est installé sur un serveur externe, entrez l’adresse IP de ce serveur
- Le port créé dans le Gestionnaire de Proxy est 24XXX, par exemple, 24000 – le premier numéro de port par défaut
- Par exemple :
import scrapy
class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"
def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://127.0.0.1:24000"
yield request
def parse(self, response):
print(response.body)
⚠️Remarque importante : Si vous utilisez les Proxys Résidentiels, le Web Unlocker ou l’API SERP de Bright Data, vous devez installer un certificat SSL pour activer des connexions sécurisées de bout en bout vers vos site(s) cible(s). Il s’agit d’un processus simple, voir https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate pour les instructions.
Obtenir des proxies pour Scrapy
Alimenté par une infrastructure de proxy résidentiel primée
Plus de 400M+ monthly d’adresses IP résidentielles, la meilleure technologie avec la possibilité de cibler n’importe quel pays, ville et opérateur mobile font de nos services de proxy premium le meilleur choix pour les développeurs.
Un proxy pour chaque voie de développement
Combinez réseaux, pairs et IPs pour optimiser votre flux continu de données web.
Vous utilisez AWS ? Vous pouvez désormais payer avec AWS Marketplace La meilleure expérience client du secteur
De nouvelles fonctionnalités tous les jours
Pour répondre à toutes vos questions quand vous en avez besoin
Tableau de bord des performances en temps réel
Pour optimiser votre performance
Pour atteindre vos objectifs de collecte de données
Leader de la catégorie des proxys et de la collecte de données
