Intégration du proxy Scrapy

Qu’est-ce que Scrapy ?

Scrapy est un framework Python pour l’exploration et le scraping du Web, qui permet aux utilisateurs d’extraire des données structurées de sites en ligne. Il est open source, rapide et extensible. Scrapy peut être utilisé à diverses fins, par exemple pour l’exploration de données, la surveillance et les tests automatisés.

Obtenir des proxys pour Scrapy

Intégration de Scrapy avec les proxys Bright Data

Ouvrez votre IDE préféré, démarrez un nouveau projet Scrapy, puis saisissez dans la ligne de commande :

      scrapy startproject

Cela générera un nouveau dossier avec le nom du projet. Dans ce dossier, ouvrez un fichier python.

Accédez à votre panneau de configuration Bright Data, puis cliquez sur l’icône « Proxies & Scraping Infra » (Infrastructure de proxy et de scraping)
Créez une nouvelle zone proxy en cliquant sur « Add » (Ajouter), en choisissant un type de réseau, en configurant le proxy et en cliquant sur Enregistrer
Dans l’onglet « Access parameters » (Paramètres d’accès) de votre zone proxy, vous trouverez les valeurs « USERNAME » (NOM D’UTILISATEUR) et « PASSWORD » (MOT DE PASSE).
Dans votre fichier de code araignée Scrapy, dans le méta-paramètre de la requête, définissez la valeur « proxy » comme suit, en utilisant les valeurs « USERNAME » et « PASSWORD » précédentes : «http://USERNAME:[email protected]:22225
»Par exemple :

      importer la classe scrapy

 BrightdatascrapyexampleSpider(scrapy.Spider) :
   name = "BrightDataScrapyExample"

  def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://USERNAME:[email protected]:22225"
       requête de rendement

   analyse de déf (auto, réponse) :
       imprimer (response.body)

Exécutez ensuite la commande suivante sur votre ligne de commande :

      scrapy runspider

Comment utiliser Bright Data Proxy Manager avec Scrapy

Créez une zone proxy comme dans l’intégration directe ci-dessus
Installez le gestionnaire de proxy
Cliquez sur « Ajouter un nouveau port », puis configurez-le en fonction de votre cas d’utilisation
Dans votre fichier de code araignée Scrapy, dans le méta-paramètre de la requête, définissez la valeur « proxy » comme suit : « http://IP:PORTNUMBER »
L’adresse IP de l’hôte local est 127.0.0.1. Il s’agit de la valeur que vous devez utiliser si le gestionnaire de proxy est installé sur votre machine. Si le gestionnaire de proxy est installé sur un serveur externe, saisissez l’adresse IP de ce serveur
Le port créé dans le Proxy Manager est 24XXX, par exemple 24000, le premier numéro de port par défaut
Par exemple :

      importer la classe scrapy

BrightdatascrapyexampleSpider(scrapy.Spider) :
   name = "BrightDataScrapyExample"

   def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://127.0.0.1:24000"
       requête de rendement

   analyse de déf (auto, réponse) :
       imprimer (response.body)

Obtenir des proxys pour Scrapy

Commencez l’essai gratuit

Alimenté par une infrastructure de proxy résidentiel primée

Plus de 72 millions d’adresses IP résidentielles, la meilleure technologie avec la possibilité de cibler n’importe quel pays, ville et opérateur mobile font de nos services de proxy premium le meilleur choix pour les développeurs.

Meilleurs emplacements de proxy

Residential IPs

Mobile IPs

Datacenter IPs

ISP IPs

Tous les emplacements de proxy

Des types de proxys adaptés à tous vos besoins

Proxys résidentiels

de 72,000,000+ adresses IP
Disponibles dans 195 pays
Le plus grand réseau permettant la rotation d’adresses IP de pairs réels
Accédez et parcourez tous les sites web les plus complexes

Proxys résidentiels

Proxys de centre de données

+ de 770,000+ adresses IP
Disponibles dans 98 pays
Pools d’adresses IP partagés et dédiés disponibles
Accès rapide aux sites web peu complexes

Proxys de centre de données

Proxys ISP

+ de 700,000+ adresses IP
Disponibles dans 35 pays
Adresses IP résidentielles statiques d’utilisateurs réels sans rotation d’adresses IP
Idéal pour vous connecter simultanément à différents comptes

Proxys ISP