Scrapy proxy integation

Intégration du proxy Scrapy

Qu’est-ce que Scrapy ?

Scrapy est un framework Python pour l’exploration et le scraping du Web, qui permet aux utilisateurs d’extraire des données structurées de sites en ligne. Il est open source, rapide et extensible. Scrapy peut être utilisé à diverses fins, par exemple pour l’exploration de données, la surveillance et les tests automatisés.

Intégration de Scrapy avec les proxys Bright Data

Ouvrez votre IDE préféré, démarrez un nouveau projet Scrapy, puis saisissez dans la ligne de commande :
      scrapy startproject 
    
Cela générera un nouveau dossier avec le nom du projet. Dans ce dossier, ouvrez un fichier python.
  • Accédez à votre panneau de configuration Bright Data, puis cliquez sur l’icône « Proxies & Scraping Infra » (Infrastructure de proxy et de scraping)
  • Créez une nouvelle zone proxy en cliquant sur « Add » (Ajouter), en choisissant un type de réseau, en configurant le proxy et en cliquant sur Enregistrer
  • Dans l’onglet « Access parameters » (Paramètres d’accès) de votre zone proxy, vous trouverez les valeurs « USERNAME  » (NOM D’UTILISATEUR) et «  PASSWORD » (MOT DE PASSE).
  • Dans votre fichier de code araignée Scrapy, dans le méta-paramètre de la requête, définissez la valeur « proxy » comme suit, en utilisant les valeurs « USERNAME » et « PASSWORD » précédentes : «http://USERNAME:[email protected]:22225
  •  »Par exemple :
      importer la classe scrapy

 BrightdatascrapyexampleSpider(scrapy.Spider) :
   name = "BrightDataScrapyExample"

  def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://USERNAME:[email protected]:22225"
       requête de rendement

   analyse de déf (auto, réponse) :
       imprimer (response.body)
    
Exécutez ensuite la commande suivante sur votre ligne de commande :
      scrapy runspider 
    

Comment utiliser Bright Data Proxy Manager avec Scrapy

  • Créez une zone proxy comme dans l’intégration directe ci-dessus
  • Installez le gestionnaire de proxy
  • Cliquez sur « Ajouter un nouveau port », puis configurez-le en fonction de votre cas d’utilisation
  • Dans votre fichier de code araignée Scrapy, dans le méta-paramètre de la requête, définissez la valeur « proxy » comme suit : « http://IP:PORTNUMBER »
  • L’adresse IP de l’hôte local est 127.0.0.1. Il s’agit de la valeur que vous devez utiliser si le gestionnaire de proxy est installé sur votre machine. Si le gestionnaire de proxy est installé sur un serveur externe, saisissez l’adresse IP de ce serveur
  • Le port créé dans le Proxy Manager est 24XXX, par exemple 24000, le premier numéro de port par défaut
  • Par exemple :
      importer la classe scrapy

BrightdatascrapyexampleSpider(scrapy.Spider) :
   name = "BrightDataScrapyExample"

   def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://127.0.0.1:24000"
       requête de rendement

   analyse de déf (auto, réponse) :
       imprimer (response.body)
    

Obtenir des proxys pour Scrapy

Proxy badges

Alimenté par une infrastructure de proxy résidentiel primée

Plus de 72 millions d’adresses IP résidentielles, la meilleure technologie avec la possibilité de cibler n’importe quel pays, ville et opérateur mobile font de nos services de proxy premium le meilleur choix pour les développeurs.

Des types de proxys adaptés à tous vos besoins

Proxys résidentiels

  • de 72,000,000+ adresses IP
  • Disponibles dans 195 pays
  • Le plus grand réseau permettant la rotation d’adresses IP de pairs réels
  • Accédez et parcourez tous les sites web les plus complexes

Proxys de centre de données

  • + de 770,000+ adresses IP
  • Disponibles dans 98 pays
  • Pools d’adresses IP partagés et dédiés disponibles
  • Accès rapide aux sites web peu complexes

Proxys ISP

  • + de 700,000+ adresses IP
  • Disponibles dans 35 pays
  • Adresses IP résidentielles statiques d’utilisateurs réels sans rotation d’adresses IP
  • Idéal pour vous connecter simultanément à différents comptes

Proxys mobiles

  • + de 7,000,000+ adresses IP
  • Disponibles dans 195 pays
  • Le réseau d’adresses IP 3G/4G d’utilisateurs réels le plus développé au monde
  • Vérifiez les publicités et parcourez les sites destinés aux appareils mobiles

La meilleure expérience client du secteur

Nous développons pour vous

De nouvelles fonctionnalités tous les jours

Support 24h/24, 7j/7

Pour répondre à toutes vos questions quand vous en avez besoin

Une transparence totale

Tableau de bord des performances en temps réel

Chargés de comptes dédiés

Pour optimiser votre performance

Solutions sur mesure

Pour atteindre vos objectifs de collecte de données

Leader de la catégorie des proxys et de la collecte de données

Category leader in proxies
650 To de données publiques collectés chaque jour
Number of ISP proxies
De nouvelles fonctionnalités sont publiées chaque jour
Serving 7/10 universities
Montée en échelle de qualité entreprise
Trust pilot ratings
Une note exceptionnelle de 4.5/5 sur TrustPilot

Prêt à obtenir des proxys Scrapy ?