Intégration Proxy Beautifulsoup
Ce guide peut être obsolète. Pour un guide à jour, veuillez consulter notre documentation.
Intégration du proxy Beautifulsoup avec Bright Data
- Commencez par aller sur votre Bright Data Dashboard et cliquez sur « créer une Zone ».
- Choisissez « Network type » et cliquez sur enregistrer.
- Dans Beautifulsoup, renseignez le « Proxy IP:Port » dans la valeur « proxy-server », par exemple brd.superproxy.io:33335.
- Sous « page.authenticate » saisissez votre ID de compte Bright Data et le nom de la Zone proxy dans la valeur « username », par exemple : brd-customer-CUSTOMER-zone-YOURZONE ainsi que votre mot de passe de Zone trouvé dans les paramètres de la Zone.
- Par exemple :
from bs4 import BeautifulSoup
import requests
import json
proxies = {
'http': 'http://brd-customer-[ACCOUNT_ID]-zone-[ZONE_NAME]:[ZONE_PASSWORD]@brd.superproxy.io:33335',
'https': 'http://brd-customer-[ACCOUNT_ID]-zone-[ZONE_NAME]:[ZONE_PASSWORD]@brd.superproxy.io:33335',
}
url = "http://lumtest.com/myip.json"
res = requests.get(url, proxies=proxies, verify=False)
res.raise_for_status()
res_body = res.text
soup = BeautifulSoup(res_body, "html.parser")
html_content = str(soup)
data = {
"IP": html_content,
}
print(json.dumps(data, indent=4))
Intégration de Proxy Manager et Beautifulsoup
- Commencez par aller sur votre Bright Data Dashboard et cliquez sur « créer une Zone ».
- Choisissez « Network type » et cliquez sur enregistrer.
- Dans Beautifulsoup, renseignez le « Proxy IP:Port » dans la valeur « proxy-server », par exemple brd.superproxy.io:33335.
- Sous « page.authenticate » saisissez votre ID de compte Bright Data et le nom de la Zone proxy dans la valeur « username », par exemple : brd-customer-CUSTOMER-zone-YOURZONE ainsi que votre mot de passe de Zone trouvé dans les paramètres de la Zone.
- Par exemple :
from bs4 import BeautifulSoup
import requests
import json
proxies = {
'http': '127.0.0.1:24000',
'https': '127.0.0.1:24000',
}
url = "http://lumtest.com/myip.json"
res = requests.get(url, proxies=proxies, verify=False)
res.raise_for_status()
res_body = res.text
soup = BeautifulSoup(res_body, "html.parser")
html_content = str(soup)
data = {
"IP": html_content,
}
print(json.dumps(data, indent=4))
⚠️avertissement : Remarque importante : Si vous utilisez les Proxys résidentiels, Web Unlocker ou l’API SERP de Bright Data, vous devez installer un certificat SSL pour activer des connexions sécurisées de bout en bout vers votre ou vos site(s) web cible(s). Il s’agit d’une procédure simple, consultez https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate pour obtenir des instructions.
Obtenir des proxies pour Beautifulsoup
Alimenté par une infrastructure de proxy résidentiel primée
Plus de 400M+ monthly d’adresses IP résidentielles, la meilleure technologie avec la possibilité de cibler n’importe quel pays, ville et opérateur mobile font de nos services de proxy premium le meilleur choix pour les développeurs.
Un proxy pour chaque voie de développement
Combinez réseaux, pairs et IPs pour optimiser votre flux continu de données web.
La meilleure expérience client du secteur
De nouvelles fonctionnalités tous les jours
Pour répondre à toutes vos questions quand vous en avez besoin
Tableau de bord des performances en temps réel
Pour optimiser votre performance
Pour atteindre vos objectifs de collecte de données