Python est un choix populaire pour le Scraping web, grâce au nombre de parseurs HTML disponibles. Dans cet article, vous découvrirez les parseurs les plus utilisés :Beautiful Soup,HTMLParser,lxml,PyQuery etScrapy. Ces parseurs sont appréciés pour leur facilité d’utilisation, leur rapidité, leur prise en charge des normes HTML modernes, leur documentation et le soutien de la communauté.
C’est parti !
Beautiful Soup
Beautiful Soup est une bibliothèque Python pour l’analyse des documents HTML et XML. Elle crée un arbre d’analyse qui reflète la structure de chaque page, ce qui facilite l’extraction automatique des données. Cet arbre représente la hiérarchie des éléments au sein du document, ce qui vous permet de naviguer et d’effectuer des recherches efficaces pour localiser des nœuds spécifiques.
Caractéristiques et facilité d’utilisation
Beautiful Soup est utile pour organiser les documents HTML en informations structurées. Il est livré avec divers analyseurs, notammenthtml.parser,lxml ethtml5lib, qui vous aident à gérer différents types de balisage, tels que le HTML standard, le HTML mal formé ou cassé, le XHTML, le HTML5 et le XML. Cela vous donne la flexibilité de choisir le meilleur équilibre entre vitesse et précision. Par exemple, si vous travaillez avec une page web qui comporte des balises manquantes ou des éléments mal imbriqués, vous pouvez utiliserhtml5libpour analyser le contenu HTML comme le ferait un navigateur web.
Beautiful Soup peut également vous aider dans les tâches de Scraping web où la structure HTML est imprévisible ou désorganisée. Une fois le document analysé, vous pouvez facilement effectuer une recherche dans l’arborescence pour localiser les nœuds. Les méthodes de recherche telles que find(), find_all() et select() permettent d’accéder aux éléments en fonction d’identifiants, de classes, de contenu textuel ou d’attributs. Que vous recherchiez toutes les occurrences d’une balise ou que vous cibliez un élément, l’utilisation du sélecteur approprié garantit un accès rapide aux données nécessaires avec un minimum d’effort de codage.
Vitesse
Beautiful Soup n’est pas l’analyseur le plus rapide, mais il offre des stratégies d’analyse flexibles qui vous permettentde vous adapter. Par défaut, il utilisehtml.parser de Python, qui est idéal pour les tâches simples telles que l’extraction de données à partir d’un article de blog à partir de petits documents. Si vous souhaitez extraire et traiter une grande quantité de données, envisagez d’utiliser un autre analyseur.
Prise en charge des normes HTML actualisées
Si vous souhaitez analyser les éléments et attributsHTML5de pages web statiques, Beautiful Soup est un excellent choix. Sa compatibilité avec les analyseurs garantit la conformité avecles normes HTML les plus récentes.
Documentation et assistance
Beautiful Soup disposed’une documentation complète et est utilisé par plus de 850 000 utilisateurs surGitHub. Sa documentation propose des exemples, des tutoriels et des références qui facilitent la prise en main.
Pour en savoir plus sur le Scraping web avec Beautiful Soup, cliquez ici.
Exemple de code
Pour installer Beautiful Soup, exécutez la commande suivante depuis votre shell ou votre terminal :
pip3 install beautifulsoup4
L’extrait de code suivant utilise Beautiful Soup pour analyser les données dusite web Books to Scrape:
import requests
from bs4 import BeautifulSoup
# URL de la page web à scraper
books_page_url = "https://books.toscrape.com/"
# Récupérer le contenu de la page web
response = requests.get(books_page_url)
# Vérifier si la requête a abouti
if response.status_code == 200:
# Analyser le contenu HTML de la page
soup_parser = BeautifulSoup(response.text, 'html.parser')
# Trouver tous les articles contenant des informations sur les livres
book_articles = soup_parser.find_all('article', class_='product_pod')
# Parcourir chaque article sur les livres et extraire son titre et son prix
for book_article in book_articles:
# Extraire le titre du livre
book_name = book_article.h3.a['title']
# Extraire le prix du livre
book_cost = book_article.find('p', class_='price_color').text
# Imprimer le titre et le prix du livre
print(f"Titre : {book_name}, Prix : {book_cost}")
else:
# Imprimer un message d'erreur si la page n'a pas pu être récupérée
print("Échec de récupération de la page web")
Si vous souhaitez tester ce code, enregistrez-le dans un fichier nommé beautifulsoup_books_scrape.py et exécutez-le à l’aide de la commande suivante :
python3 beautifulsoup_books_scrape.py
Vous devriez voir tous les titres et prix des livres de la première page s’afficher sur votre terminal ou votre shell :
… sortie omise…
Titre : Soumission, Prix : 50,10 £
Titre : Sharp Objects, Prix : 47,82 £
Titre : Sapiens : Une brève histoire de l'humanité, Prix : 54,23 £
Titre : The Requiem Red, Prix : 22,65 £
Titre : The Dirty Little Secrets of Getting Your Dream Job, Prix : 33,34 £
…sortie omise…
Si vous débutez dans le Scraping web, la simplicité de Beautiful Soup et sa capacité à naviguer dans l’arborescence HTML en font un bon choix pour vos projets de Scraping web.
HTMLParser
HTMLParser est une bibliothèque préinstallée avec Python qui vous permet d’analyser et d’extraire des données à partir de documents HTML.
Caractéristiques et facilité d’utilisation
Bien que HTMLParser ne dispose pas de certaines fonctionnalités offertes par d’autres bibliothèques d’analyse telles quelxmlethtml5lib, sa simplicité et son intégration à Python en font un bon choix pour les projets avec des structures de données simples où le contenu HTML est cohérent (par exemple,le scraping web de pages web statiques). Cependant, si vous avez affaire à du contenu HTML mal formé, HTMLParser n’est pas la meilleure option.
Vitesse
La vitesse de HTMLParser est suffisante pour la plupart des cas d’utilisation de l’analyse HTML où vous avez des documents de taille petite à modérée (c’est-à-dire de quelques kilo-octets à quelques mégaoctets) et des besoins de prétraitement minimes. Cependant, pour les documents HTML plus complexes, il est préférable d’utiliser des analyseurs tels que lxml.
Prise en charge des normes HTML actuelles
HTMLParser prend en charge l’analyse HTML de base, mais peut rencontrer des difficultés avec des documents HTML très complexes ou mal formés. De plus, il ne prend pas entièrement en charge la dernière norme HTML5.
Documentation et assistance
Comme HTMLParser fait partie de la bibliothèque Python, il bénéficied’une documentationet d’une assistance fiables. Il est facile de trouver de l’aide sur des plateformes telles que Stack Overflow, GitHub et les forums liés à Python.
Exemple de code
Comme indiqué précédemment, le module HTMLParser est inclus dans la bibliothèque standard Python et ne nécessite aucune installation supplémentaire.
Voici un exemple de code utilisant html.parser pour analyser des données HTML :
from html.parser import HTMLParser
class MyHTMLParser(HTMLParser):
def handle_starttag(self, tag, attrs):
print("Encountered a start tag:", tag)
def handle_endtag(self, tag):
print("Encountered an end tag :", tag)
def handle_data(self, data):
print("Encountered some data :", data)
parser = MyHTMLParser()
html_data = """
<html>
<head><title>Example</title></head>
<body><h1>Titre</h1><p>Paragraphe.</p></body>
</html>
"""
parser.feed(html_data)
Dans ce script, vous étendez la classe HTMLParser pour créer un analyseur HTML qui gère les balises de début, les balises de fin et l’affichage de chaque élément.
Pour utiliser ce code, enregistrez-le dans un fichier nommé htmlparser_example.py et exécutez-le à l’aide de la commande suivante depuis votre terminal ou votre shell :
python3 htmlparser_example.py
La sortie affiche chaque balise et chaque donnée :
…sortie omise…
Balise de début rencontrée : html
Données rencontrées :
Balise de début rencontrée : head
Balise de début rencontrée : title
Données rencontrées : Example
Balise de fin rencontrée : title
Balise de fin rencontrée : head
…sortie omise…
lxml
lxml est un choix populaire pour le Scraping web et l’extraction de données, car il combine la puissance des bibliothèques XML intégrées avec la facilité d’utilisation de Python.
Caractéristiques et facilité d’utilisation
lxml est populaire grâce à ses fonctions efficaces et polyvalentes pour naviguer et analyser des documents HTML et XML. Il offre des fonctionnalités avancées de traitement XML, notammentXPath,XSLT et XPointer, qui vous permettent d’extraire et de transformer des données avec précision.
Tout comme Beautiful Soup, lxml prend en charge les structures arborescentes, ce qui facilite la navigation et l’analyse du contenu HTML. Si vous travaillez avec des contenus variés, sa capacité à fonctionner aussi bien avec des documents formatés qu’avec des documents mal formatés peut s’avérer utile.
Vitesse
lxml est bien connu pour sa vitesse et son efficacité, grâce à l’utilisation de bibliothèques C telles quelibxml2etlibxslt. Cela rend lxml plus rapide que d’autres bibliothèques d’analyse, en particulier lors du traitement de documents volumineux ou de tâches d’analyse complexes, telles que l’extraction de données profondément imbriquées à partir de grands tableaux HTML.
lxml est un excellent choix pour les projets avec des délais serrés ou ceux qui nécessitent le traitement de grandes quantités de données.
Prise en charge des normes HTML les plus récentes
lxml peut gérer les dernières technologies web, y compris les fichiers HTML5 et le HTML mal structuré. Cela fait de lxml l’un des meilleurs choix pour les tâches de Scraping web où la qualité et la structure du HTML peuvent varier.
Documentation et assistance
lxml disposed’une documentation complèteavec des exemples détaillés qui s’adressent aux développeurs de tous niveaux. De plus, vous pouvez trouver davantage d’informations, des conseils de dépannage et des bonnes pratiques sur des plateformes telles queStack OverflowetGitHub.
Pour en savoir plus sur le Scraping web avec lxml, cliquez ici.
Exemple de code
Pour installer lxml, exécutez la commande suivante :
pip3 install lxml
L’exemple suivant vous montre comment analyser des données HTML avec lxml:
from lxml import html
html_content = """
<html>
<body>
<h1>Bonjour, le monde !</h1>
<p>Ceci est un paragraphe.</p>
</body>
</html>
"""
tree = html.fromstring(html_content)
h1_text = tree.xpath('//h1/text()')[0]
print("Texte H1 :", h1_text)
p_text = tree.xpath('//p/text()')[0]
print("Texte du paragraphe :", p_text)
Ici, vous utilisez lxml pour analyser le contenu HTML, puis vous extrayez le texte des éléments HTML à l’aide d’expressions XPath.
Si vous souhaitez tester lxml, enregistrez ce code dans un fichier nommé lxml_example.py, puis exécutez-le à l’aide de la commande suivante depuis votre shell ou votre terminal :
python3 lxml_example.py
Vous devriez voir le texte des éléments <h1> et <p> s’afficher comme suit :
Texte H1 : Bonjour, le monde !
Texte du paragraphe : Ceci est un paragraphe.
Si vous avez besoin d’un analyseur complet et prêt à l’emploi, capable de gérer la complexité des requêtes XPath (comme les types dans XML ou les éléments multiples), vous devez utiliser lxml.
PyQuery
PyQuery est une bibliothèquede type jQuerypour Python qui permet de scraper des pages web entières en quelques secondes.
Fonctionnalités et facilité d’utilisation
Semblable à la syntaxe jQuery, PyQuery est convivial. Vous pouvez facilement sélectionner des éléments, les parcourir en boucle, mettre à jour leur contenu et gérer les attributs HTML. Cela est particulièrement utile pour des tâches telles que le Scraping web, où vous souhaitez extraire des données de pages HTML et les traiter.
PyQuery prend également en charge les sélecteurs CSS, ce qui facilite la prise en main si vous êtes déjà familiarisé avec l’animation de documents DOM à l’aide de jQuery.
Vitesse
PyQuery utilise la bibliothèque lxml pour analyser le HTML. Cela le rend facile à utiliser, mais plus lent que si vous utilisiez lxml directement.
Prise en charge des normes HTML actuelles
PyQuery est conforme aux dernières normes HTML5 et, comme il utilise lxml pour l’analyse, PyQuery peut traiter à la fois le HTML structuré et non structuré.
Documentation et assistance
PyQuery fournitune documentationcomplète qui vous aidera à démarrer rapidement. Bien que sacommunautésoitplus petiteque celle d’autres bibliothèques, elle est activement soutenue par plus de quarante contributeurs. D’autres ressources sont également disponibles, telles que des forums en ligne, Stack Overflow et divers tutoriels, qui peuvent vous aider si vous rencontrez des problèmes.
Exemple de code
Pour installer PyQuery, exécutez la commande suivante :
pip3 install pyquery
Voici un extrait de code qui utilise pyquery pour analyser des données HTML :
from pyquery import PyQuery as pq
html_content = """
<html>
<body>
<h1>Bonjour, de la part de PyQuery !</h1>
<p>Ceci est un paragraphe.</p>
</body>
</html>
"""
doc = pq(html_content)
h1_text = doc('h1').text()
print("Texte H1 :", h1_text)
p_text = doc('p').text()
print("Texte du paragraphe :", p_text)
Dans cet extrait, vous effectuez une analyse du contenu HTML, puis extrayez le texte de certains éléments.
Enregistrez ce code dans un fichier nommé pyquery_example.py et exécutez-le à l’aide de la commande suivante depuis votre shell ou terminal :
python3 pyquery_example.py
Votre résultat ressemble à ceci :
Texte H1 : Bonjour, de la part de PyQuery !
Texte du paragraphe : Ceci est un paragraphe.
Si vous savez déjà utiliser jQuery et que vous recherchez des fonctionnalités similaires, PyQuery est un excellent choix.
Scrapy
Scrapy est un framework de Scraping web flexible et open source qui permet aux utilisateurs de créer et d’utiliserdes robotspour collecter des informations. Il offre des outils pour gérer tous les aspects d’une tâche de scraping, de la gestion des requêtes HTTP à l’analyse, au traitement et à l’enregistrement des données extraites. Le framework gère toute la complexité des tâches de scraping afin que vous puissiez vous concentrer sur la collecte des informations souhaitées.
Fonctionnalités et facilité d’utilisation
Scrapy est conçu pour être facile à utiliser et excelle dans l’analyse de données web complexes grâce à un framework modulaire. Il offre des sélecteurs XPath et CSS pour naviguer dans les formats HTML et XML, et comprend des utilitaires tels que la limitation des requêtes, l’usurpation d’agent utilisateur et la rotation d’IP, qui sont essentiels pour le scraping à grande échelle.
Vitesse
Scrapy est efficace. Safonctionnalité de mise en réseauvous permet de traiter les requêtes simultanément pour effectuer la récupération des données. Cela s’avère particulièrement puissant lorsque vous traitez des ensembles de données à grande échelle ou lorsque vous souhaitez scraper des sites web commerciaux.
Prise en charge des normes HTML les plus récentes
Scrapy prend en charge les normes HTML5 et peut gérer des sites web complexes, même ceux qui contiennent du JavaScript généré dynamiquement. Bien que Scrapy ne traite pas lui-même le JavaScript, il fonctionne avec des outils tels queSeleniumpour gérer les pages JavaScript.
Pour en savoir plus sur la manière de scraper du contenu dynamique, cliquez ici.
Documentation et assistance
Scrapy disposed’une documentationtrès complète et d’une communauté dynamique. La documentation officielle couvre tout ce que vous devez savoir sur l’utilisation de base et les sujets avancés, et comprend de nombreux exemples, guides et pratiques recommandées pour aider les développeurs de tous niveaux.
De plus, la communauté Scrapy s’implique activement via des forums et des référentiels GitHub, vous garantissant ainsi de pouvoir obtenir de l’aide et accéder à des ressources pour tous les problèmes que vous rencontrez.
Exemple de code
Pour installer Scrapy, exécutez la commande suivante :
pip3 install scrapy
Voici un exemple d’utilisation d’un spider Scrapy pour extraire des données :
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.css('small.author::text').get(),
'tags': quote.css('div.tags a.tag::text').getall(),
}Ce script définit une classe spider, définit les URL de départ et spécifie comment analyser la réponse pour extraire les données.
Enregistrez ce code dans un fichier nommé quotes_spider.py et exécutez-le à l’aide de la commande suivante depuis votre terminal ou votre shell :
scrapy runspider quotes_spider.py -o quotes.json
Lorsque vous exécutez ce code, Scrapy explore la page Quotes to Scrape et extrait et analyse les citations de cette page avec leurs auteurs et leurs balises respectifs. Ensuite, Scrapy enregistre les données extraites dans un fichierquotes.jsonqui ressemble à ceci :
[
{"text": "u201cLe monde tel que nous l'avons créé est le résultat de notre pensée. Il ne peut être changé sans changer notre façon de penser.u201d", "author": "Albert Einstein", "tags": ["change", "deep-thoughts", "thinking", "world"]},
{"text": "u201cCe sont nos choix, Harry, qui montrent ce que nous sommes vraiment, bien plus que nos capacités.u201d", "author": "J.K. Rowling", "tags": ["capacités", "choix"]}...
sortie omise...
]
Pour les projets d’extraction Web complexes où vous avez des besoins spécifiques, Scrapy est une excellente option grâce à ses outils riches en fonctionnalités et à son évolutivité.
Conclusion
Dans cet article, vous avez découvert cinq analyseurs HTML pour Python, notamment Beautiful Soup, HTMLParser, lxml, PyQuery et Scrapy.
Beautiful Soup est idéal pour les débutants en raison de sa simplicité. HTMLParser est une option légère pour les besoins d’analyse de base. lxml est à envisager si vous recherchez de meilleures performances et la prise en charge de XPath. PyQuery apporte à Python une simplicité similaire à celle de jQuery. Scrapy est le framework à utiliser si vous vous attaquez à des projets de scraping à grande échelle.
Vous souhaitez éviter le scraping et obtenir directement les données ? Découvrez nos jeux de données en vous inscrivant et téléchargez un échantillon gratuit dès maintenant.
