API de données en temps réel
pour tous les besoins des entreprises

Les API de flux de données sont des API RESTful qui vous permettent de filtrer des jeux de données et de créer des instantanés contenant uniquement les données dont vous avez besoin. Le point de terminaison de l'API Filter Dataset lance une tâche asynchrone qui filtre l'ensemble de données sélectionné et crée un instantané basé sur vos critères, que vous pouvez ensuite télécharger ou consulter par programmation.

Lorsque vous appelez l'API Filter Dataset, celle-ci crée une tâche asynchrone qui applique vos filtres et génère un instantané. Le processus a un délai d'expiration maximal de 5 minutes. Une fois terminé, vous recevez un snapshot_id que vous pouvez utiliser pour accéder à vos données filtrées. Vous n'êtes facturé que pour la taille de l'instantané, sur la base du prix de l'enregistrement.

L'API prend en charge un large éventail d'opérateurs : = (égal), != (différent), < et > (inférieur/supérieur à), <= et >= (inférieur/supérieur ou égal), « in » et « not_in » (correspondance de valeur), « includes » et « not_includes » (sous-chaîne/tableau contient), « array_includes » et « not_array_includes » (correspondance exacte de tableau), et « is_null » / « is_not_null » pour vérifier les valeurs vides. Différents opérateurs s'appliquent à différents types de champs (texte, nombre, date, tableau).

Oui. Vous pouvez combiner plusieurs filtres à l'aide des opérateurs logiques « and » ou « or » dans les groupes de filtres. L'API prend en charge une profondeur d'imbrication maximale de 3 niveaux. Pour les tableaux d'objets, vous pouvez utiliser le paramètre « combine_nested_fields » afin de vous assurer que tous les filtres correspondent au sein d'un seul objet plutôt que dans l'ensemble du tableau.

L'API prend en charge deux modes : le mode JSON pour le filtrage standard et le mode Multipart/Form-Data pour le téléchargement de fichiers CSV ou JSON contenant des valeurs de filtre. En mode Multipart, envoyez dataset_id et records_limit en tant que paramètres de requête, puis incluez votre définition de filtre et vos fichiers dans le corps du formulaire. Ce mode est idéal pour filtrer des centaines ou des milliers de valeurs.

Vous n'avez besoin que de deux éléments : votre identifiant de jeu de données (qui se trouve sur la page de détails du jeu de données) et votre clé API Bright Data. Incluez votre clé API en tant que jeton Bearer dans l'en-tête d'autorisation. Aucune zone Proxy, aucun mot de passe ni aucune information d'identification supplémentaire ne sont nécessaires pour filtrer les jeux de données.

Les instantanés filtrés sont disponibles aux formats JSON, NDJSON, CSV et Parquet. Vous pouvez spécifier votre format préféré lors du téléchargement de l'instantané ou de la configuration de votre méthode de livraison.

Une fois que l'API a renvoyé un snapshot_id, vous pouvez récupérer vos données filtrées via un téléchargement direct, une réponse API, des rappels Webhook, Amazon S3, Google Cloud Storage, Snowflake, Azure, SFTP ou par e-mail. Choisissez la méthode de livraison qui correspond le mieux à votre flux de travail.

L'API renverra une erreur 422 avec le message « Le filtre fourni ne correspond à aucun enregistrement ». Vérifiez la syntaxe et les valeurs de votre filtre pour vous assurer qu'elles correspondent aux données du jeu de données. Vous pouvez prévisualiser les champs du jeu de données et des exemples de données dans le panneau de configuration avant de filtrer.

Oui. Chaque jeu de données a une limite maximale de 100 tâches parallèles. Si vous dépassez cette limite, vous recevrez une erreur 429. Attendez que les tâches existantes soient terminées avant d'en commencer de nouvelles, ou contactez-nous pour les cas d'utilisation à volume élevé nécessitant des limites accrues.

Si le solde de votre compte est insuffisant pour traiter l'instantané filtré, vous recevrez une erreur 402 indiquant le montant nécessaire. Ajoutez des fonds à votre compte ou ajustez votre filtre pour réduire le nombre d'enregistrements avant de réessayer.

Des exemples de code complets sont disponibles dans la documentation API pour cURL, Python, JavaScript et Java. Chaque exemple montre comment s'authentifier, structurer votre demande de filtre et traiter la réponse. Vous pouvez également générer une syntaxe de filtre directement à partir du panneau de configuration en appliquant des filtres dans l'interface utilisateur et en cliquant sur « Filter API » (API de filtre).