Télécharger les résultats

Chaque page de résultats comporte des boutons qui téléchargent ce que la recherche a trouvé : URLs, CSV et CSV+extraits. Un compte connecté dispose aussi de Cluster, qui enregistre les résultats au lieu de les télécharger. Les lignes arrivent dans le même ordre que sur la page de résultats.

Ce que donne chaque bouton

Le fichier porte le nom de la requête, dont on retire tout sauf les lettres latines, les chiffres, - et _ : "static.hotjar.com" donne statichotjarcom.csv.

Le format

• UTF-8. Dans CSV et CSV+extraits, la première ligne nomme les colonnes : url;rank ou url;rank;snippets. Le fichier URLs n’a pas cette ligne.
• Les colonnes sont séparées par un point-virgule ;. Une cellule qui contient un point-virgule, une virgule, une tabulation, un guillemet double ou un saut de ligne est mise entre guillemets doubles, et un guillemet à l’intérieur est doublé. C’est du CSV standard : un tableur ou une bibliothèque CSV le lit tel quel, avec le point-virgule choisi comme séparateur, et une cellule reste entière même si la virgule ou la tabulation est choisie aussi.
• Rank est la place du site dans le classement de popularité. Le champ est vide pour un site sans rang.
• Tous les extraits d’une page sont dans une seule cellule, reliés par ....
• Un extrait qui commence par =, +, - ou @ reçoit une apostrophe devant lui, pour qu’un tableur l’affiche au lieu de l’exécuter comme une formule. Les nombres, comme les numéros de téléphone, restent tels quels.

Combien de lignes

Les lignes sont prises en tête des résultats, jusqu’à la limite du forfait : Résultats par recherche ou téléchargement pour URLs et CSV, Téléchargement avec extraits (lignes) pour CSV+extraits. Les chiffres figurent sur la page Tarifs. Sans connexion, un fichier contient la première page de résultats : jusqu’à 20 lignes.

Les sites masqués avec votre forfait - les lignes affichées comme S’inscrire pour voir ou Débloquer - ne sont pas dans le fichier. Les résultats sont classés par popularité et les sites masqués viennent après les sites ouverts, si bien qu’un fichier peut être plus court que la limite, voire ne contenir aucune ligne ; les boutons de téléchargement sont alors inactifs.

L’info-bulle de chaque bouton indique combien de lignes le fichier contiendra, par exemple 7 sur 1 059 lignes : les sites masqués avec votre forfait ne sont pas téléchargés. Quand la page ne montre pas où s’arrêtent les lignes ouvertes, elle indique Au plus : le fichier s’arrête au premier site masqué avec votre forfait, qui peut venir plus tôt.

Lorsque le fichier est plus court que les résultats, sa dernière ligne en donne la raison :

# Truncated at the plan limit: 1000 of 22694 results.
# 7 of 1059 results: websites hidden on your plan are left out.

La première forme signifie que la limite de lignes du forfait a été atteinte, la seconde que les sites masqués avec votre forfait ont été laissés de côté. La ligne commence par # et est écrite dans la langue du site depuis lequel vous avez téléchargé ; ses nombres n’ont pas de séparateur des milliers. Ce n’est pas un résultat : ignorez-la lorsque vous lisez le fichier dans un programme. Si elle est absente, le fichier contient tous les résultats.

Un téléchargement est décompté comme la recherche elle-même : une recherche du quota quotidien, et pour CSV+extraits aussi un téléchargement avec extraits - voir quotas et limites de débit. Quand les recherches du jour sont épuisées, un téléchargement contient ce que permet l’offre gratuite, et la dernière ligne indique que le fichier a été coupé.

Depuis un script

Les boutons sont des liens sur la page de résultats ; l’adresse qu’ils contiennent fonctionne pendant dix minutes depuis l’adresse réseau qui a ouvert la page. Pour télécharger depuis votre propre code, utilisez l’API : /v1/search avec format=csv ou format=txt. Les anciennes URL d’export avec ?key= gardent exactement leur ancien format : les cellules ne sont pas entre guillemets, il n’y a pas de dernière ligne, et un site sans rang affiche >30M.

Autres téléchargements

• Un cluster - l’icône de téléchargement dans la liste des clusters donne un fichier texte de ses domaines, un par ligne.
• Extraction - un CSV séparé par des virgules, et non par des points-virgules, avec une ligne d’en-tête : le domaine, puis une colonne par expression. Plusieurs valeurs trouvées sur un même site partagent une cellule, une par ligne. La dernière ligne, qui commence par #, indique combien de points d’extraction l’exécution a utilisés ; quand les points du jour sont épuisés, la ligne précédente indique où reprendre. Voir Extraction.