CityVibeBot — qui est notre robot

Vous nous avez vus dans vos journaux

Voici notre identifiant, en entier :

CityVibeBot/1.0 (+https://cityvibe.guide/bot-info)

S'il apparaît sur votre serveur, c'est nous. Nous n'utilisons aucun autre agent, nous ne nous déguisons pas en navigateur et nous ne changeons pas d'adresse IP pour contourner quoi que ce soit.

Ce qu'est CityVibe

Un catalogue d'événements en Espagne. Nous recueillons des agendas culturels publiés en données ouvertes, nous les traduisons en sept langues et nous les montrons ensemble, en citant toujours la source et en renvoyant à l'original. La liste complète des sources est dans Sources de données.

Ce que nous téléchargeons

Des flux de données : JSON, XML, CSV. Des adresses précises de catalogues de données ouvertes, pas un parcours de votre site.

Nous ne téléchargeons pas :

• Les pages HTML de navigation, les moteurs de recherche ni les versions imprimables.
• Les images : aucune, jamais. Ni photos, ni affiches, ni vignettes. Nous ne les stockons pas et ne les appelons pas en lien direct.
• Les adresses électroniques ni les numéros de téléphone, même s'ils arrivent dans le flux. Quand un champ contient les coordonnées d'une personne, notre adaptateur ne le lit tout simplement pas.
• Rien de ce qui se trouve derrière une connexion ou un formulaire.

À quelle fréquence

Nous vérifions toutes les sources toutes les trois heures. Entre deux requêtes au même serveur, nous attendons au minimum :

esmadrid.com

10 secondes — exactement le « Crawl-delay » que demande son robots.txt

do.diba.cat

10 secondes — exactement le « Crawl-delay » que demande son robots.txt

datos.madrid.es

2 secondes

datosabiertos.jcyl.es

2 secondes

Un passage type sur une source, c'est entre une et cinq requêtes. Si vous répondez « 429 » ou « 503 », nous nous écartons avec une attente exponentielle, et si vous envoyez un en-tête « Retry-After », nous le respectons à la lettre. Nous utilisons « ETag » et « Last-Modified » quand vous les proposez, si bien qu'un flux inchangé ne coûte presque rien à personne.

robots.txt

Nous le lisons et le respectons, et il vaut la peine de savoir comment : c'est une personne qui l'examine quand nous écrivons l'adaptateur de votre source, pas un analyseur automatique à chaque passage. En pratique cela nous rend plus stricts, pas moins — les chemins que vous interdisez ne sont jamais écrits dans le code, et le « Crawl-delay » que vous demandez y est figé. Un exemple réel : nous avons écarté un jeu de données qui nous intéressait parce qu'il redirigeait vers un hôte dont le robots.txt interdit « /api/ », et nous avons gardé l'original, servi depuis un chemin autorisé.

Nous ne suivons pas non plus les redirections à l'aveugle : chaque saut est vérifié et compté.

Comment nous bloquer

Si vous préférez que nous ne passions pas, ajoutez ceci à votre robots.txt :

User-agent: CityVibeBot
Disallow: /

Nous le verrons à la prochaine révision de l'adaptateur. Si vous voulez que nous cessions de passer aujourd'hui, écrivez-nous et nous le désactivons en quelques minutes : dans notre système, une source est une ligne que l'on éteint avec un interrupteur.

Et si ce que vous voulez, c'est que nous allions plus lentement, ou seulement à certaines heures, dites-le et nous l'ajustons. C'est un nombre dans un fichier de configuration.

Comment nous parler

Écrivez-nous si :

• Vous voulez que nous cessions de vous explorer, totalement ou en partie.
• Vous voulez que nous changions l'attribution ou la licence avec laquelle nous vous citons.
• Il y a une erreur dans vos événements tels que nous les montrons.
• Vous avez un meilleur flux que celui que nous utilisons (cela arrive souvent et nous sommes toujours reconnaissants du signalement).
• Vous voulez simplement savoir ce que nous avons de vous.

Nous répondons. Et si vous nous demandez d'arrêter, nous arrêtons : nul besoin d'une réclamation formelle.

Nos règles, en quatre lignes

1. Nous nous identifions par notre vrai nom et un lien vers cette page.
2. Nous demandons moins que ce que vous nous laisseriez demander.
3. Nous ne touchons pas aux données personnelles, même quand le flux nous les offre.
4. Nous citons qui nous donne les données, avec sa licence et son lien.