CityVibeBot — хто наш краулер

Ви побачили нас у логах

Ось наш ідентифікатор цілком:

CityVibeBot/1.0 (+https://cityvibe.guide/bot-info)

Якщо він є у вас на сервері — це ми. Іншого агента ми не використовуємо, під браузер не маскуємося і IP-адреси, щоб щось обійти, не змінюємо.

Що таке CityVibe

Каталог подій в Іспанії. Ми збираємо культурні афіші, опубліковані як відкриті дані, перекладаємо їх сімома мовами й показуємо разом, завжди вказуючи джерело та посилаючись на оригінал. Повний перелік джерел — у розділі Джерела даних.

Що ми завантажуємо

Фіди даних: JSON, XML, CSV. Конкретні адреси з каталогів відкритих даних, а не обхід вашого сайту.

Ми не завантажуємо:

• HTML-сторінки навігації, пошуку та версії для друку.
• Зображення: жодного, ніколи. Ні фотографій, ні афіш, ні мініатюр. Ми їх не зберігаємо й не підвантажуємо за прямим посиланням.
• Адреси електронної пошти й телефони, навіть якщо вони приходять у фіді. Якщо поле містить контактні дані людини, наш адаптер просто його не читає.
• Нічого, що перебуває за входом у систему або за формою.

Як часто

Ми перевіряємо всі джерела кожні три години. Між запитами до того самого сервера чекаємо щонайменше:

esmadrid.com

10 секунд — рівно той «Crawl-delay», який просить його robots.txt

do.diba.cat

10 секунд — рівно той «Crawl-delay», який просить його robots.txt

datos.madrid.es

2 секунди

datosabiertos.jcyl.es

2 секунди

Типовий прохід по джерелу — від одного до п'яти запитів. Якщо ви відповідаєте «429» або «503», ми відступаємо з експоненційною паузою, а якщо надсилаєте заголовок «Retry-After», дотримуємо його буквально. Ми використовуємо «ETag» і «Last-Modified», коли ви їх віддаєте, тому незмінений фід майже нічого не коштує нам обом.

robots.txt

Ми його читаємо й дотримуємо, і варто знати як: його дивиться людина, коли ми пишемо адаптер для вашого джерела, а не автоматичний розбирач на кожному проході. На практиці це робить нас суворішими, а не м'якшими — заборонені вами шляхи просто не потрапляють у код, а запитаний «Crawl-delay» зафіксований там же. Реальний приклад: ми відмовилися від потрібного нам набору даних, бо він вів редиректом на хост, чий robots.txt забороняє «/api/», і лишилися з оригіналом, відданим за дозволеним шляхом.

І редиректи ми не проходимо наосліп: кожен перехід перевіряється й рахується.

Як нас заблокувати

Якщо ви волієте, щоб ми не заходили, додайте це до свого robots.txt:

User-agent: CityVibeBot
Disallow: /

Ми побачимо це під час наступного перегляду адаптера. Якщо потрібно, щоб ми перестали заходити сьогодні, напишіть — вимкнемо за лічені хвилини: у нашій системі джерело це рядок із вимикачем.

А якщо ви хочете, щоб ми ходили повільніше або лише в певні години, — скажіть, налаштуємо. Це число у файлі конфігурації.

Як з нами зв'язатися

Напишіть нам, якщо:

• Хочете, щоб ми перестали вас обходити — повністю або частково.
• Хочете, щоб ми змінили атрибуцію або ліцензію, з якою вас цитуємо.
• У ваших подіях у нашому показі є помилка.
• У вас є фід кращий за той, яким ми користуємося (так буває часто, і ми завжди вдячні за підказку).
• Ви просто хочете дізнатися, що в нас є з вашого.

Ми відповідаємо. І якщо ви просите зупинитися — зупиняємося: формальна претензія не потрібна.

Наші правила в чотирьох рядках

1. Ми представляємося своїм справжнім іменем і посиланням на цю сторінку.
2. Ми просимо менше, ніж ви б нам дозволили.
3. Ми не чіпаємо персональних даних, навіть коли фід сам їх пропонує.
4. Ми вказуємо того, хто дає нам дані, з його ліцензією та посиланням.