CityVibeBot — кто наш краулер

Вы увидели нас в логах

Вот наш идентификатор целиком:

CityVibeBot/1.0 (+https://cityvibe.guide/bot-info)

Если он есть у вас на сервере — это мы. Другого агента мы не используем, под браузер не маскируемся и IP-адреса, чтобы что-то обойти, не меняем.

Что такое CityVibe

Каталог событий в Испании. Мы собираем культурные афиши, опубликованные как открытые данные, переводим их на семь языков и показываем вместе, всегда указывая источник и ссылаясь на оригинал. Полный список источников — в разделе Источники данных.

Что мы скачиваем

Фиды данных: JSON, XML, CSV. Конкретные адреса из каталогов открытых данных, а не обход вашего сайта.

Мы не скачиваем:

• HTML-страницы навигации, поиска и версии для печати.
• Изображения: ни одного, никогда. Ни фотографий, ни афиш, ни миниатюр. Мы их не сохраняем и не подгружаем по прямой ссылке.
• Адреса электронной почты и телефоны, даже если они приходят в фиде. Если поле содержит контактные данные человека, наш адаптер попросту его не читает.
• Ничего, что находится за входом в систему или за формой.

Как часто

Мы проверяем все источники каждые три часа. Между запросами к одному и тому же серверу ждём как минимум:

esmadrid.com

10 секунд — ровно тот «Crawl-delay», который просит его robots.txt

do.diba.cat

10 секунд — ровно тот «Crawl-delay», который просит его robots.txt

datos.madrid.es

2 секунды

datosabiertos.jcyl.es

2 секунды

Типичный проход по источнику — от одного до пяти запросов. Если вы отвечаете «429» или «503», мы отступаем с экспоненциальной паузой, а если присылаете заголовок «Retry-After», соблюдаем его буквально. Мы используем «ETag» и «Last-Modified», когда вы их отдаёте, поэтому неизменившийся фид почти ничего не стоит нам обоим.

robots.txt

Мы его читаем и соблюдаем, и стоит знать как: его смотрит человек, когда мы пишем адаптер для вашего источника, а не автоматический разборщик на каждом проходе. На практике это делает нас строже, а не мягче — запрещённые вами пути просто не попадают в код, а запрошенный «Crawl-delay» зафиксирован там же. Реальный пример: мы отказались от нужного нам набора данных, потому что он вёл редиректом на хост, чей robots.txt запрещает «/api/», и остались с оригиналом, отданным по разрешённому пути.

И редиректы мы не проходим вслепую: каждый переход проверяется и считается.

Как нас заблокировать

Если вы предпочитаете, чтобы мы не заходили, добавьте это в свой robots.txt:

User-agent: CityVibeBot
Disallow: /

Мы увидим это при следующем пересмотре адаптера. Если нужно, чтобы мы перестали заходить сегодня, напишите — отключим за считаные минуты: в нашей системе источник это строка с выключателем.

А если вы хотите, чтобы мы ходили медленнее или только в определённые часы, — скажите, настроим. Это число в файле конфигурации.

Как с нами связаться

Напишите нам, если:

• Хотите, чтобы мы перестали вас обходить — полностью или частично.
• Хотите, чтобы мы изменили атрибуцию или лицензию, с которой вас цитируем.
• В ваших событиях в нашем показе есть ошибка.
• У вас есть фид лучше того, которым мы пользуемся (так бывает часто, и мы всегда благодарны за подсказку).
• Вы просто хотите узнать, что у нас есть из вашего.

Мы отвечаем. И если вы просите остановиться — останавливаемся: формальная претензия не нужна.

Наши правила в четырёх строках

1. Мы представляемся своим настоящим именем и ссылкой на эту страницу.
2. Мы просим меньше, чем вы бы нам позволили.
3. Мы не трогаем персональные данные, даже когда фид сам их предлагает.
4. Мы указываем того, кто даёт нам данные, с его лицензией и ссылкой.