racelistbot

Привет! Я Алексей Туманов, CEO racelist.ru, марафонец и пловец. racelistbot — мой сборщик данных для календаря забегов, заплывов, велостартов и триатлонов. Если вы видите в логах запросы с User-Agent racelistbot, это я.

Что собираю

• Только факты о стартах: название, дату, место, дистанции и статус регистрации.
• Тексты описаний и фотографии не копирую. На каждой карточке старта есть ссылка на первоисточник, а регистрация всегда идёт на вашем сайте.

Как часто?

• Раз в 6 часов. Сайты обхожу по очереди, по одному запросу за раз; где страниц несколько — с паузой между ними не меньше секунды.
• Подключая новый сайт, вручную сверяюсь с его robots.txt: не хожу в закрытые разделы и не превышаю Crawl-delay.
• При ошибке сервера или сети повторяю запрос не больше двух раз, с паузой 2 и 5 секунд.

Как отказаться или договориться

Напишите мне на notify@racelist.ru или в Телеграм @tumanovalexey — перестану собирать данные с вашего сайта. Буду рад и обратному: если у вас есть выгрузка или API со стартами, подключу их напрямую. Так точнее, а вам это приведёт участников.