SiteTrustBot

Бот портала SiteTrust представляется так: SiteTrustBot/0.1 (+https://sitetrust.ru/bot). Под браузер он не маскируется.

Что делает бот

Бот собирает для карточки сайта на SiteTrust несколько открытых сведений: отвечает ли сайт, есть ли защищённое соединение, название и описание с главной страницы, иконку и реквизиты, если они опубликованы. Сайт он не обходит и по ссылкам не ходит. За одну проверку на ваш сайт уходят только такие запросы:

/robots.txt по HTTPS, а если HTTPS не отвечает, по HTTP: бот ждёт ответа не дольше 5 секунд и читает не больше 64 КБ;
/robots.txt другого хоста, если главная перенаправляет туда (например, на www) или иконка лежит на другом хосте: для адресов на этом хосте действуют его правила;
главная страница по HTTPS, а если HTTPS не отвечает, по HTTP; бот проходит до 5 перенаправлений и читает не больше 1 МБ;
одно соединение на порт 443, чтобы прочитать сертификат;
одна страница контактов или реквизитов, только если на главной нет ИНН и на неё есть ссылка;
иконка сайта: адреса из разметки главной и /favicon.ico, не больше четырёх попыток и 100 КБ на файл.

Главную, страницу контактов и иконку бот запрашивает, только если robots.txt это разрешает. Если иконку взять с сайта нельзя, бот берёт её у сервиса иконок Яндекса (favicon.yandex.net).

Если соединение оборвалось, тот же запрос повторяется один раз. Остальное бот берёт не с вашего сайта: регистрационные данные домена из WHOIS и RDAP, адрес сервера из DNS, год первой копии из веб-архива, отзывы из Яндекс Вебмастера.

Как часто

Первый раз бот приходит, когда сайт попадает в каталог: из списка доменов или когда кто-то ищет его на SiteTrust. Дальше проверка повторяется раз в 30 дней. Если сайт не ответил, бот пробует снова через сутки, а после трёх неудач подряд приходит раз в 90 дней. Сайты проверяются по одному, с паузой в несколько секунд между проверками.

robots.txt

Бот соблюдает robots.txt. Он ищет группу User-agent: SiteTrustBot, а если её нет, следует группе User-agent: *. Правила Allow и Disallow понимаются как у поисковых роботов: побеждает самое длинное совпадение, * заменяет любую последовательность символов, $ обозначает конец адреса. Если robots.txt нет (ответ 4xx), бот считает, что можно всё.

Если на запрос robots.txt сервер ответил ошибкой 5xx или не ответил совсем, бот до следующей проверки не читает с сайта ни главную, ни страницу контактов, ни иконку: так требует стандарт robots.txt (RFC 9309). Чтобы узнать, работает ли сайт, он делает один запрос главной и смотрит только код ответа, не читая страницу и не переходя по перенаправлению. Название, описание и реквизиты в карточке остаются прежними, а robots.txt бот прочитает снова при следующей проверке.

Закрыть сайт от бота целиком:

User-agent: SiteTrustBot
Disallow: /

Тогда бот не откроет главную: карточка сайта останется без названия, описания и реквизитов, а сведения из WHOIS, DNS, сертификата и веб-архива он соберёт, как и раньше, не обращаясь к страницам сайта. Если запросы бота мешают вашему сайту, напишите нам, укажите адрес сайта, и мы разберёмся.

Как связаться

Почта: hello@sitetrust.ru, или форма обращения с темой «Я владелец сайта». Если в карточке вашего сайта ошибка, выберите тему «Ошибка в данных о сайте».