Как это работает
Откуда берутся сайты
Сайт попадает в каталог одним из двух путей.
- Стартовый список. Домены в зонах .ru, .su и .рф из открытых рейтингов популярности сайтов (Tranco и ранги Common Crawl). Они проверяются по очереди, поэтому у части карточек данные появляются не сразу.
- Ваш поиск. Если сайта нет в каталоге, он добавляется по первому запросу.
Что происходит, когда вы ищете сайт
- Адрес приводится к одному виду: убираем
https://,www., путь после домена и заглавные буквы. Кириллический домен понимаем и в обычной записи, и в техническом видеxn--…. - Если сайт уже есть в каталоге, сразу открывается его карточка.
- Если сайта нет, проверяем, есть ли у домена адрес в DNS. Адреса нет: пишем «Такого сайта нет», в каталог ничего не добавляем. DNS не ответил за 5 секунд: пишем «Не удалось проверить сайт», поиск можно повторить.
- Если адрес есть, сайт добавляется в каталог и сразу запускаются две задачи: проверка сайта для паспорта и загрузка 10 последних отзывов из Яндекс Вебмастера. Остальные отзывы, до 30, догружаются в общей очереди.
- Вы сразу видите заготовку карточки со строкой «Ищем отзывы в Яндексе и проверяем сайт…». Страница сама подставляет блоки, когда данные готовы. Если за минуту не успели, она предложит заглянуть позже.
Ограничения. Срочно проверяем не больше 10 новых сайтов в час с одного адреса и не больше 300 в час на весь портал. Сверх этого сайт встаёт в обычную очередь, а карточка пишет «Соберём данные о сайте в течение суток».
Если Яндекс Вебмастер отвечает ошибкой или просит капчу, загрузка отзывов останавливается и возобновляется сама после паузы. Капчу мы не обходим и чужие адреса для запросов не используем. На карточке в это время стоит строка «Отзывы из Яндекса подгрузим позже», паспорт показывается как обычно.
Паспорт сайта: откуда каждое поле
| Что на карточке | Откуда | Подробности |
|---|---|---|
| «Работает 5 лет 7 мес.», ниже «домен с 20.03.2021, оплачен до 20.03.2027» | WHOIS (whois.tcinet.ru) для .ru, .su и .рф, RDAP для остальных зон | дата регистрации домена и дата, до которой он оплачен; вторую показываем, пока она не наступила |
| «Владелец домена — частное лицо» или «организация», ниже «по данным WHOIS» | WHOIS для .ru, .su и .рф | для других зон строки нет: о владельце мы их не спрашиваем |
| «ИНН … указан на сайте», ниже ОГРН | главная страница; если ИНН там нет, одна страница по ссылке с главной: реквизиты, оферта или соглашение, контакты, «о компании» | берём только номера, которые проходят проверку контрольной суммы |
| «Сервер в Москве», ниже провайдер | IP-адрес из DNS; страна и город по базе GeoLite2 City (MaxMind), провайдер по базе DB-IP ASN Lite | внутренние и служебные адреса не показываем |
| «Защищённое соединение», ниже «сертификат до …» | соединение с сайтом на порт 443 | сертификат должен быть действующим и выданным центром, которому доверяют браузеры |
| «В веб-архиве с 2015 года» | Internet Archive (web.archive.org) | год первого сохранённого снимка |
| «Сайт отвечает» или «Сайт не ответил», ниже «проверено 6 ноября 2026» | запрос главной страницы по HTTPS, при неудаче по HTTP | это дата последней проверки всего паспорта; если robots.txt сайта недоступен, бот смотрит только код ответа главной и страницу не читает |
| «Главная перенаправляет на …» | конечный адрес после перенаправлений | показывается, только если это другой сайт, а не www. или поддомен |
| Название под доменом | og:site_name, затем название из разметки JSON-LD, затем заголовок страницы без хвоста после разделителя |
шаблонные значения вроде «Главная» и «Home» отбрасываем |
| «Как сайт описывает себя: «…»» | meta description, затем og:description |
до 300 знаков, это слова самого сайта |
| Иконка | иконка из разметки главной или /favicon.ico; если сайт её не отдал, из сервиса иконок Яндекса |
хранится у нас, до 100 КБ; если иконки нет нигде, показываем первую букву домена |
Чего не удалось узнать, того в карточке нет: пустых строк и догадок мы не пишем.
Название, описание, реквизиты и иконку бот берёт только со страниц, которые разрешает robots.txt сайта. Если robots.txt закрывает главную от SiteTrustBot, этих строк в карточке нет. Если robots.txt не отвечает, бот до следующей проверки страниц не читает, и в карточке остаются прежние значения.
Если главная перенаправляет на чужой домен, название, описание, реквизиты и иконку того сайта мы этому сайту не приписываем.
Имена владельцев-физлиц из WHOIS мы не сохраняем, даже если источник их вернёт.
Что каждый факт значит и чего не значит, разобрано на странице Как мы проверяем сайты. Как бот запрашивает страницы сайта, описано на странице SiteTrustBot.
Отзывы из Яндекс Вебмастера
- Источник: публичная страница сайта в Яндекс Вебмастере
webmaster.yandex.ru/siteinfo/. - При первом сборе берём до 30 последних отзывов.
- Храним выдержку до 300 знаков, оценку, дату и имя автора в виде «Максим М.». Полный текст не храним.
- На карточке показываем все сохранённые выдержки, новые первыми: сначала 20, остальные по кнопке «Показать ещё». У каждой на аватаре автора маленькая красная метка «Я»: подсказка к ней «Отзыв из Яндекс Вебмастера» со ссылкой на источник.
- Выдержки подгружаются отдельным запросом после открытия страницы и закрыты от поисковых роботов. В поисковой выдаче по нашей странице чужих текстов нет.
- Если Яндекс скрыл отзыв, при следующем сборе мы помечаем выдержку и больше её не показываем: она выпадает из средней, распределения оценок и графика. Если отзыв вернётся в Яндекс, вернётся и выдержка.
Как выдержки влияют на цифры на карточке, описано на странице Как считается рейтинг.
Как часто обновляются данные
- Паспорт проверяется раз в 30 дней. Если сайт не ответил, проверим снова через сутки. После трёх неудач подряд сайт считается неработающим и проверяется раз в 90 дней.
- Отзывы из Вебмастера. У сайтов с отзывами раз в неделю загружаем 10 последних, новые добавляются к сохранённым. У сайтов без отзывов проверяем раз в 90 дней.
- Очередь. В сутки портал делает не больше 20 000 загрузок из Вебмастера и 20 000 проверок паспорта. Когда очередь большая, обновление приходит позже срока.
- Средняя, распределение и график пересчитываются после каждой загрузки отзывов. Карточка обновляется сама после каждого нового сбора.
Пометки и плашки на карточке
Что есть сейчас
| Пометка | Что значит |
|---|---|
| красная метка «Я» на аватаре автора | выдержка с публичной страницы Яндекс Вебмастера; в подсказке к метке ссылка на источник |
| «4,5 по 28 отзывам» в шапке | собственных отзывов нет; звёзды и цифра — средняя по выдержкам из Яндекс Вебмастера, которые показаны на карточке; число — сколько их |
| «Отзывов пока нет» в шапке, без звёзд | показать нечего: выдержек у нас нет или все они скрыты |
| «Отзывов пока нет ни здесь, ни в Яндекс Вебмастере» | Вебмастер ответил, что отзывов о сайте нет |
| «Отзывы из Яндекс Вебмастера ещё не загружены» | сайт в каталоге, а загрузка отзывов ещё не прошла |
| «Это другой адрес сайта …. Отзывы и оценки — на его странице.» | Яндекс считает этот домен и основной одним сайтом и отдаёт по ним одни и те же отзывы |
| «Сайт перенаправляет на …. Отзывы и оценки — на его странице.» | главная постоянно (кодом 301 или 308) перенаправляет на другой домен; временные перенаправления так не считаем |
| «Другие адреса сайта: …» в блоке «О сайте» | домены, которые относятся к этому сайту по одному из двух правил выше |
| «Главная перенаправляет на …» в паспорте | при последней проверке главная привела на другой сайт |
| «Сайт не ответил» | при последней проверке сайт не ответил или ответил ошибкой сервера; недоступный robots.txt сам по себе к этой строке не приводит |
| «Ищем отзывы в Яндексе и проверяем сайт…» | сайт только что добавлен, данные собираются |
| «Отзывы из Яндекса подгрузим позже» | загрузка из Вебмастера на паузе |
| «Соберём данные о сайте в течение суток» | сайт стоит в обычной очереди |
Карточка другого адреса сайта не индексируется поисковиками, пока о нём нет собственного отзыва.
Что появится вместе с собственными отзывами
| Пометка | Что будет значить |
|---|---|
| «Опыт подтверждён» | автор показал модератору заказ, чек или переписку; сам документ никто, кроме модератора, не видит |
| «По приглашению сайта» | автор пришёл по ссылке или QR-коду владельца сайта; форма для всех одна, позвать только довольных нельзя |
| «Обновлён» с датой | автор изменил отзыв |
| «Вопрос решён» | автор отметил это после ответа владельца |
| «Официальный ответ · владелец подтверждён» | ответ человека, который подтвердил, что управляет доменом; это не оценка честности сайта |
| «мало отзывов» рядом с рейтингом | у сайта один или два собственных отзыва |
| «Необычная активность: проверяем новые отзывы» | о сайте за короткое время пришло много отзывов, они на проверке |
| «Обнаружены поддельные отзывы» | накрутка подтверждена; плашка остаётся на 90 дней |
| «Отзыв скрыт: причина, дата» | на месте отзыва, который скрыла модерация |
Какие карточки видны в поисковиках
Карточка открыта для индексации, если о сайте есть хотя бы один собственный отзыв или если сайт отвечает, паспорт собран и в Яндекс Вебмастере у него не меньше 5 отзывов. Остальные карточки открываются по прямой ссылке и через поиск на SiteTrust, но закрыты от индексации и не попадают в карту сайта. Так в поисковиках нет тысяч пустых страниц.