Дубли страниц и canonical: как проверить выбранный URL

Одна страница может открываться по нескольким адресам: с UTM-меткой, параметром сортировки, завершающим слешем, другим регистром или служебным вариантом для печати. Для посетителя содержимое выглядит одинаково, а поисковому роботу приходится решать, какой URL считать основным.

Сам факт дублей не означает автоматическую санкцию. Google прямо относит многие технические варианты URL к нормальным причинам дублирования. Проблема начинается, когда сигналы расходятся: в sitemap указан один адрес, внутренние ссылки ведут на второй, а rel="canonical" — на третий. Тогда поисковик может выбрать не ту страницу, которую вы планировали продвигать.

Сначала соберите все варианты страницы

Не начинайте с массовой установки canonical. Сначала определите, какие URL действительно показывают один материал, а какие лишь кажутся похожими.

Откройте отчёты об индексировании в Яндекс Вебмастере и Google Search Console.
Проверьте адреса с UTM-метками, фильтрами, сортировкой, поиском и пагинацией.
Сравните версии с HTTP и HTTPS, www и без него, со слешем и без слеша.
Найдите печатные, архивные, тестовые и мобильные варианты.
Посмотрите, какие URL находятся во внутренних ссылках, sitemap и внешних ссылках.

Для каждой пары сохраните HTTP-статус, title, H1, основной текст, canonical и доступность для робота. Если страницы отвечают на разные запросы или дают пользователю разные условия, автоматически объединять их нельзя. Например, две услуги с похожим вступлением могут иметь разные задачи, состав работ и коммерческий интент.

Выберите адрес, который должен остаться основным

Предпочитаемый URL должен быть постоянным, открываться с кодом 200, не быть закрыт от индексирования и содержать полную версию материала. Лучше выбирать короткий понятный адрес без технических параметров.

Проверьте также его роль на сайте. Он должен присутствовать в sitemap, получать внутренние ссылки и соответствовать навигации. Если основной URL существует только в canonical, но ниоткуда не связан и не включён в структуру, сигналы остаются противоречивыми.

Яндекс и Google рассматривают canonical как рекомендацию, а не безусловную команду. Поисковик может выбрать другой адрес, если назначенная страница недоступна, сильно отличается по содержанию или остальные сигналы указывают на иной URL.

Выберите способ по назначению дубля

У редиректа, canonical и запрета индексации разные задачи. Они не заменяют друг друга.

301-редирект — когда второй адрес больше не нужен

Если посетителю незачем открывать старую или техническую версию, настройте постоянный редирект на основной URL. Это подходит для смены адреса, объединения старой страницы с новой и устранения вариантов, которые не должны существовать отдельно.

Не отправляйте все исчезнувшие страницы на главную. Целевой адрес должен быть содержательно близким, иначе редирект не решает задачу пользователя и может восприниматься как ошибочный.

rel=canonical — когда копия должна открываться

Canonical подходит, если альтернативный URL нужен посетителям или системе, но в поиске предпочтительна основная версия. Типичный пример — параметрический адрес с тем же содержимым.

На дубле укажите один абсолютный канонический URL. На основной странице допустим canonical на саму себя. Не создавайте цепочки вида A → B → C и не назначайте страницу, которая редиректит, закрыта от робота или возвращает ошибку. Яндекс отдельно предупреждает, что такие указания могут быть проигнорированы.

noindex — когда страницу можно обходить, но не нужно показывать

noindex используют для страницы, которая должна быть доступна посетителю и роботу, но не должна участвовать в поиске: например, внутреннего результата или служебного экрана. Это не способ объединить сигналы двух одинаковых страниц. Если задача именно в консолидации дублей, сначала рассматривают редирект или canonical.

robots.txt и параметры — когда нужно управлять обходом

Ограничение в robots.txt управляет обходом, а не равнозначно удалению URL из поиска. Если робот не может загрузить страницу, он не увидит размещённые в её HTML canonical или noindex. Поэтому запрет обхода нельзя добавлять поверх этих сигналов без понимания последовательности.

Для массовых GET-параметров Яндекс также поддерживает директиву Clean-param. Её применяют после инвентаризации параметров: ошибочное правило способно склеить страницы, которые действительно меняют товары, услуги или условия выбора.

Согласуйте все сигналы вокруг одного URL

После выбора метода проверьте не только тег в HTML. Основной адрес должен поддерживаться всей структурой сайта:

внутренние ссылки ведут сразу на него, без промежуточного редиректа;
в sitemap находится каноническая версия, а технические копии исключены;
canonical указан один раз и совпадает в исходном HTML и HTTP-заголовках;
основной URL отвечает 200 и открыт для индексирования;
редиректы не образуют цепочек и циклов;
варианты регистра, протокола, домена и слеша обрабатываются единообразно;
ссылки из меню, хлебных крошек и карточек не возвращают дубли.

Bing отмечает ещё одну практическую проблему дублей: робот тратит обход на повторяющиеся адреса вместо новых или обновлённых страниц. На небольшом сайте это может быть почти незаметно, а в каталоге с сочетаниями фильтров число URL быстро растёт. Поэтому исправлять нужно не только отдельные теги, но и механизм появления лишних ссылок.

Проверьте результат после повторного обхода

Изменение кода не означает, что поисковая база обновилась сразу. Сначала проверьте страницу обычным HTTP-запросом и в браузере: статус, конечный URL, canonical, robots и ссылки. Затем передайте изменённые адреса на переобход штатными средствами и дождитесь повторной обработки.

В Яндекс Вебмастере смотрите раздел «Страницы в поиске» и причины исключения. Статус «Неканоническая» означает, что страница учтена по другому каноническому адресу. В Google Search Console сравнивайте заявленный владельцем и выбранный Google canonical в проверке URL. Расхождение — повод снова проверить доступность, сходство содержимого и согласованность сигналов.

Чек-лист проверки дублей

Собраны все URL с одинаковым или близким содержимым.
Для каждой пары подтверждено, что интент и основная информация совпадают.
Выбран стабильный адрес с кодом 200 и полной версией материала.
Решено, нужен ли дубль посетителю: от этого зависит редирект или canonical.
Canonical один, абсолютный и не ведёт на закрытую или перенаправляемую страницу.
Не смешаны canonical, noindex и запрет обхода без понятной причины.
Sitemap и внутренние ссылки указывают на основной URL.
Нет цепочек и циклов редиректов или canonical.
После изменения проверены исходный HTML, HTTP-заголовки и мобильная версия.
Результат подтверждён после повторного обхода в поисковых кабинетах.

Вопросы о дублях и canonical

Нужно ли ставить canonical на каждую страницу сайта?

Самоссылочный canonical допустим и помогает явно обозначить предпочтительный адрес, но не исправляет ошибочную структуру автоматически. Важнее, чтобы он был единственным, доступным и совпадал с внутренними ссылками, sitemap и редиректами.

Можно ли одновременно закрыть дубль в robots.txt и поставить canonical?

Обычно это противоречивая комбинация: запрет обхода может помешать роботу прочитать canonical в HTML. Сначала определите задачу — прекратить доступ, убрать URL из поиска или объединить одинаковые страницы — и выберите соответствующий механизм.

Что проверяет VOWE при SEO-оптимизации?

На странице SEO-оптимизации сайта VOWE указаны проверка и исправление title, description, H1, дублей, canonical и лишних страниц, а также настройка sitemap, robots.txt, редиректов, кодов ответа и базовой индексации.