Дубли страниц размывают ссылочный вес и краулинговый бюджет. Объясняем, откуда берутся копии, как их найти и убрать: редирект, canonical, noindex.
Дубли страниц: почему они мешают SEO и как их убрать
Когда у страницы появляются дубли, поисковик сам решает, какую из копий показать в выдаче, — и не всегда ту, что вы продвигали. Копии размывают ссылочный вес и съедают краулинговый бюджет; убирают их редиректами, canonical и noindex. Разбираем по порядку: что считается дублем, откуда они берутся, чем мешают продвижению, как найти и убрать их и как защитить сайт от появления новых.
Что считается дублем страницы
Одна и та же страница открывается по адресам site.ru/tovar, site.ru/tovar/, www.site.ru/tovar и site.ru/tovar?utm_source=vk — для человека это одна страница, для робота — четыре разных документа. Дубли делят на полные (контент совпадает целиком), частичные (совпадает большая часть — как у пагинации) и смысловые (разные слова, один смысл). Похожие страницы вроде «куртки мужские» и «куртки зимние мужские» дублями не считаются: у каждой своя задача и семантика, поэтому их исправляют иначе — или не трогают вовсе.
Откуда берутся дубли на сайте
Дубли порождает движок
Намеренно дубли заводят редко: их генерирует движок при настройках, которые никто специально не менял. Так, 1С-Битрикс отдаёт одну страницу каталога сразу по нескольким адресам.
Зеркала, слеш, index.php
Без главного зеркала сайт открывается по четырём адресам: с www и без, по http и https. Слеш на конце, index.php и другие служебные окончания дают ещё варианты тех же страниц.
GET-параметры и умный фильтр
Массовый источник — GET-параметры: /catalog/?sort=price, utm-метки, sessid. Столько же даёт умный фильтр Битрикса: каждое свойство — новая ссылка с тем же контентом.
Пагинация, категории, поиск
Пагинация множит адреса страниц раздела каталога, а привязка товара к нескольким категориям — адреса его карточки. Копии также дают результаты поиска по сайту и версии для печати.
Чем дубли мешают продвижению
Краулинговый бюджет уходит на обход копий: робот тратит ресурсы на повторное сканирование дублей, и новые страницы индексируются медленнее. Есть и другой риск: в выдачу может попасть не та версия, которую вы продвигали, — тогда вся оптимизация фактически будет работать на другой адрес.
Ссылочный вес и поведенческие сигналы делятся между версиями, конкурирующими за одни запросы: ссылки, клики и время на сайте распределяются по копиям, и ни одна из них не набирает позиции так, как набрала бы единственная страница. Аналитика тоже дробится — трафик и конверсии приходится сводить по нескольким адресам, и реальная эффективность каждой страницы искажается. Самого фильтра «за дубли» при этом не существует, но при массовом копировании риск пессимизации сохраняется.
Как найти дубли на своём сайте
- Проверьте Яндекс ВебмастерВ разделе «Страницы в поиске» откройте «Исключённые страницы» и отфильтруйте по статусу «Дубль».
- Запустите диагностикуТот же Вебмастер на странице «Диагностика сайта» сообщит о дублях, созданных GET-параметрами.
- Откройте Search ConsoleВ отчёте об индексировании ищите «Дубликат без пользовательского канонического тега» и «Google выбрал иной канонический тег».
- Пройдитесь парсеромКабинеты поисковых систем показывают полные дубли через статусы, а частичные напрямую не видны — их выявит парсер вроде Screaming Frog, сравнив тексты, title и H1.
- Сгруппируйте адресаРазделите их по источнику: зеркала, GET-параметры, пагинация, категории. От группы зависит способ исправления.
- Или закажите аудит у насТакая диагностика — стандартная часть технического или SEO-аудита: разовая услуга с фиксированной ценой и понятным составом работ.
Как убрать дубли и какой способ выбрать
| Критерий | 301-редирект | rel=canonical | robots.txt или noindex | Clean-param |
|---|---|---|---|---|
| Когда уместен | Адрес-дубль не нужен вовсе | Обе версии нужны посетителям | Адрес служебный, в поиске не нужен | Параметр не меняет содержимое страницы |
| Типичные адреса | Зеркала, слеш, index.php | Пагинация, сортировка, товар в категориях | Результаты поиска, версии для печати, сессии | Рекламные метки utm, параметры сортировки |
| Чего не решает | Не устраняет причину: за каждым новым дублем — новый редирект | Не сработает, если внутренние ссылки ведут на дубль | Вес основной странице не передаёт; исключает по мере переобхода | Учитывается только роботом Яндекса |
| Принцип выбора | Склеивать только дубли одного запроса: слабые копии — на одну главную страницу | Страницы под разные запросы канонической не склеивать | Скрывать после диагностики: без неё зачистка отнимает трафик | Чистить параметры, не влияющие на страницу, — utm-метки продолжат работать в аналитике |
| Как настроить | В .htaccess или настройках сервера | В 1С-Битриксе — настройками компонентов и модулей | Disallow в robots.txt или метатег noindex | Отдельная директива в robots.txt |
Как не допустить появления новых дублей
- Настройте техбазу по таблице выше — раз и навсегда: 301-редирект на главное зеркало, единый формат URL (слеш, регистр, index.php), canonical для каталога и инфоблоков, закрытые служебные страницы, Clean-param в robots.txt.
- Следите за адресами: ссылки и sitemap.xml — на канонические URL. После смены структуры или переезда — 301-редиректы. Просмотр «Исключённых страниц» в Вебмастере (ежеквартально и после редизайна) входит в SEO-сопровождение.
Частые вопросы о дублях страниц
Пессимизируют ли сайт за дубли?
Штрафа в явном виде не существует, поэтому в Вебмастере не появится уведомление о нарушении. Проявляется эффект постепенно: страницы медленно теряют позиции и выпадают из поиска. Отличить от санкции несложно — после склейки дублей показатели возвращаются сами.
Сколько занимает устранение дублей?
Зависит от объёма сайта и источника: зеркала и слеш правятся быстро, фильтры каталога — дольше. Дубли покидают выдачу по мере переобхода роботом, поэтому эффект виден не сразу после правок.
Можно справиться самому или нужен подрядчик?
Небольшому сайту хватит Вебмастера, Search Console и парсера: дубли найти и склеить можно самостоятельно. Крупному каталогу уместнее подрядчик: ошибки в зачистке отнимают трафик.
Все ли дубли нужно удалять?
Нет. Пагинацию склеивают canonical, служебные адреса закрывают от индексации, похожие страницы с разными запросами развивают или не трогают. Выбор способа — из таблицы выше.
Одинаковый контент на поддоменах — дубли?
Для Яндекса — нет: поддомены он считает разными сайтами и не признаёт их страницы дублями. Google одинаковый контент на поддоменах может распознать как дубли — такие версии склеивают canonical. Для мультирегиональных проектов это отдельная настройка, а не задача зачистки.
Что входит в работу подрядчика?
Сначала диагностика: определяются источники дублей и их объём. Затем для каждой группы адресов подбирается способ устранения и настраиваются редиректы, canonical и robots.txt — разово или в рамках сопровождения.
Расскажите о задаче — оценим сроки и объём работ по вашему проекту.