Дубли страниц на сайте -
найти и удалить

Дубли главной страницы

От куда берутся дубли главной страницы?

Основная проблема появления дублей – это неправильная настройка системы управления сайта.

Дубли главной страницы бывают:

— на уровне файлов (страниц)

— на уровне работы домена и протокола (http и https). Разберем эти 2 типа.

Дубли главной страницы из индексных файлов

Если существует несколько файлов, которые поисковая система считает дублем главной страницы, их все нужно закрыть от индексации и настроить 301 редирект.

Как проверить главную страницу на дубли?

Самый простой способ — поверить статус-коды главной страницы, путем добавления к url-адресу сайта всех нижеперечисленных страниц. Если эти страницы отдают 404 или 301 ответ – значит всё настроено корректно. Если нет – закрываем дубли главной от индексации и добавляем 301 редирект.

Дубли главной страницы, которые нужно проверить:

/index

/index.html

/index.htm

/index.shtml

/index.php

/index.asp

/index.aspx

/default.html

/default.htm

/default.shtml

/default.php

/default.asp

/default.aspx

Проверить статус-коды можно с помощью сервиса pr-cy.

Заходим в раздел «Инструменты»:

Далее, выбираем «Проверка заголовков сервера»

В идеале главная страница должна открываться таким образом: https://example.com/ и быть в единственном экземпляре. Но не всегда так бывает. Подробнее про ответы и заголовки сервера читайте в нашей статье про статус-коды страниц.

Как закрыть дубли главной страницы?

Чтобы закрыть дубль главной страницы сайта, нужно прописать соответствующее правило в файле robots.txt

Например,

Disallow: /index.php

После закрытия дублей главной страницы сайта, нужно переходить к поиску дублей на внутренних страницах сайта.

Дубли домена

Если главная страница сайта открывается по разным протоколам и разным путям: https://domen.ru, https://www.domen.ru, http://domen.ru, http://www.domen.ru, то данные адреса нужно привести к одному виду, например, к https://domen.ru.

Такие дубли главной страницы настраиваются с помощью 301 редиректа в файле .htaccess.

А, может быть, оставить как есть?

Если вы не планируете продвижение сайта в поисковых системах, то настройка корректности главной страницы будет относиться лишь к вашей тяге к перфекционизму. Но если вы хотите продвигать сайт в поисковых системах по множеству запросов в ТОП, то данная процедура является чуть ли не главной и продвижение всех наших проектов мы начинаем именно с настройки главного зеркала.

Дубли остальных страниц на сайте

Поиск дублей страниц в Яндекс.Вебмастер

В Яндекс.Вебмастер можно проверить исключенные страницы из-за их дублирования. Это можно сделать в следующем разделе: Индексирование -> Страницы в поиске -> Исключенные страницы -> в фильтре установить статус «Дубль».

Поиск дублей страниц с помощью ScreamingFrog

Также, дубли страниц можно посмотреть с помощью программы ScreamingFrog. Для этого нужно отсортировать список страниц по Title или Description или H1. Если есть повторяющиеся – значит с ними и нужно разобраться.

Не всегда дублем страницы признается страница с повторяющимся наполнением. Если есть повторение тега title, description и h1, страница также может быть дублем и это нужно исправлять.

Ниже показан пример как мы оптимизировали агрегатор путешествий.

Найдены дубли со страниц блога– очень распространенная проблема, которую можно легко устранить – подробности в статье: Канонические страницы rel canonical и правильная пагинация