История о том, как я сменил главное зеркало. Расширение настроек зеркал в вебмастере Как узнать основное зеркало

Главное зеркало – основная версия сайта. Зеркалом именуют полную или практически полную копию сайта, размещённую по другому интернет-адресу. Она повторяет контент на 80% и выше. Для поисковых роботов, наличие приставки www перед адресом делает сайт совершенно другим, то есть www.названиесайта.ru и названиесайта.ru – понимаются, как физически отличающиеся адреса.

Яндекс и Google индексируют сайты по-разному: первый может считать главным сайтом www.сайт.ru, а второй – сайт.ru. Или наоборот. Именно поэтому важно «тыкнуть их носом» в главный и зеркальный сайты.

Почему важно чтобы сайт имел главное зеркало?

Обычно зеркало сайта возникает из-за www-префикса.. Но случаются и переезды на другой домен с оставлением того же контента сайта, но без настройки редиректа.

Но если не сделать это по-умному, то ТИЦ и PageRank только снизятся для каждого сайта, разделившись, из-за непонимания поисковиками, что должно считаться главным зеркалом, а что – второстепенным. Поэтому, чтобы не навредить себе, вебмастер должен дать понять роботам Яндекс и Google – какая версия сайта является главным зеркалом.

Также перестанет работать часть ссылок и поведенческие факторы. Если по ссылкам переходят на сайт.ru и проводят там долго времени - это сигнал поисковой системе о качестве сайта. При этом переход по ссылке на www.сайт.ru - никакого влияния на сайт.ru не окажет.

Как проверить и определить, указано ли главное зеркало.

Проверка правильности настройки зеркала проста – в адресной строке используемого браузера вводится адрес сайта.

Возьмём адрес www.сайт.ru, как и в прошлых примерах. Если после ввода адреса и символы www не исчезли, перенаправив пользователя на сайт.ru, то далее следует проверка сайт.ru тем же способом.

Если после перехода адрес снова не изменился – то есть к нему не добавились символы www, – то значит, что зеркало не настроено. Получается, что оба указанных адреса индексируются поисковыми системами как самостоятельные сайты.

Виртуальный хостинг сайтов для популярных CMS:

И это плохо, поскольку все показатели распыляются на 2 сайта. Как поправить ситуацию – рассмотрим ниже.

Какую версию выбрать основной – с www или без?

Большинство сайтов сейчас отображаются без приставки www, поскольку она являла собой некую отличительную черту адреса на заре становления Internet как глобальной сети. Тогда буквы www считались прогрессивным префиксом, который отождествлялся с Интернетом как жутко интересной новинкой.

По мере того, как он плотнее входил к нашу жизнь, сайтостроители задали тенденцию к упрощению. В том числе это коснулось и самих адресов. Поэтому, выбирая основное зеркало сегодня, следует задавать адрес без www, который стал уже анахронизмом, пережитком времени.

Главное зеркало в инструментах Яндекс Вебмастер и Google Search Console.

Значения главного и второстепенного зеркала задаются с помощью файлов.htaccess и robots.txt, которые должны быть помещены в корневую директорию домена. В первом необходимо прописать условие – если пользователь заходит на www.сайт.ru, то он перенаправляется на сайт.ru. Какой вид это имеет в коде – можно найти в интернете для каждого конкретного случая (в зависимости от того, какая CMS используется).

Поскольку файл.htaccess не гарантирует абсолютно одинакового понимания роботами от Яндекс и Google какая версия является главным зеркалом, то в инструментарии web-мастера нужно проделать нижеследующую работу.

Для Яндекса:

1. Зайти в инструменты вебмастера, пункт «Настройка индексирования» – «Главное зеркало».
2. Указать в нём один из трёх имеющихся вариантов: «на усмотрение робота», «www.сайт.ru» или «сайт.ru» (вместо «сайт.ru» следует подставлять нужный адрес сайта). В этом случае выбор должен быть остановлен на «сайт.ru».

Для Гугла:

1. Зайти в Google Search Console, в раздел – «Сообщения».
2. В пункте «Выберите предпочтительную версию» – указать желаемую версию сайта.

Директива host в robots.txt для Яндекса

Для Яндекса указание в.htaccess и инструментах вебмастера не гарантирует стопроцентный результат. Поэтому следует в файле robots.txt в корне директории с сайтом прописывать директиву, отправляющую Яндекс на нужный сайт – Host. В файле прописывается следующее:

User-agent: Yandex
Disallow: /wp-admin
Host: сайт.ru

В сроке «Disallow:» указывается всё, что, по мнению вебмастера, не должен делать и куда не должен заглядывать робот от Яндекса – cgi-bin, админка и т.п. В приведенном примере от индексации закрыта администраторская часть wordpress.

После этого, Яндекс правильно определяет основное зеркало сайта.

Как сделать главное зеркало с SLL и HTTPS

После перевода сайта на протокол HTTPS, Google начинает https-сайты повышать в позициях выдачи, т.к. считает их сайтами с повышенной безопасностью. Поэтому, кроме перехода на безопасный протокол шифрования, после такого шага необходимо выполнить редирект зеркала на основное, содержащее HTTPS.

Если до этого сайт http://сайт.ru был основным, а http://www.сайт.ru – вспомогательным, то теперь основным станет https://сайт.ru, а два указанные – вспомогательными зеркалами. Причиной переезда сайта на новый адрес, с буковкой «s» является установка на сайт сертификатов SSL, повышающих безопасность (данные, которые передаются на сайт шифруются).

Мониторинг проиндексированных страниц сайта.

Роботам требуется определённое время, чтобы «прочитать» изменения, произошедшие на сайте. А потому проверяются показатели посещаемости и количество страниц в индексе спустя 2-4 недели.

Это делается, чтобы удостовериться, что выполненные ранее действия привели к желаемому результату. Если что-то не получилось – необходимо проверить – возможно, где-то закралась ошибка. Даже лишняя запятая, закравшаяся в код, может сделать файлы robots.txt и.htaccess бесполезными для поисковых систем.

Сайты могут иметь неограниченное количество зеркал, но главное зеркало сайта всегда будет единственным. Зеркалами считаются ресурсы, у которых совпадает контент. Зеркала появляются автоматически при создании версии сайта на www и без нее, при переезде на новый домен и при подключении протокола https.

Можно добавить зеркало сайта специально. Обычно это делается для удобства пользователей, когда название товара или бренда имеют разные написания: kettler.ru и ketler.ru или med.ru и myod.ru. Иногда регистрируют один домен в разных доменных зонах и ставят переадресацию на основной домен: dom.ru, dom.com, dom.info и dom.realty. Если сайт переезжает на новый домен, то также происходит добавление зеркала и смена главного зеркала.

Добавляйте зеркала сами

Директива Host. Сообщите, какой именно ресурс является главным зеркалом с помощью инструмента Яндекс.Вебмастер. Для этого укажите в файле robot.txt новое зеркало сайта с помощью директивы host. Пропишите данные правильно, иначе робот проигнорирует их. Директива host должна быть единственной. Если их прописано несколько, робот возьмет данные из первой. Лучше всего добавить ее в группу User-Agent и разместить после Disallow и Allow.

Склеивайте только сайты с идентичным содержимым. Если контент будет отличаться, робот их не склеит. Поэтому при переезде на новый домен с параллельным редизайном проводите работы поэтапно. Сначала сделайте дубликат старого сайта, затем назначьте новый домен главным зеркалом и переведите трафик на него. После этого обновляйте дизайн и вносите другие изменения в содержание.

Серверное перенаправление. Задайте серверный редирект с HTTP-кодом 301 со старого ресурса на новый. Не следует направлять все страницы старого сайта на одну страницу нового, как правило, главную. Это замедляет скорость индексации нового ресурса. Делайте редирект каждой страницы по отдельности. Файлы robot.txt должны совпадать. При перенаправлении с одного сайта на другой страницы первого ресурса начинают исключаться из поиска и трафик падает. Трафик восстанавливается, когда перенаправление полностью завершается и второй сайт становится главным зеркалом. Учитывайте, что пару недель трафик просядет.

Проверьте, чтобы при редиректе совпадали адреса с директивой host. Если они не совпадают, робот не сможет корректно индексировать. Он самостоятельно выберет главное зеркало, и им может стать не тот ресурс, который нужен. Допустим, вы переезжаете на новый домен. Посмотрите, все ли указания ведут на него.

Обеспечьте безопасность

Через Яндекс.Вебмастер недобросовестные исполнители могут забрать весь трафик на другой ресурс. Для этого достаточно иметь доступ в панель Вебмастера с правами администратора. Делается это так. Сначала создается копия основного сайта. Дизайн не важен, главное – должен совпадать контент, который либо парсят, либо копируют, если есть доступ к файлам. Затем в панели Вебмастера прописывают новое зеркало сайта, указав новый домен как основной. Сайты склеиваются, прежний убирается из индекса, и весь трафик перенаправляется на новое зеркало.

Проблемы в этом случае две. Первая – владелец может долго не подозревать о случившемся. Смена главного зеркала происходит исключительно в Вебмастере Яндекса. Для смены не требуется предоставление паспорта как при смене владельца домена. Уведомление на почту или телефон тоже не приходит. Владелец только видит по факту, что посещаемость резко снизилась до нуля. О причинах он может только догадываться.

Вторая проблема в том, что техподдержка Яндекса не реагирует на подобные случаи. По правилам, если контент у сайтов совпадает, их склеивают как зеркала. Поменять содержимое ресурса злоумышленника владелец основного сайта не может. Он может заменить только собственный контент, потеряв все наработки прошлых лет.

Чтобы не попасть в подобную ситуацию, тщательно проверяйте подрядчиков. Не воспринимайте Яндекс.Вебмастер как информационный инструмент сайтовладельца. Контролируйте деятельность исполнителей и оперативно меняйте пароли. Чаще всего мошенническая схема выглядит как бесплатная услуга для наработки портфолио. Исполнитель-фрилансер предлагает бесплатно выполнить работы по сайту за положительный отзыв. После получения доступа он прописывает собственный домен как главное зеркало и перенаправляет весь трафик к себе. Фактически «угоняет» сайт и его посетителей.

Запомните

Сайты считаются зеркалами, когда у них совпадает содержимое на 80% и больше. Зеркал может быть много, но главное зеркало - одно. Владелец может назначить главное зеркало в Яндекс.Вебмастере или робот выберет его автоматически.

Назначайте главное зеркало через директиву Host в файле robot.txt. Директива должна быть единственной. Если ошибочно указали несколько директив, робот возьмет информацию из первой. Прописывайте директиву правильно: корректный адрес домена (с www или без него), наличие https и номер порта.

При переезде на новый домен сначала создайте копию старого ресурса и назначьте ее главным зеркалом. Вносите изменения в дизайн, структуру и контент на новом сайте только после апдейта Яндекса и переходе трафика.

При редиректе учитывайте, что страницы старого сайта выпадают из индекса, и количество посетителей снижается. Объем трафика восстановится только после полного переезда на новый домен. Редирект делайте постранично.

Тщательно выбирайте подрядчиков для работы в панели Яндекс.Вебмастера. Недобросовестные исполнители могут украсть трафик, сделав копию вашего ресурса и назначив ее главным зеркалом. При обнаружении мошенничества техподдержка Яндекса не сможет помочь, потому что расклейка зеркал происходит только при замене контента на одном из сайтов.

Материал подготовила Светлана Сирвида-Льорентэ.

Когда только начинаешь заниматься сайтами, то не задумываешься, что, например, www..ru — разные адреса. Эти доменные имена являются зеркалами. На каждом из них могут отображаться разные сайты.

Какие сайты Яндекс считает зеркалами?

Яндекс считает зеркалами сайты, которые содержат одинаковый контент на страницах, находящихся на одинаковых адресах. Например, www..ru/yandex-webmaster/. У меня стоят , поэтому все зеркала ведут на один адрес.

Какие адреса могут являться зеркалами:

• с префиксом www и без него - www.primer.ru и primer.com;
• по протоколам HTTP и HTTPS - http://primer.com и https://primer.com;
• находится в разных доменных зонах - primer.com и primer.ru;
• настроен серверный 301 редирект с одного адреса на другой - primer.com перенаправляет на primer.ru.

Что такое главное зеркало?

Главное зеркало - это доменное имя сайта, по которому он индексируется в поисковике и показывается в результатах поиска, если доступен по нескольким доменам. Можно настроить в сервисе Яндекс Вебмастера.

Как указать главное зеркало в Яндекс Вебмастер?

Если изначально не было выбрано главное зеркало сайта, то робот выберет его самостоятельно в соответствии со своим алгоритмом.

Чтобы указать главное зеркало поисковику необходимо настроить переезд в Яндекс Вебмастере .

Зайдите в раздел «Индексирование» в пункт «Переезд сайта». Выберите новый домен, который будет главным зеркалом. Если в списке нет нужного адреса, то следует .

Если не планируете менять домен, а просто хотите сменить протокол или префикс, то для этого есть два пункта:

• добавить https;
• добавить www.

Чтобы выбрать главное зеркало нужно пройти несколько этапов:

1. Добавить сайт в Яндекс Вебмастер;
2. Отметить галочкой нужный пункт;
3. Сделать 301-редирект со старого домена на соответствующие страницы нового.

Раньше это делалось довольно сложно и долго. На данный момент все проходит очень быстро и, обычно, без проблем.

И да, советую переходить на HTTPS , т.к. Google дает таким адресам чуть больше преимуществ за повышенную безопасность передачи данных по этому протоколу.

Если вы планируете сделать главным адрес с протоколом HTTPS (или с префиксом www), то добавляйте адрес именно с этим протоколом (префиксом), например, https://сайт.

Есть другой вариант перехода на главное зеркало — просто сделать 301-редирект. Но если сначала сделать настройки в Яндекс Вебмастере, то переезд пройдет быстрее. Яндекс пишет, что смена занимает от одной до трех недель. После этого сайт начинает участвовать в поиске под именем нового главного зеркала.

Индексируются ли зеркала?

Яндекс склеивает все домены и показывает в поиске только главное зеркало. Страницы неглавного зеркала будут в поиске до тех пора, пока страницы главного зеркала их не вытеснят. Вытесненные страницы будут исключены из поиска, но могут храниться в базе Яндекса.

Как проверить, является ли сайт чьим-нибудь зеркалом?

Проверить является ли сайт зеркалом, можно добавив его в Яндекс.Вебмастер.

1. Если сайт признан неглавным зеркалом, он будет автоматически добавлен вместе со своим главным зеркалом.
2. Если сайты не являются зеркалами, они будут отображаться в сервисе независимо друг от друга.

При необходимости зеркало может быть отклеено.

Учитываются ли характеристики неглавных зеркал на главном?

Да, учитываются. Например, это полезно, если интернет-ресурс переезжает на новый домен. Если старый домен станет неглавным зеркалом нового, это поможет сайту сохранить позиции в поиске.

Склеятся ли адреса, если настроить перенаправление со всех страниц одного сайта на главную страницу другого?

Да, робот склеит такие сайты, но использовать этот способ не рекомендуется. Вместо него лучше настроить перенаправление на соответствующие друг другу страницы.

Как расклеиваются зеркала?

Если сайты перестают являться зеркалами друг друга и отдают разное содержимое, в течение нескольких недель они расклеиваются роботом.

Вы можете сообщить роботу о необходимости расклейки сайтов с помощью специального инструмента в сервисе Яндекс.Вебмастер.

После того, как адреса расклеятся, они будут отображаться как отдельные, не связанные между собой ресурсы.

Прежде чем начинать продвижение сайта, надо сначала определить какой домен будет основным. Иначе в индексах поисковых систем может оказаться оба сайта (с префиксом www и без него) с одинаковым содержимым.

Сайт доступен для индексации как с www, так и без www. Вам необходимо выбрать основное зеркало.

Выбор основного зеркала

Зеркалами считаются сайты, являющиеся полными или частичными копиями. Копии определяются по совпадению контента на страницах с одинаковыми адресами (site1.ru/page.html и site2.ru/page.html). Например, в большинстве случаев хосты site.ru и www.site.ru являются зеркалами, так как контент страниц, доступных по одинаковым адресам, не отличается.

Также сайты считаются зеркалами, если со страниц одного сайта настроен серверный редирект на соответствующие им страницы другого сайта (site1.ru перенаправляет на site2.ru, site1.ru/page.html перенаправляет на site2.ru/page.html и т.д.).

Так как роботы поисковых систем склеивают зеркала и индексируют только одно из них (основное), то иногда требуется вручную указать для роботов, какое именно из зеркал должно являться основным.

Способы смены основного зеркала

Существует несколько методов для смены основного зеркала:

1. Изменить основное зеркало в панели вебмастера поисковой системы (инструкции для Яндекса и Google)
2. С помощью директивы Host в файле robots.txt (только для Яндекса)

#Если www.glavnoye-zerkalo.ru главное зеркало сайта, то #robots.txt для всех сайтов из группы зеркал выглядит так User-Agent: * Disallow: /forum Disallow: /cgi-bin Host: www.glavnoye-zerkalo.ru

1. С помощью серверного 301 редиректа со страниц старого домена на соответствующие им страницы нового.

Это приводит к тому, что показатели сайта , PR и ссылочное ранжирование распыляются на оба сайта. И хуже всего, то, что за дублированный контент, страницы сайта могут вообще выпасть из индекса.

Статья по теме: Как экономить на покупке Айфона

Проблема в том, что поисковые машины не всегда правильно определяют главное зеркало сайта, пользуясь своими алгоритмами определения и склейки зеркал. И главным зеркалом может быть выбран совсем не тот сайт.

Поэтому лучше не надеяться на авось, а самому явным образом указать основной домен. Существует несколько способов сказать роботам поисковых систем на то, какое зеркало нужно считать основным.

Основной домен для Google

Чтобы указать для Гугла основной домен, выполните следующие действия.

1. 1. На главной странице Инструментов для веб-мастеров (www.google.com/webmasters/tools/) выберите сайт, для которого нужно указать основной домен.
   2. В разделе Конфигурация сайта перейдите в Настройки.

Кроме того, для Гугла можно прописать инструкцию в файле.htaccess

Redirect 301 / https://сайт/

Основное зеркало для Яндекса

Для Яндекса основной домен или как называет Яндекс основное зеркало указывается в файле

Главное зеркало сайта – практически 100% версия ресурса, расположена по иному адресу. Контент на ней может повторяться на 80% и более.

Поисковые системы имеют свои алгоритмы индексации. Адрес сайта с приставкой www и без неё может восприниматься, как индивидуальные ресурсы. Главное зеркало сайта, что это такое? Это тот же сайт, но по другому адресу.

Иногда ресурсы переезжают на другой домен, оставляют весь контент без изменений, но владелец забывает о редиректе. Если не подойти к делу рационально, то ТИЦ и PR слетят для каждой версии или разделятся.

Так происходит из-за того, что поисковики не понимают, где главная версия, а где копия сайта. Важно объяснить системам, что такое главное зеркало сайта. Посмотрим, как сделать работу правильно и быстро.

Как определить главное зеркало сайта без ошибок?

Введите в адресную строку браузера адрес сайта с префиксом www. Не исчезли символы и вы не попали на тот же сайт по адресу сайт.ру?

Проверяем адрес сайт.ру тем же методом. После перехода адрес сайта не изменился, не добавились символы www? Значит зеркало не настроено совсем.

Это плохо, потому как поисковики расценивают ресурс, как автономные ресурсы и все параметры разделяются между ними. Как настроить главное зеркало сайта, рассмотрим далее.

Настройка главного зеркала сайта

Как приоритетную версию ресурса выбирайте сайт без дополнения www. Как только интернет начал развиваться такие адреса считались популярными, сейчас всё идёт к упрощению.

Настраиваем зеркало в Google Search Console и Яндекс.Вебмастер

В корневой директории сайта главная и второстепенная версии прописываются файлами. Htaccess – приоритетный файл, вся информация, которая здесь значится, воспринимается, как главная. Чтобы вы не написали в robots.txt, он останется второстепенным.

В файле htaccess прописываете условие, что при попадании на адрес www, пользователь незаметно переходит на сайт без приставки в адресе. Как это смотрится в коде, смотрите в сети, это зависит от типа CMS, с которой работаете.

Но, есть один нюанс: htaccess не даёт гарантии, что сайт и зеркало будут восприниматься поисковыми системами одинаково. Дополнительно проделываете следующие мероприятия:

1. В панели вебмастера Яндекс находите опцию «Настройка индексации», выбираете «Главное зеркало».
2. Указываете один из вариантов:

• Сайт с приставкой www;
• Веб-сайт без приставки www в адресе;
• На усмотрение поисковых систем.

Определение главного зеркала сайта должно указывать на адрес ресурса без приставки www, как уже сказано выше. Главное зеркало сайта в новом вебмастере указывается точно так же, как и в стандартной версии. Разница между ними только в дизайне и количестве функций.

С Гуглом всё проще:

1. Нужно зайти в Google Search Console, выбрать «Сообщения».
2. Находите раздел «Выберете приоритетную версию» — указывайте нужный тип зеркала, который будет главным.

Директива для Яндекса

Яндекс – специфический поисковик. Ему мало указания в htaccess, панели вебмастера для 100% результата. Дополнительно зайдите в robots.txt, и в корне директории с ресурсом, пропишите директиву, которая будет отправлять Яндекс на главную версию веб-сайта (Host).

Прописывается следующее:

• Юзер адепт (User-agent), указываете Яндекс;
• Дисселов (Disallow), прописываете /wp-admin;
• Хост (Host) адрес своего сайта без приставки www.

Обратите внимание, что в Disallow, указываются все разделы, куда роботы от поисковой системы не должны заходить админка, cgi-bin и другие элементы, которые считаете нужным.

Выше приведён пример, где не индексируется панель администратора вордпресс. После проделанной работы поисковик правильно понимает, где главное зеркало сайта.

Создаем зеркало сайта с HTTPS, SLL

С появлением HTTPS Гугл повышает в позициях сайты, имеющие этот протокол. Считается, что подобные ресурсы безопасны. Идеально если протокол создаётся сразу при разработке сайта.

Если нет, то после перехода на безопасный протокол необходимо поставить редирект с нынешнего зеркала на основное с приставкой HTTPS. Как узнать главное зеркало сайта онлайн уже рассматривалось выше.

Когда изначально сайт с http:, но без приставки www был основной версией, а такой же сайт с приставкой – дополнительной версией, то после изменений версия https: станет основным вариантом, а перечисленные пойдут, как дополнительные зеркала.

Причина перехода сайта на новый домен с приставкой в адресе s – повышенный уровень безопасности данных после получения сертификата SSL. Информация при попадании на сайт будет шифроваться, что снижает риск её попадания в третьи руки.

Проверить главное зеркало сайта стоит с сертификатом или без него можно способами, перечисленными выше.

Мониторим страницы, попавшие в индекс

Финальная проверка проделанной работы – мониторинг проиндексированных страниц. Проверяются показатели посещаемости и количество страниц в поисковиках не раньше, чем через 14 дней.

Адекватный результат увидите через месяц. Проделанная работа привела к ожидаемому результату? Если нет, то ищите ошибку. Код должен быть идеальным, лишняя точка может сделать файлы.htaccess и роботс бесполезными.