Robots.txt

Ранним утром призвал мудрый оптимизатор Фу-Джоу своих сыновей. На склоне гор у священного ручья Хун-цы, где зародилось китайское СЕО, Фу-Джоу сказал своим сыновьям: «Старший и младший мой сын! Не повторяйте моих ошибок! Всегда прописывайте директиву host и тогда ваши сайты склеятся правильно…» Покорно выслушали его сыновья и пошли работать над своими сайтами. Младший сын Сяо отличался строптивым характером, он считал, что знает все о SEO. Гордыня обуяла его, и он позабыл наказы своего отца. Старший же сын, по имени Сунь, был человеком уравновешенным, он отнесся к советам с должной ответственностью. Проходили месяцы, фирма семьи Джоу набирала клиентов и обороты и вот однажды, после очередного обхода робота зеркальщика китайской поисковой системы «Байду́», сайты младшего сына были неправильно склеены и потеряли позиции. Сайты же старшего сына с каждым апом поднимались в выдаче. Разозлился Сяо, бросил СЕО ремесло и принялся выращивать рис, да только и тут у него ничего не получилось, ведь даже чтобы вырастить рисовое дерево, необходимо учесть немало факторов, как и в SEO здесь действует принцип, что посеешь, то и пожнешь…

Мораль сей басни, как любил говаривать Крылов, такова: робот-зеркальщик поисковой системы Яндекс часто склеивает зеркала на свое усмотрение и делает это не так, как нам того хочется. Допустим, у нас есть два зеркала: ввв.сайт.ру и сайт.ру. Мы упорно закупаем ссылки на сайт.ру, проходит несколько месяцев, все шоколадно и вдруг появляется зеркальщик и делает основным зеркалом ввв.сайт.ру. При такой «смене погоды» позиции сайта может неслабо сбросить, да и тИЦ тоже. Как же решается данная проблема? Довольно просто, через старый добрый файл robots.txt, который есть в корне сайта (если его нет, то необходимо его создать). Этот файл содержит директиву Allow/Disallow, которая разрешает или запрещает индексацию отдельных папок и файлов сайта. Именно после этой директивы должна быть прописана директива Host, которая укажет зеркальщику на «правильный» главный сайт. Итак, если мы продвигаем сайт без «ввв», то файл robots.txt будет выглядеть примерно следующим образом:

User-agent: *
Disallow: /administrator/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: вашсайт.ru

Однако не стоит забывать, что поисковая система Яндекс не гарантирует правильной склейки. Есть отдельные случаи, когда робот склеивает сайты исключительно на свое усмотрение. Однако в подавляющем большинстве случаев использование директивы host вполне оправдано и действует.