Данная статья полностью основана на моём личном опыте и хочется чтобы Вы не допускали моих же ошибок.
Для начала хочется сказать о том, что такое «сопли гугла». Это так называемый дополнительный индекс, куда попадают из-за дублирования контента.
Чтобы показать наиболее значимые результаты, мы опустили некоторые, очень похожие на 2 уже показанных.
Если вы хотите, можно повторить поиск, включив опущенные результаты.
Вот то, что показалось сразу, это основной индекс, а сопли это «опущенные результаты».(Подробнее)
Когда Вы пишете пост в блог на Wordpress, вы добавляете его в категорию (или несколько) и добавляете тэги (метки). Часто получается так, что к нескольким постам вы добавили одинаковые метки не используя их отдельно или используете категорию и одноимённый тэг... Получается, что контент дублируется:
— Главная;
— Сам пост;
— N меток;
— X категорий;
— Feed...
После публикации сначала индексируется главная, потом метки, категории, фид и только потом пост. А в поиске, как известно «кто первый»... Поэтому всё что вложено в статью не добъётся искомых результатов.
Чтобы не попасть туда, а если попали, то вылезти, надо на первое время скрыть от индексации все возможные пути дублирования контента.
Для начала Создадим robots.txt.
User-agent: *
Disallow: /tag/
Disallow: /category/
Disallow: /2009/
Так мы скрываем категории, теги и архив от всех поисковых ботов.
Также, рекомендую скрыть служебные адреса:
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Далее проделываем то же самое для бота Яndex и добавляемдирективу Хост
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /?feed=
Disallow: /?s=
Disallow: /search/
Disallow: /category/
Disallow: /2009/
Host: blog.cylindr.ru
В начало файла теперь добавляем запись для бота Яндекс.Блогов:
User-agent: YandexBlog
Disallow: /?s=
Disallow: /search/
Disallow: /category/
Disallow: /2009/
Так он выглядит потому, что сжирает только фид :)
Конечный robots.txt для нового блога wordpress должен выглядеть примерно так:
User-agent: YandexBlog
Disallow: /?s=
Disallow: /search/
Disallow: /category/
Disallow: /2009/
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /search/
Disallow: /tag/
Disallow: /category/
Disallow: /2009/
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /?feed=
Disallow: /?s=
Disallow: /search/
Disallow: /category/
Disallow: /2009/
Host: blog.cylindr.ru
После настройки не переставайте пользоваться тегами и категориями, но не одинаковыми комплектами и не по одному разу, ведь потом стоит выпускать на волю категории и теги.
P.S. Не забывайте учитывать свои настройки ЧПУ для вордпресс и установленные плагины для коррекции урлов.
P.P.S. Также может быть прописан адрес к карте блога.
Еще следует отключить добавление ссылок на архивы, категории, теги, страницы в sitemap.xml
Ответить