Как создать файл Robots txt для WordPress
05.09.2018
Всем привет!
В этой статье поговорим об оптимизации своего блога с помощью файла robots.txt , заточке его под поисковики и зачем это вообще так необходимо.
Как создать Robots txt для WordPress?
Не для кого не секрет, что более 70-80% трафика на наш сайт приходит из поиска или из поисковых систем ( ПС ).
Уроки WordPress - правильный файл robots.txt WordPress для Яндекса и Google
Многие из Вас, имеющие свои личные блоги или сайты пишут на них интересные статьи , тем самым стараясь помочь людям решить их насущные проблемы в той или иной области.
Некоторые блогеры говорят, что им не нужна оптимизация своего сайта( «…зачем нужен этот Robots txt?…») и то,что к ним будет приходить большое количество людей, так как статьи у них уникальные …
Добавляем и редактируем файл robots.txt
Это всё правильно, чем уникальнее статья, тем она лучше индексируется поисковыми системами и тем большее количество людей приходит из поиска. Но нельзя отрицать тот факт, что у поисковых систем есть роботы, которых необходимо задабривать.
Как создать Robots txt
Установим файл Robots на WordPress своего блога и тем самым увеличим поток посетителей с ПС на свой ресурс!
Дело в том, что в директории системы Wordpres s находится много вспомогательных скриптов, страниц, файлов, которые просто необходимо закрывать от индексации роботов.
Самая главная функция Robots txt для WordPress это то, что он лежит в корне блога и в нём прописаны все параметры для поисковых роботов, которые указывают, что нужно индексировать на блоге, а что нельзя.
Теперь создадим этот файл, пропишем в него нужные параметры и установим на наш блог. Создать robots.txt для WordPress можно двумя способами :
— Вручную :
Откройте любой текстовый редактор, например Блокнот или Notepad++, создайте новый документ,внесите туда все необходимые параметры (смотрите ниже), сохраните данный документ под названием «robots» и расширением «txt» и затем закачайте на сервер в корень блога.
— С помощью плагина:
Плагин называется «KB Robots.txt». Он очень прост и на странице настроек имеет лишь одно окно формы, в которое и нужно внести все необходимые параметры (смотрите ниже), затем нажать кнопку «Submit» для сохранения.
Кто не знает как установить и активировать плагин читайте статью «Как установить плагин на WordPress» . После активации плагина во вкладке «Настройки» появится пункт с одноимённым названием плагина, кликнув по которому, Вы попадёте на страницу настроек.Вот как выглядит мой вариант файла robots.txt на моём блоге:
User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /feed/ Disallow: */feed Disallow: */trackback Disallow: */comments Disallow: /*? Disallow: /*?* Disallow: /tag Disallow: /samorazvitie/ Host: saranchinsergey.ru Sitemap: http://saranchinsergey.ru/sitemap.xmlВнимание!!! Вместо адреса моего блога Вам нужно подставить свой.
Чтобы увидеть как Ваш файл robots.txt (его содержание) выглядит на сервере, в адресной строке браузера к адресу блога через слэш «/» допишите robots.txt
Проблемы при индексации блога
В том случае, если у Вас на сайте не стоит плагин для вывода ссылок ЧПУ , то может возникнуть проблема при индексации страниц .
Всё дело в том, что без ЧПУ ссылки на страницы в адресной строке имеют вот такой вид:
http://saranchinsergey.ru/?p=347Строчка в файле robots.txt :
Disallow: /*?*как раз запрещает индексацию страниц такого вида. Поэтому, чтобы не возникло проблем, советую Вам перейти по ссылке выше и настроить ссылки ЧПУ на своём блоге.
Как видите я не использую для робота Google запрет Disallow: /*?* в robots.txt и вам не советую. Только для Яндекса!
Запрет Disallow: /*?* не работает для страниц-комментариев, если у вас разрешены древовидные комментарии в WordPress. Поэтому, Яндекс их не будет индексировать, а вот Google за милую душу!
Тем самым таких дублированных страниц у вас появится несметное количество в результатах поисковой выдачи системы Google. Это повлечёт за собой санкции этого поисковика.
Потом будет поздно жаловаться на то, что ваш блог не может подняться на топовые позиции и что трафик упал в несколько раз.
Вы можете просто не использовать кнопку «Ответить» в поле для комментирования, а также чтобы предотвратить эту ситуацию можно просто настроить редирект 301 с таких страниц-дублей.
Для этого зайдите через ФТП в корневую папку своего блога и откройте для редактирования файл .htaccess. Потом пропишите в нём эти строки:
RewriteCond %{QUERY_STRING} ^replytocom= [NC] RewriteRule (.*) $1? [R=301,L]Вот и всё. Теперь если робот перейдёт на такую дублированную страницу, то его сразу же перенаправит на основную страницу.
Правильный robots txt
Кстати, этот вариант файла robots.txt не является истиной в последней инстанции. Но это правильный robots.txt .Я так считаю.
Это связано с тем, что существует большое количество мнений по поводу правильности и целесообразности написания или нет, тех или иных директив в файле.
Однозначный ответ на этот вопрос могут дать только программисты ПС .
Здесь в первую очередь важен результат и результат на данный момент таков:
— В индексе Google и Yandex есть только страницы и публикации блога .
— В панели вебмастера Google и Yandex нет никаких ошибок и замечаний по поводу файла robots.txt
Хочу отметить, что работает мой файл правильно. Я проверял это не раз, проводя аудит блога с помощью различных сервисов.
Ну а теперь ещё одна фишка от меня. Если у Вас блог пока молодой, то в этом надобности нет, но в будущем точно пригодится.
Избавляемся от нагрузки на сервер
Я сейчас говорю о повышенной нагрузке на сервер при сканировании Вашего блога поисковым роботом. Чтобы от этого избавиться, Вам нужно прописать в своём файле robots.txt директиву crawl delay.
Сделать это достаточно просто. Пропишите значение Crawl-delay: 10 после значений Disallow, Allow.
Если Вас интересует тема Как увеличить скорость загрузки блога , то читайте мою статью и применяйте на практике. Очень эффективно!
Обновлённый robots txt для WordPress.
Друзья, а теперь очень важная информация! Если вы посмотрите мой файл robots txt, то увидите, что он уже не похож на тот, который я предлагал вам установить на свой блог ранее в этой статье. А всё потому, что он, к сожалению, не работает!!!
Да, да вы не ослышались. Он не работает! Дело в том, что он на самом деле не запрещает индексацию таких разделов как tag, page, feed, attachment, comment-page, trackback и category. Это приводит к появлению дублей страниц, то есть дублированного контента. А дубли страниц в свою очередь могут привести к фильтрам поисковых систем .
Этот «косяк» заметил уважаемый блогер Александр Борисов и рассказал об этом в статье на своём блоге isif-life.ru. Это был шок для многих блогеров. В результатах выдачи у некоторых были десятки тысяч страниц с дублями. Мой блог тоже попал под раздачу. Посмотрите сколько у меня страниц в индексе Google:
И это притом, что у меня написано 98 статей! 476-98=378 страниц-дублей!!! Фух…мне ещё повезло…
Но ситуация на моём блоге меняется, график уже стабилизировался и скоро этих дублированных страниц будет всё меньше и меньше! Спасибо Александру за помощь!
Поэтому, вы обязательно должны прочитать статью Александра Борисова на блоге isif-life.ru о том, как удалить дубли этих страниц. Но смею заметить, что в статье предоставлена не вся необходимая информация.
Ну вот в принципе и всё. Теперь вы знаете как создать robots.txt для своего блога. Оставьте, пожалуйста комментарии к данной статье. Буду рад услышать Ваше мнение.
Да, кстати, рекомендую вам почитать статью о микроразметке . Это очень важная тема и здорово поможет в продвижении своего блога!
Не забудьте подписаться на обновления моего блога, чтобы получать новые статьи о развитии и продвижении своего блога в сети и заработке в интернете.
P.S. Кстати, ребята, если Вам нужны аккаунты для работы в социальной сети Вконтакте, то есть отличный магазин Грин шоп аккаунтов ВК.
Успехов Вам и Удачи С Уважением,