Home News

Как создать файл Robots txt для WordPress

05.09.2018

видео Как создать файл Robots txt для WordPress

Файл robots txt для сайта. Как создать правильный robots txt

Всем привет!



В этой статье поговорим об оптимизации своего блога  с помощью файла robots.txt заточке его под поисковики и зачем это вообще так необходимо.

Как создать Robots txt для WordPress?

Не для кого не секрет, что более 70-80% трафика на наш сайт приходит из поиска или из поисковых систем ( ПС ).


Уроки WordPress - правильный файл robots.txt WordPress для Яндекса и Google

Многие из Вас, имеющие свои личные блоги или сайты пишут на них интересные статьи , тем самым стараясь помочь людям решить их насущные проблемы в той или иной области.

Некоторые блогеры говорят, что им не нужна оптимизация своего сайта( «…зачем нужен этот Robots txt?…») и то,что к ним будет приходить большое количество людей, так как статьи у них уникальные


Добавляем и редактируем файл robots.txt

Это всё правильно, чем уникальнее статья, тем она лучше индексируется поисковыми системами  и тем большее количество людей приходит из поиска. Но нельзя отрицать тот факт, что у поисковых систем есть роботы, которых необходимо задабривать.

Как создать Robots txt

Установим файл Robots на WordPress своего блога и тем самым увеличим поток посетителей с ПС на свой ресурс!

Дело в том, что в директории системы  Wordpres s находится много вспомогательных скриптов, страниц, файлов, которые просто необходимо закрывать от индексации роботов.

Самая главная функция   Robots  txt для WordPress это то, что он лежит в корне блога и в нём прописаны все параметры для поисковых роботов,  которые указывают, что нужно индексировать на блоге, а что нельзя.

Теперь создадим этот файл, пропишем в него нужные параметры и установим на наш блог. Создать robots.txt для WordPress можно двумя способами :

 — Вручную : 

Откройте любой текстовый редактор, например Блокнот или Notepad++, создайте новый документ,внесите туда все необходимые параметры (смотрите ниже), сохраните данный документ под названием «robots» и расширением «txt» и затем закачайте на сервер в корень блога.

 — С помощью плагина:

  Плагин называется «KB Robots.txt». Он очень прост и на странице настроек имеет лишь одно окно формы, в которое и нужно внести все необходимые параметры (смотрите ниже), затем нажать кнопку «Submit» для сохранения.

Кто не знает как установить и активировать плагин читайте статью  «Как установить плагин на WordPress» . После активации плагина во вкладке «Настройки» появится пункт с одноимённым названием плагина, кликнув по которому, Вы попадёте на страницу настроек.

Вот как выглядит мой вариант файла robots.txt на моём блоге:

User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /feed/ Disallow: */feed Disallow: */trackback Disallow: */comments Disallow: /*? Disallow: /*?* Disallow: /tag Disallow: /samorazvitie/ Host: saranchinsergey.ru Sitemap: http://saranchinsergey.ru/sitemap.xml

Внимание!!!   Вместо адреса моего блога Вам нужно подставить свой.

Чтобы увидеть как Ваш файл robots.txt (его содержание) выглядит на сервере, в адресной строке браузера к адресу блога через слэш «/» допишите robots.txt

Проблемы при индексации блога

В том случае, если у Вас на сайте не стоит плагин для вывода ссылок ЧПУ , то может возникнуть проблема при индексации страниц .

Всё дело в том, что без ЧПУ ссылки на страницы в адресной строке имеют вот такой вид:

http://saranchinsergey.ru/?p=347

Строчка в файле robots.txt :

Disallow: /*?*

как раз запрещает индексацию страниц такого вида. Поэтому, чтобы не возникло проблем, советую Вам перейти по ссылке выше и настроить ссылки ЧПУ на своём блоге.

Как видите я не использую для робота Google запрет  Disallow: /*?* в robots.txt и вам не советую. Только для Яндекса!

Запрет Disallow: /*?* не работает для страниц-комментариев, если у вас разрешены древовидные комментарии в WordPress. Поэтому, Яндекс их не будет индексировать, а вот Google за милую душу!

Тем самым таких дублированных страниц у вас появится несметное количество в результатах поисковой выдачи системы Google. Это повлечёт за собой санкции этого поисковика.

Потом будет поздно жаловаться на то, что ваш блог не может подняться на топовые позиции и что трафик упал в несколько раз.

Вы можете просто не использовать кнопку «Ответить» в поле для комментирования, а также чтобы предотвратить эту ситуацию можно просто настроить редирект 301 с таких страниц-дублей.

Для этого зайдите через ФТП в корневую папку своего блога и откройте для редактирования файл .htaccess. Потом пропишите в нём эти строки:

RewriteCond %{QUERY_STRING} ^replytocom= [NC] RewriteRule (.*) $1? [R=301,L]

Вот и всё. Теперь если робот перейдёт на такую дублированную страницу, то его сразу же перенаправит на основную страницу.

Правильный robots txt

Кстати, этот вариант файла robots.txt не является истиной в последней инстанции. Но это правильный robots.txt .Я так считаю.

Это связано с тем, что существует большое количество мнений по поводу правильности и целесообразности написания или нет, тех или иных директив в файле.

Однозначный ответ на этот вопрос могут дать только программисты ПС .

Здесь в первую очередь важен результат и результат на данный момент таков:

—   В индексе Google и Yandex есть только страницы и публикации блога .

—   В панели вебмастера Google и Yandex нет никаких ошибок и замечаний по поводу файла robots.txt

Хочу отметить, что работает мой файл правильно. Я проверял это не раз, проводя аудит блога с помощью различных сервисов.

Ну а теперь ещё одна фишка от меня. Если у Вас блог пока молодой, то в этом надобности нет, но в будущем точно пригодится.

Избавляемся от нагрузки на сервер

Я сейчас говорю о повышенной нагрузке на сервер при сканировании Вашего блога поисковым роботом. Чтобы от этого избавиться, Вам нужно прописать в своём файле robots.txt директиву crawl delay.

Сделать это достаточно просто. Пропишите значение Crawl-delay: 10 после значений Disallow, Allow.

Если Вас интересует тема Как увеличить скорость загрузки блога , то читайте мою статью и применяйте на практике. Очень эффективно!

Обновлённый robots txt для WordPress.

Друзья, а теперь очень важная информация! Если вы посмотрите мой файл robots txt, то увидите, что он уже не похож на тот, который я предлагал вам установить на свой блог ранее в этой статье. А всё потому, что он, к сожалению, не работает!!!

Да, да вы не ослышались. Он не работает! Дело в том, что он на самом деле не запрещает индексацию таких разделов как tag, page, feed, attachment, comment-page, trackback и category. Это приводит к появлению дублей страниц, то есть дублированного контента. А дубли страниц в свою очередь могут привести к фильтрам поисковых систем .

Этот «косяк» заметил уважаемый блогер Александр Борисов и рассказал об этом в статье на своём блоге isif-life.ru. Это был шок для многих блогеров. В результатах выдачи у некоторых были десятки тысяч страниц с дублями. Мой блог тоже попал под раздачу. Посмотрите сколько у меня страниц в индексе Google:

И это притом, что у меня написано 98 статей! 476-98=378 страниц-дублей!!! Фух…мне ещё повезло…

Но ситуация на моём блоге меняется, график уже стабилизировался и скоро этих дублированных страниц будет всё меньше и меньше! Спасибо Александру за помощь!

Поэтому, вы обязательно должны прочитать статью Александра Борисова на блоге isif-life.ru о том, как удалить дубли этих страниц. Но смею заметить, что в статье предоставлена не вся необходимая информация.

Ну вот в принципе и всё. Теперь вы знаете как создать robots.txt для своего блога.   Оставьте, пожалуйста комментарии к данной статье. Буду рад услышать Ваше мнение.

Да, кстати, рекомендую вам почитать статью о микроразметке . Это очень важная тема и здорово поможет в продвижении своего блога!

Не забудьте подписаться на обновления моего блога, чтобы получать новые статьи о развитии и продвижении своего блога в сети и заработке в интернете.

P.S. Кстати, ребята, если Вам нужны аккаунты для работы в социальной сети Вконтакте, то есть отличный магазин Грин шоп аккаунтов ВК.

Успехов Вам и Удачи С Уважением,

Другие интересные статьи:

МИНИ-КНИГА ПО ЗАРАБОТКУ В ИНТЕРНЕТЕ:
КАК БЫСТРО ВЫУЧИТЬ АНГЛИЙСКИЙ:
rss