Роботы и WordPress

Почему-то сегодня захотелось немного пообщаться. Даже не то чтобы пообщаться - а узнать мнение. Я отважился на новый эксперимент и попробовал сделать тюнинг файлу robots.txt для wordpress блога. В общем смотрите. Было :
User-agent: * Allow: / Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes User-agent: Yandex Allow: / Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes
Стало:
User-agent: * Allow: / Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: /tag/ Disallow: /page/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Allow: /wp-content/uploads/ Sitemap: http://********/sitemap.xml
Ну и собственно вопрос к Вам, дорогие читатели. Какой из вариантов лучше на Ваш взгляд. Желательно с обоснованием - почему так считаете. Полезное в сети :
  • Новостной блог из жизни интернета, стартпов, Веб 2.0, и ИТ индустрии.

  • 10 комментариев to “Роботы и WordPress”

    1. denaie  on Март 19th, 2010

      второй однозначно лучше, первый избыточный. так как первое указание агента уже будет включать в себя второе выделение яндекса
      Единственно что во втором варианте слишком много прикрывается,
      у меня вот такой и я не жалуюсь
      User-agent: *
      Disallow: /wp-login.php
      Disallow: /wp-register.php
      Disallow: /xmlrpc.php
      Disallow: /wp-admin
      Disallow: /wp-includes
      Disallow: /wp-content
      Disallow: /?attachment_id
      Disallow: /?feed=rss2&cat
      Allow: /wp-content/uploads/
      Sitemap: http:// ваываывпапапупук /sitemap.xml

    2. hltv  on Март 19th, 2010

      Второй. У меня прописаны настройки двух видов. Одно для всех роботов. А второй для Яндекса.

    3. 2web  on Март 20th, 2010

      я бы пустую строку перед Sitemap поставил

    4. Yarunya  on Март 20th, 2010

      Пустая строка только для визуального восприятия. Никакого влияния не даст поисковикам. Запрещать индексировать page бессмысленно и неправильно, так как попрой такая страница может висеть долго в основном индексе и приносить намного больше пользы, чем начальная (первая). Ведь сканирование текста поисковика приводит к его частичному анализу. И уже на основе этого анализа (тегов, стоп-слов) и выводится результат — в индекс или в мусорку.

      Не стоит запрещать admin для всех, а потом отдельно для Яндекса — тавтология. Поисковик и так прекрасно знает, что это такое.

      Плюс ко всему я думаю бессмысленно блокировать страницу логина. Её можно даже закосить под поисковый запрос. :) Есть способ, как редактировать страницу логина. Так почему бы не заточить её под запрос? Кто пробовал?

    5. Иван  on Март 24th, 2010

      Спасибо, за доработанный robots.txt. А то я думал как мне из индекса убрать wp-login.php, wp-register.php и xmlrpc.php кстати за что данный файл отвечает?

    6. Человек-писатель  on Март 26th, 2010

      @Иван — xmlrpc.php нужен для удаленного постинга. А вообще второй вариант robots.txt как-то более предпочтительно смотрится.

    7. Кирилл  on Апрель 2nd, 2010

      Мой вариант почему то не добавляется но если кто хочет посмотреть то можно взглянуть тут: http://seostream.ru/robots.txt настраивал под себя любимого :)

    8. Grindex  on Июнь 3rd, 2010

      ну Ваш роботс кстати очень похож как и у меня но вопрос что Вы там внизу еще приписали у меян просто вот так вот http://kolotuska.ru/robots.txt

    9. Muzik  on Июль 3rd, 2010

      Смотрел Вашего робота, советую исправить примерно лучше бы Вам сделать вот такой вот он намного эффективнее http://usi-puti.ru/robots.txt

    10. Grindex  on Сентябрь 5th, 2010

      ссори не правильную ссылку дал http://zamakuna.ru/robots.txt


    Leave a Reply