Почему-то сегодня захотелось немного пообщаться. Даже не то чтобы пообщаться - а узнать мнение. Я отважился на новый эксперимент и попробовал сделать тюнинг файлу robots.txt для wordpress блога. В общем смотрите.
Было :
User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
User-agent: Yandex
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Стало:
User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/
Sitemap: http://********/sitemap.xml
Ну и собственно вопрос к Вам, дорогие читатели. Какой из вариантов лучше на Ваш взгляд. Желательно с обоснованием - почему так считаете.
Полезное в сети :
Новостной блог из жизни интернета, стартпов, Веб 2.0, и ИТ индустрии.
on Март 19th, 2010
второй однозначно лучше, первый избыточный. так как первое указание агента уже будет включать в себя второе выделение яндекса
Единственно что во втором варианте слишком много прикрывается,
у меня вот такой и я не жалуюсь
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /?attachment_id
Disallow: /?feed=rss2&cat
Allow: /wp-content/uploads/
Sitemap: http:// ваываывпапапупук /sitemap.xml
on Март 19th, 2010
Второй. У меня прописаны настройки двух видов. Одно для всех роботов. А второй для Яндекса.
on Март 20th, 2010
я бы пустую строку перед Sitemap поставил
on Март 20th, 2010
Пустая строка только для визуального восприятия. Никакого влияния не даст поисковикам. Запрещать индексировать page бессмысленно и неправильно, так как попрой такая страница может висеть долго в основном индексе и приносить намного больше пользы, чем начальная (первая). Ведь сканирование текста поисковика приводит к его частичному анализу. И уже на основе этого анализа (тегов, стоп-слов) и выводится результат — в индекс или в мусорку.
Не стоит запрещать admin для всех, а потом отдельно для Яндекса — тавтология. Поисковик и так прекрасно знает, что это такое.
Плюс ко всему я думаю бессмысленно блокировать страницу логина. Её можно даже закосить под поисковый запрос. :) Есть способ, как редактировать страницу логина. Так почему бы не заточить её под запрос? Кто пробовал?
on Март 24th, 2010
Спасибо, за доработанный robots.txt. А то я думал как мне из индекса убрать wp-login.php, wp-register.php и xmlrpc.php кстати за что данный файл отвечает?
on Март 26th, 2010
@Иван — xmlrpc.php нужен для удаленного постинга. А вообще второй вариант robots.txt как-то более предпочтительно смотрится.
on Апрель 2nd, 2010
Мой вариант почему то не добавляется но если кто хочет посмотреть то можно взглянуть тут: http://seostream.ru/robots.txt настраивал под себя любимого :)
on Июнь 3rd, 2010
ну Ваш роботс кстати очень похож как и у меня но вопрос что Вы там внизу еще приписали у меян просто вот так вот http://kolotuska.ru/robots.txt
on Июль 3rd, 2010
Смотрел Вашего робота, советую исправить примерно лучше бы Вам сделать вот такой вот он намного эффективнее http://usi-puti.ru/robots.txt
on Сентябрь 5th, 2010
ссори не правильную ссылку дал http://zamakuna.ru/robots.txt