Файл robots.txt для WordPress

Вот хороший вариант файлика robots.txt для блогового движка WordPress:

User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /author Disallow: */trackback Disallow: */feed Disallow: */comments User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /2011 #если у Вас много годов, Disallow: /2010 #то стоит это все Disallow: /2009 #запретить к индексации Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Host: VASH_SITE.ru Sitemap: http://VASH_SITE.ru/sitemap.xml

Для тех, кто не хочет, чтобы индексировались метки, допишите: Disallow: /tags

Советую также написать ещё вот это: Disallow: /category

Это нужно, чтобы избавится от дублирования контента. Ваши посты доступны так: site.ru/имя_категории/имя_поста, а так же так site.ru/category/имя_категории/имя_поста.