Файл robots.txt для Drupal

Про то, для чего нужен файл robots.txt и его синтаксис Вы можете прочитать в статье: как сделать robots.txt для сайта. В этой статье мы лишь рассмотрим файл robots.txt для движка Drupal

Стандартный файл robots.txt, который появляется по умолчанию при установке имеет ряд недостатков, которые легко исправить. Итак, ниже представлен код robots.txt для Drupal:

User-agent: * Disallow: /database/ Disallow: /includes/ Disallow: /misc/ Disallow: /modules/ Disallow: /sites/ Disallow: /themes/ Disallow: /scripts/ Disallow: /updates/ Disallow: /profiles/ Disallow: /profile Disallow: /profile/* Disallow: /xmlrpc.php Disallow: /cron.php Disallow: /update.php Disallow: /install.php Disallow: /index.php Disallow: /admin/ Disallow: /comment/reply/ Disallow: /contact/ Disallow: /logout/ Disallow: /search/ Disallow: /user/register/ Disallow: /user/password/ Disallow: *register* Disallow: *login* Disallow: /top-rated- Disallow: /messages/ Disallow: /book/export/ Disallow: /user2userpoints/ Disallow: /myuserpoints/ Disallow: /tagadelic/ Disallow: /referral/ Disallow: /aggregator/ Disallow: /files/pin/ Disallow: /your-votes Disallow: /comments/recent Disallow: /*/edit/ Disallow: /*/delete/ Disallow: /*/export/html/ Disallow: /taxonomy/term/*/0$ Disallow: /*/edit$ Disallow: /*/outline$ Disallow: /*/revisions$ Disallow: /*/contact$ Disallow: /*downloadpipe Disallow: /node$ Disallow: /node/*/track$ Disallow: /*& Disallow: /*% Disallow: /*?page=0 Disallow: /*section Disallow: /*order Disallow: /*?sort* Disallow: /*&sort* Disallow: /*votesupdown Disallow: /*calendar Disallow: /*index.php Allow: /*?page= Disallow: /*? Host: основной_адрес_сайта Sitemap: http://основной_адрес_сайта/sitemap.xml

Не забудьте изменить "основной_адрес_сайта" - на ваш настоящий адрес сайта (без http://). После создания файла robots.txt поместите его в корень Вашего сайта так, чтобы он был доступен по ссылке: основной_адрес_сайта/robots.txt