Файл robots.txt для DLE

Вот хороший вариант файлика robots.txt для владельцев сайтов DataLife Engine:

User-agent: * Disallow: /*print Disallow: /user/ Disallow: /favorites/ Disallow: /cache/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /uploads/ Disallow: /backup/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Sitemap: http://VASH_SITE.ru/sitemap.xml User-agent: Yandex Disallow: /*print Disallow: /user/ Disallow: /favorites/ Disallow: /cache/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /uploads/ Disallow: /backup/ Disallow: /2011 Disallow: /autobackup.php Disallow: /admin.php Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Sitemap: http://VASH_SITE.ru/sitemap.xml Host: VASH_SITE.ru

Для тех, кто не хочет, чтобы индексировались метки, допишите: Disallow: /tags