Главная » 2015 » Ноябрь » 27 » Как удалить страницу из индекса Яндекс, Google, Mail
00:41
Как удалить страницу из индекса Яндекс, Google, Mail

Как удалить страницу из индекса

Как удалить страницу из индекса поисковых систем и вообще зачем это нужно? В этой статье мы рассмотрим все варианты и ответим на часто задаваемые вопросы.

Зачем удалять страницу(ы) из индекса? Причин удалить страницу или страницы из индекса может быть много. Самыми распространенными являются:

  • Страница является дублем (например, страницы site.ru/cat/stranica.html и site.ru/cat/stranica могут быть дублями). А как известно всем - дубли в индексе это зло, которое вредит сайту в целом.
  • Страница перестала существовать (например, информация больше не актуальна).

Как долго будет удаляться страница из индекса Скорость удаления от нас не зависит. Максимальный срок где-то 60..90 дней. Средний срок удаления по моему опыту лежит в районе 25..35 дней. Если мы будем указывать в ручную через панель Яндекс Вебмастера или Google Вебмастера, что страницу нужно удалить, то процесс будет быстрее. Здесь самое главное, чтобы поисковый робот зашел на запрещенную страницу сайта, а далее он уже при обновлении индекса исключит ее из выдачи.

Способы удалить страницу из индекса

В рассмотренных ниже вариантах страница будет существовать (будет открываться для пользователей), но в индексе поисковиков мы ее запретим (удалим).

1. Через мета тег <meta name="robots" ...>

В заголовочных тегах <head> есть возможность запретить страницу к индексации. Для этого нужно прописать:

<head> ... <meta name="robots" content="noindex,nofollow"> ... </head>

  • noindex - говорит о запрете индексации
  • nofollow - о запрете перехода по ссылкам на странице

Этот способ хорош тем, что можно точечно на отдельной странице запретить индексацию. Из минусов можно отметить, что на сайтах с движками сложно на отдельной странице разместить такой тег.

2. Через файл robots.txt

Файл robots.txt находится в корне Вашего сайта. Его может и не быть (если вы его не создавали). Для запрета от индексации существуют специальные команды:

User-agent: * # звездочка означает, что для всех поисковых систем Disallow: /adm/ #запрещает к индексации все страницы из каталога adm Disallow: /cat1/article.html #запрет конкретного документа к индексации

У robots.txt есть целый язык, чтобы запрещать к индексации группы страниц. Более подробно про robots.txt и его настройки читайте здесь »

Закрывать страницы от индексации с помощью robots.txt удобно тем, что можно сразу массово указать весь раздел или же запретить к индексации группу однотипных страниц. Однако поисковые системы четко говорят, что для них файл роботс не является обязательным в плане выполнения. Т.е. поисковая система в теории может оставить в индексе документ, который закрыт в роботс. Правда я таких примеров не знаю.

3. Через панель вебмастера поисковых систем

И в Яндексе и Google в панеле вебмастера есть такая возможность. Однако если вы удаляете страницу подобным образом, то нужно понимать, что страница предварительно должна быть закрыта одним из выше описанных способов, иначе ничего не произойдет. Подобным удалением мы лишь намекаем поисковым роботам, что нужно обязательно зайти на эти страницы в ближайшем обходе.

3.1. Панель Яндекс Вебмастер

Адрес страницы - http://webmaster.yandex.ru/delurl.xml. Зайдя на эту страницу нужно просто указать в форме адрес страницы, которую вы хотите удалить из индекса.

3.2. Панель Google Вебмастер

Адрес страницы - https://www.google.com/webmasters/tools/. Чтобы попасть на нужную форму выберите сайт из списка (если у вас несколько сайтов) и далее выберите вкладку "Индекс Google" -> "Удалить URL-адреса".

В гугле можно прописать сразу каталог URL-адресов (так же как в robots.txt).

4. Заголовки X-Robots-Tag

Этот способ используется только в Google. Запись о запрете должна находиться в http-заголовках: X-Robots-Tag: noindex, nofollow

5. Через редирект или 404 ошибку

Удалить из индекса страницу можно также с помощью редиректа или возвращать со страницы 404 ошибку. В таком случае поисковые системы также удалять страницы из индекса.

Мы рассмотрели основные способы по удаление страницы из индекса. Как я уже писал выше скорость удаления в каждом случае разная. Но одно можно сказать точно - это не быстро. В любом случае это займет дней 5-7 минимум.

Категория: Все о сайтах | Просмотров: 358 |
Всего комментариев: 0
avatar