Ликбез по meta-тегу robots

Автор: Джуст де Уолк
Перевод: Всеволод Козлов

В связи с тем, что меня частенько стали спрашивать о meta-теге robots и его возможном применении, я и написал эту статью, в которой рассмотрел возможные значения данного meta-тега.

В конце статьи я привожу названия роботов основных поисковых систем.

Перед тем, как начать, хочу продемонстрировать синтаксис изучаемого meta-тега:

<meta name=”robots” value=” значение “>

Возможные значения meta-тега robots

1. Index. Разрешает поисковым роботам индексировать страницу. Устанавливать необязательно, т.к. он стоит по умолчанию.
2. Noindex. Запрещает поисковым системам отображать страницу в результатах поиска.
3. None. Это то же самое, что и noindex,nofollow. Запрещает поисковым системам делать что-либо со страницей.
4. Follow. Разрешает поисковым роботам следовать по ссылкам на странице.
5. Nofollow. Запрещает поисковым роботам следовать по ссылкам на странице.
6. Noarchive. Запрещает поисковым системам показывать закешированную копию страницы.
7. Nocache. То же самое, что и noarchive, но только для MSN/Live.
8. Nosnippet. Запрещает поисковым системам показывать сниппет для страницы в результатах поисковой выдачи.
9. Noodp. Запрещает поисковым системам использовать в качестве сниппета для страницы сайта в результатах поисковой выдачи ее описание в каталоге DMOZ (ODP).
10. Noydir. Запрещает Yahoo! использовать в качестве сниппета для страницы сайта в результатах поисковой выдачи ее описание в каталоге Yahoo! directory.

Имена роботов популярных поисковых систем

• Google: GOOGLEBOT
• Yahoo!: SLURP
• MSN / Live: MSNBOT
• Ask: TEOMA

Оригинал статьи: The ultimate guide to meta name=“robots”