Ликбез по meta-тегу robots
Автор: Джуст де Уолк
Перевод: Всеволод Козлов
В связи с тем, что меня частенько стали спрашивать о meta-теге robots и его возможном применении, я и написал эту статью, в которой рассмотрел возможные значения данного meta-тега.
В конце статьи я привожу названия роботов основных поисковых систем.
Перед тем, как начать, хочу продемонстрировать синтаксис изучаемого meta-тега:
<meta name=»robots» value=» значение «>
Возможные значения meta-тега robots
- Index. Разрешает поисковым роботам индексировать страницу. Устанавливать необязательно, т.к. он стоит по умолчанию.
- Noindex. Запрещает поисковым системам отображать страницу в результатах поиска.
- None. Это то же самое, что и noindex,nofollow. Запрещает поисковым системам делать что-либо со страницей.
- Follow. Разрешает поисковым роботам следовать по ссылкам на странице.
- Nofollow. Запрещает поисковым роботам следовать по ссылкам на странице.
- Noarchive. Запрещает поисковым системам показывать закешированную копию страницы.
- Nocache. То же самое, что и noarchive, но только для MSN/Live.
- Nosnippet. Запрещает поисковым системам показывать сниппет для страницы в результатах поисковой выдачи.
- Noodp. Запрещает поисковым системам использовать в качестве сниппета для страницы сайта в результатах поисковой выдачи ее описание в каталоге DMOZ (ODP).
- Noydir. Запрещает Yahoo! использовать в качестве сниппета для страницы сайта в результатах поисковой выдачи ее описание в каталоге Yahoo! directory.
Имена роботов популярных поисковых систем
- Google: GOOGLEBOT
- Yahoo!: SLURP
- MSN / Live: MSNBOT
- Ask: TEOMA
Оригинал статьи: The ultimate guide to meta name=“robots”
Смотрите также:
- 301 редирект
- Мой любимый фильм
- Хлебные крошки
- Поисковая оптимизация
- 20 сайтов на Wordpress
- Корзина для интернет магазина
- Проверить переадресацию 301
- Подбор ключевіх слов сео
- Заголовок сайта
- SEO специалист

Полезная инфа, в букмарки
Спасибо за названия ботов, только как-то немного привели.
Забыл упомянуть про значение ALL
а как правильно ноиндекс в роботсе прописать?
Орест, <meta name=”robots” value=”noindex“ /> — так!
Просто вместо «значения» подставляйте нижеперечисленные значения!