Основные моменты поисковой оптимизации в картинках: Разъясненный Robots.txt

Уважаемые читатели, позволю себе разнообразить сугубо текстовый формат контента, представленного на данном сайте, и предложить Вам серию из постов, содержащих в себе обучающие изображения!

Данные обучающие изображения созданы для новичков с целью наглядно продемонстрировать им тот или иной аспект поисковой оптимизации.

Итак, приступим!

Сегодня Вашему вниманию предстанет первое обучающее изображение — Разъясненный Robots.txt.

Итак, вкратце: Robots.txt используется для того, чтобы закрывать поисковым роботам доступ к определенным участкам сайта.

На картинке изображено 2 варианта поведения поисковых роботов на: сайте без robots.txt (слева) и сайте с robots.txt (справа).