Нужно ли в robot.txt запрещать доступ к CSS, php.ini и .htaccess?
Иногда полезно послушать подкасты Джона Мюллера. Он порой выдает ценные и важные для каждого вебмастера сведения. Хотя в его выступлениях хватает и воды… Но в этот раз ее было мало…
А что так можно было?
Каждому вебмастеру известно, что файл robot.txt – надежная преграда от любопытных ботов. С его помощью можно запретить поисковым роботам и другим представителям семейства ботовых посещать ту или иную веб-страницу сайта. Что позволяет издателям скрывать от индексации поисковиками определенный контент и информацию.
Но оказывается, что robot.txt можно использовать и для перекрытия ботам доступа к программным файлам… Остается только понять, когда это можно делать, а когда нет… Хотя лучше послушать (и прислушаться) ведающих людей. Таких, как Джон Мюллер…
Кто не знает:
Джон Мюллер – инженер по качеству поиска Google, отвечающий за связь с прессой и представителями SEO-сообщества.
Что он рассказал?
Ask Google Webmasters – это серия информационно-справочных роликов, опубликованных на YouTube-канале Google Webmasters. В них Джон Мюллер и другие представители Google отвечают на частые вопросы вебмастеров о работе поисковой системы.
В последнем выпуске Мюллер рассказал об использовании robot.txt для запрета сканирования программных файлов и директив. Один из вебмастеров спросил, стоит ли ему запрещать GoogleBot через robot.txt доступ к CSS-файлам, php.ini и .htaccess? Джон ответил, что он не может заставить вебмастеров не блокировать сканирование этих файлов. Но иногда запрет на их анализ может негативно сказаться на результатах ранжирования сайта в поисковой выдаче.
Применение в robot.txt директивы disallow: /*.css$ полностью заблокирует поисковому краулеру возможность сканирования всех CSS-файлов сайта. В результате GoogleBot не сможет осуществить правильный рендеринг веб-страниц индексируемой площадки. Что негативно скажется на позиции сайта в выдаче.
Например, поисковый бот не сможет оценить, насколько дизайн сайта адаптирован для мобильных пользователей.
Некоторые специальные файлы бесполезно закрывать от GoogleBot через robot.txt. Поскольку они и так недоступны для сканирования извне. К таким директивам относятся .htaccess.
Что касается конфигурационного файла php.ini, то он должен быть недоступен не только поисковым роботам, но и другим сторонним агентам. Поэтому чаще всего этот файл хорошо защищен и без использования robot.txt.
Это значит, что…
Доступ к скриптам, директивам и CSS лучше не закрывать через robot.txt. Ведь толку от этого никакого. Да и с очумелыми ручками лучше не соваться в этот файл. Иначе можно опустить позиции своего сайта и в прямом, и в переносном смысле этого слова!
