Разбор задачи «Роботы»

В описании задачи сказано:
«Роботы всюду, и даже тут. Они скрывают флаг»

Кроме описания, у задачи есть название – «Роботы» и тег «Web». Это тоже важная информация, которая сужает круг подозреваемых. Нам нужно искать роботов, которые связаны с вебом.

В контексте веба слово «роботы» — это почти однозначная отсылка к файлу robots.txt. Этот файл существует у большинства сайтов и служит для коммуникации с веб-краулерами (роботами поисковых систем). Он говорит «ботам», какие страницы или разделы сайта можно индексировать и показывать в результатах поиска, а какие страницы и разделы наоборот нельзя смотреть.

Такой файл незаметен для обычных пользователей, и часто разработчики или администраторы сайта используют его, чтобы «спрятать» закрытые или вспомогательные разделы, файлы и страницы, которые они не хотят показывать в поисковой выдаче. В задачах CTF и пентестах это становится отличным местом для подсказок и флагов, поскольку файл robots.txt публично доступен и всегда по одному по стандартному пути, но за счет своего назначения остаётся немного «в тени» и про него часто забывают.

Таким образом, отсюда следует логичная мысль: чтобы найти флаг, нужно открыть или проверить файл robots.txt. Теперь описание задачи – «Роботы всюду, и даже тут» становится понятным.

1. Определить адрес сайта с площадкой CTF
   Обычно в описании задачи или в интерфейсе есть URL, на котором расположена задача. Но в этой задаче ссылки нет, значит искать нужно на текущем сайте, где расположена задача.

2. Открыть файл robots.txt по стандартному адресу

   Файл всегда расположен в корне:  https://адрес_сайта/robots.txt

3. Изучить содержимое файла
   Внутри обычно указаны служебные директивы, но бывают и комментарии, которые задаются символом решетки в начале строки: # текст комментария

4. Найти флаг
   В текста файла robots.txt будет или сам флаг или какие-то подсказки по следующим шагам для поиска

Файл robots.txt — это текстовый файл, размещаемый в корневой директории веб-сайта, который регулирует поведение поисковых роботов (краулеров).

С помощью этого файла администратор сайта дает инструкции поисковым роботам: какие разделы сайта можно индексировать (сканировать), а какие — нет. Это помогает не перегружать сервер лишними запросами, скрывать технические страницы, временные директории, служебные файлы или данные, которые не предназначены для публичного поиска.

Стандарт инструкций в robots.txt определён спецификацией Robots Exclusion Standard, он поддерживается всеми основными поисковыми системами Google, Yandex и т.д.

Пример файла robots.txt:

Такие инструкции сообщают поисковым роботам, что им нельзя заходить и индексировать каталог /admin/ и файл /test.jpg

Robots.txt может случайно раскрывать интересную информацию, которую владелец сайта хотел скрыть. Например, пути к админке, внутренним api, тестовые страницы. Анализ robots.txt является одним из первых шагов в процессе разведки веб-сайта.

Несмотря на указания в robots.txt, файл не защищает контент, это всего лишь рекомендация для роботов. Любой пользователь может зайти по прямой ссылке и получить доступ к запрещённым разделам.

• Официальный гайд Google по robots.txt

• Руководство Яндекса для вебмастеров по контролю индексации

• Стандарт Robots Exclusion Protocol