Обнаружение скрытых dot-файлов с помощью Gobuster

Введение

В безопасности веб-приложений обнаружение скрытых файлов и каталогов является критически важным шагом на этапе разведки. Многие приложения хранят конфиденциальные конфигурационные файлы, файлы систем контроля версий или переменные окружения в файлах с префиксом точки (например, .env, .git, .htaccess). Эти файлы по умолчанию часто скрыты в файловых браузерах и веб-серверах, что делает их менее очевидными целями. Однако, при неправильной конфигурации, они могут быть напрямую доступны через веб-сервер, что приводит к серьезным уязвимостям раскрытия информации.

Gobuster — это мощный инструмент для перебора каталогов и файлов, который можно использовать для обнаружения этих скрытых ресурсов. Предоставив целевой список слов (wordlist), содержащий распространенные имена файлов с префиксом точки, вы можете значительно увеличить свои шансы найти ценную информацию, которая в противном случае могла бы быть упущена.

Эта лаборатория проведет вас через процесс использования Gobuster для целенаправленного поиска и обнаружения этих скрытых файлов с префиксом точки. Вы научитесь подготавливать подходящий список слов, выполнять сканирование с помощью Gobuster и интерпретировать результаты для выявления потенциальных рисков безопасности.

Понимание значимости файлов с префиксом точки (например, .env, .git)

На этом этапе мы разберемся, почему файлы с префиксом точки важны в контексте веб-безопасности. Такие файлы, как .env, .git, .htaccess, .bashrc или .ssh, часто используются в средах Linux и веб-разработки для хранения конфигурации, данных контроля версий или конфиденциальных учетных данных.

Файлы .env: Эти файлы хранят переменные окружения, часто включая учетные данные базы данных, ключи API и другие конфиденциальные настройки приложения. В случае раскрытия они могут предоставить злоумышленнику полный доступ к серверным системам.
Каталоги .git: Если каталог .git раскрыт на веб-сервере, это может позволить злоумышленнику загрузить весь репозиторий исходного кода, включая историю коммитов, конфиденциальные файлы, которые когда-то были частью репозитория, и внутренние комментарии.
Файлы .htaccess: Используются веб-серверами Apache для настройки параметров на уровне каталогов, включая аутентификацию, авторизацию и перезапись URL. Неправильная конфигурация или раскрытие могут привести к обходам или раскрытию информации.

Хотя эти файлы по умолчанию обычно скрыты в файловых проводниках и часто предназначены для недоступности через веб-серверы, неправильные конфигурации могут непреднамеренно раскрыть их. Обнаружение их во время разведки может предоставить критически важную информацию об инфраструктуре целевого приложения и потенциальных уязвимостях.

Для этой лаборатории мы настроили простой веб-сервер в фоновом режиме, обслуживающий контент из /tmp/web_root. Этот каталог содержит скрытый файл .env и файл .hidden_config, которые мы попытаемся обнаружить.

Создание или поиск списка слов, содержащего имена файлов с префиксом точки

На этом этапе мы подготовим список слов (wordlist), специально предназначенный для поиска файлов с префиксом точки. Хотя существует множество списков слов общего назначения (например, из SecLists), создание целевого списка может быть более эффективным для данной задачи.

Мы создадим простой список слов с именем dotfiles.txt в вашем каталоге ~/project. Этот список слов будет содержать распространенные имена файлов с префиксом точки, которые мы хотим, чтобы Gobuster проверял.

Сначала перейдите в каталог вашего проекта:

cd ~/project

Теперь создайте файл dotfiles.txt с помощью nano и добавьте некоторые распространенные имена файлов с префиксом точки.

nano dotfiles.txt

Внутри nano добавьте следующие строки:

.env
.git
.htaccess
.bashrc
.profile
.ssh
.hidden_config

Нажмите Ctrl+S для сохранения файла и Ctrl+X для выхода из nano.

Вы можете проверить содержимое списка слов с помощью cat:

cat dotfiles.txt

Вы должны увидеть список имен файлов с префиксом точки, которые вы только что добавили.

.env
.git
.htaccess
.bashrc
.profile
.ssh
.hidden_config

Этот список слов будет использоваться Gobuster для перебора (brute-force) на предмет существования этих конкретных файлов на целевом веб-сервере.

Запуск сканирования gobuster dir с использованием этого конкретного списка слов

На этом этапе мы выполним сканирование gobuster dir с использованием созданного нами списка слов dotfiles.txt. Мы нацелимся на фиктивный веб-сервер, работающий по адресу http://127.0.0.1:8000.

Базовый синтаксис для gobuster dir: gobuster dir -u <целевой_url> -w <путь_к_списку_слов>

Здесь -u указывает целевой URL, а -w указывает путь к списку слов.

Выполните следующую команду в вашем терминале:

gobuster dir -u http://127.0.0.1:8000 -w ~/project/dotfiles.txt

Разберем команду:

gobuster dir: Указывает, что мы хотим выполнить сканирование методом перебора каталогов/файлов.
-u http://127.0.0.1:8000: Устанавливает целевой URL на наш локальный фиктивный веб-сервер.
-w ~/project/dotfiles.txt: Указывает Gobuster использовать наш пользовательский список слов dotfiles.txt.

После выполнения команды Gobuster начнет перебирать список слов и отправлять запросы на целевой сервер. Вы должны увидеть вывод, похожий на этот, указывающий на обнаруженные файлы:

===============================================================
Gobuster vX.X.X.X-XXXXX Linux/amd64
===============================================================
[+] Url:                     http://127.0.0.1:8000
[+] Method:                  GET
[+] Threads:                 10
[+] Wordlist:                /home/labex/project/dotfiles.txt
[+] Status codes:            200,204,301,302,307,401,403
[+] User Agent:              gobuster/X.X.X
[+] Timeout:                 10s
===============================================================
2024/01/01 12:00:00 Starting gobuster in directory enumeration mode
===============================================================
/.env                 (Status: 200) [Size: 20]
/.hidden_config       (Status: 200) [Size: 27]
===============================================================
2024/01/01 12:00:00 Finished
===============================================================

Как видно, Gobuster успешно идентифицировал файлы .env и .hidden_config, оба из которых вернули статус 200 OK, что указывает на их доступность.

Использование флага --no-error для скрытия ошибок соединения

На этом этапе мы узнаем о флаге --no-error в Gobuster. При выполнении сканирований, особенно против нестабильных целей или при возникновении проблем с сетью, Gobuster может выводить множество сообщений об ошибках соединения. Эти ошибки могут загромождать вывод и затруднять обнаружение легитимных результатов.

Флаг --no-error указывает Gobuster подавлять эти сообщения об ошибках, связанных с соединением, обеспечивая более чистый вывод, сосредоточенный на успешных находках.

Давайте повторно запустим сканирование Gobuster, на этот раз включив флаг --no-error. Хотя наш текущий локальный сервер стабилен, этот флаг очень полезен в реальных сценариях.

gobuster dir -u http://127.0.0.1:8000 -w ~/project/dotfiles.txt --no-error

Вы заметите, что вывод будет похож на предыдущий шаг, поскольку в нашей стабильной локальной среде не было ошибок соединения, которые нужно было бы подавлять. Однако в реальном сценарии с большим количеством запросов и потенциальными проблемами с сетью этот флаг значительно уменьшит "шум".

Основная цель этого флага — улучшить читаемость результатов сканирования путем фильтрации нерелевантных сообщений об ошибках, позволяя вам сосредоточиться на фактических находках (например, ответах 200 OK).

Анализ результатов на предмет раскрытия конфиденциальных файлов

На этом заключительном этапе мы проанализируем результаты, полученные в ходе сканирования Gobuster, и поймем последствия обнаружения таких файлов.

Из вывода нашего предыдущего сканирования Gobuster мы обнаружили:

/.env (Status: 200) [Size: 20]
/.hidden_config (Status: 200) [Size: 27]

Код состояния 200 OK указывает на то, что файл был найден и доступен через веб-сервер. Это критически важное обнаружение.

Чтобы продемонстрировать эффект, давайте попробуем получить доступ к файлу .env напрямую с помощью curl:

curl http://127.0.0.1:8000/.env

Вы должны увидеть содержимое файла .env:

DB_PASSWORD=supersecret

Это наглядно показывает, что конфиденциальная информация (в данном случае пароль базы данных) была раскрыта. В реальном сценарии злоумышленник мог бы использовать эту информацию для получения несанкционированного доступа к базам данных или другим серверным системам.

Аналогично, вы можете попробовать получить доступ к файлу .hidden_config:

curl http://127.0.0.1:8000/.hidden_config

Вывод:

This is another hidden file.

Хотя этот конкретный файл может не содержать особо конфиденциальных данных, его обнаружение указывает на потенциальную некорректную конфигурацию, при которой файлы, предназначенные для скрытия, доступны публично. Это может привести к дальнейшей разведке и обнаружению более критичных ресурсов.

Ключевые выводы:

Всегда проверяйте файлы, начинающиеся с точки, во время веб-разведки.
Наличие таких файлов со статусом 200 OK является сильным индикатором раскрытия информации.
Разработчики и системные администраторы должны гарантировать, что конфиденциальные файлы никогда не будут напрямую доступны через веб-сервер, обычно путем настройки правил сервера (например, блоков location в Nginx, директив Directory в Apache) или размещения их вне корневой директории веб-сервера.

Это упражнение подчеркивает важность тщательной разведки и мощь таких инструментов, как Gobuster, в обнаружении скрытых уязвимостей.

Резюме

В этой лаборатории вы успешно научились использовать Gobuster для обнаружения скрытых файлов и каталогов с префиксом точки. Вы начали с понимания значения таких файлов, которые часто содержат конфиденциальную информацию, такую как переменные окружения или данные контроля версий.

Затем вы создали целевой список слов, содержащий распространенные имена файлов с префиксом точки, и использовали его для выполнения сканирования gobuster dir против фиктивного веб-сервера. Вы наблюдали, как Gobuster эффективно идентифицировал доступные скрытые файлы, такие как .env и .hidden_config. Кроме того, вы узнали о флаге --no-error для очистки вывода сканирования путем подавления ошибок соединения.

Наконец, вы проанализировали результаты, продемонстрировав, как прямой доступ к файлу .env может привести к раскрытию критически важных учетных данных. Эта лаборатория подчеркнула важность включения перечисления dot-файлов в вашу методологию разведки для выявления потенциальных уязвимостей раскрытия информации в веб-приложениях.

Овладев этим методом, вы будете лучше подготовлены к выявлению и сообщению о рисках безопасности, которые в противном случае могли бы остаться незамеченными.

Обнаружение скрытых файлов с префиксом точки в Gobuster