Рейтинг@Mail.ru

Введение в Burp Suite. Часть III (Вкладка Spider)

: в разделе: Open Source
10772

main

Burp Spider – это инструмент для автоматического краулинга веб-приложений. Вы можете использовать его в сочетании с выполняемыми вручную маппинг-методами для ускорения процесса маппинга контента и функциональных возможностей приложения.

Spider Status (Состояние Spider)

Используйте эти настройки для мониторинга и управления Burp Spider:

Spider is paused / running (Spider приостановлен / запущен) – Эта кнопка-переключатель используется для запуска и остановки Spider. Когда Spider остановлен, он не осуществляет своих запросов, хотя будет продолжать обработку ответов, генерируемых при помощи Burp Proxy (если включен пассивный спайдеринг). Любые вновь обнаруженные объекты, находящиеся в области спайдернига, будут поставлены в очередь на запрос при перезапуске Spider.

Clear queues (Очистить очереди) – Если вы хотите сменить приоритеты в вашей работе, вы можете полностью очистить находящиеся в настоящий момент в очереди объекты так, что другие объекты могут быть добавлены в эту очередь. Обратите внимание, что очищенные объекты могут быть поставлены в очередь повторно, если они остаются в целевой области, а Spider-анализатор обнаруживает новые ссылки к этим объектам.

Также на экране показаны некоторые показатели, характеризующие прогресс в работе Spider, позволяя вам видеть размер контента в целевой области и объем оставшейся работы до завершения спайдеринга.

Spider Scope (Целевая область Spider)

Эта панель позволяет вам точно задать, что будет находиться в целевой области запросов Spider.

В общем случае наилучшим способом работы с целевой областью спайдеринга является использование пакетной целевой области. По умолчанию Spider будет использовать эту область. Если потребуется установить другую целевую область для использования в Spider, выберете "Use custom scope" («Использовать пользовательскую целевую область»). Далее появится панель настроек, чьи функции аналогичны функциям в панели настроек пакетной целевой области. Если у вас выбрана для использования пользовательская целевая область, и вы отправляете в Spider какие-либо объекты, находящиеся вне зоны видимости Spider’а, то Burp автоматически обновит пользовательскую целевую область, а не пакетную область.

1

Spider Options (Опции Spider)

Эта вкладка содержит основные настройки краулера (так называемый паук), пассивного спайдеринга, отправки форм, входа в приложение, ядра Spider и заголовков HTTP-запросов.

Crawler Settings (Настройки краулера)

Эти настройки регулируют то, как Spider обрабатывает базовый веб-контент:

Check robots.txt (Проверять robots.txt) – Если выбрана эта опция, то Spider будет запрашивать и обрабатывать файл robots.txt для извлечения ссылок на контент. Этот файл используется протоколом исключений для роботов для контроля работы агентов по типу Spider в сети Интернет. Обратите внимание, что Spider не отвечает протоколу исключений для роботов, потому что Spider предназначен для учета контента целевого приложения. Ко всем элементам в robot.txt будут отправлены запросы, если они находятся в целевой области.


Detect custom "not found" responses (Обнаружение нестандартных ответов «not found») – Протокол HTTP требует от веб-серверов возвращать код состояния 404, если запрашиваемый ресурс не существует. Тем не менее, многие веб-приложения возвращают нестандартные страницы «not found», которые используют другой код состояния. Если этот тот случай, то использование этой опции может предотвратить ложные срабатывания при маппинге контента сайта. Burp Spider находит нестандартные ответы «not found», запрашивая несколько несуществующих ресурсов с каждого домена и определяя характерные признаки, при помощи которых будут обнаруживаться ответы «not found» к другим запросам.

Ignore links to non-text content (Игнорировать ссылки на нетекстовый контент) – Зачастую можно установить MIME-тип определенного ресурса из HTML-контекста, в котором появляются ссылки на такой контент. Если выбрана эта опция, Spider не будет осуществлять запросы к объектам, которые кажутся из этого контекста нетекстовыми ресурсами. Используя эту опцию можно уменьшить время спайдеринга с минимальным риском пропустить в итоге интересующий контент.

Request the root of all directories (Запрашивать корень всех директорий) – Если выбрано, то Spider опросит все идентифицированные веб-директории в пределах целевой области в дополнение к файлам в этих директориях. Эта опция в особенности полезна, если на целевом сайте доступно индексирование директории.

Make a non-parameterized request to each dynamic page (Создать непараметризованный запрос к каждой динамической странице) – Если выбрано, то Spider отправит непараметризованный GET-запрос ко всем URL в целевой области, которые принимают параметры строки запроса. Динамические страницы обычно отвечают по-разному, если ожидаемые параметры не получены. Эта опция может успешно обнаружить дополнительный контент и функциональные возможности сайта.

Maximum link depth (Максимальная глубина ссылки) – Это максимальное число «прыжков», которое совершит Spider от исходного URL. Установленное нулевое значение заставить Spider запросить лишь исходный URL. Если указано очень большое число, то переходы по ссылке из целевой области будут осуществляться фактически безгранично. Задав в этой опции некоторое разумное число, можно предотвратить зацикливание спайдеринга в определенных видах динамически генерируемого контента.

Maximum parameterized requests per URL (Максимум параметризованных запросов на URL) – Это максимальное число запросов, которое выполнит Spider к одному и тому же базовому URL с различными параметрами. Установив некоторое разумное число в этой опции, можно избежать краулинга «бесконечного» контента, такого как приложения-календари с присутствующим в URL параметром-датой.

2

Passive Spidering (Пассивный спайдеринг)

Пассивный спайдеринг выполняет мониторинг трафика, проходящего через Burp Proxy с целью обновления карты сайта без выполнения новых запросов. Это позволит вам качественно разбить контент и функциональные возможности приложения, используя ваш браузер.


Для управления пассивным спайдерингом используются следующие опции:

Passively spider as you browse (Выполнять пассивный спайдеринг во время просмотра) – Если выбрано, то Burp Spider будет обрабатывать все HTTP-запросы и ответы, произведенные посредством Burp Proxy для идентификации ссылок и форм на тех страницах, которые вы посещаете. Использование этой опции дает Burp возможность собрать подробную картину контента приложения, даже если вы лишь просмотрели подклассы того контента, потому что Burp идентифицирует все, что связано с контентом, который вы просматриваете. Контент, запрошенный вами, выделяется черным на карте целевого сайта, в то время как незапрашиваемый контент выделяется серым, позволяя вам легко определить области приложения, которые требуют дальнейшего маппинга.

Link depth to associate with Proxy requests (Глубина ссылки для связи с запросами Proxy) – Эта опция управляет глубиной ссылки, которая будет привязана к URL, доступ с которой осуществляется через Burp Proxy.

3

Form Submission (Отправка форм)

Эти настройки регулируют то, будет ли Spider выполнять отправку HTML-форм и каким образом. При простом следовании по связанным URL, будет достигнуто лишь ограниченное покрытие целевой области в большинстве приложений. Чтобы обнаружить весь контент и функциональные возможности приложения, как правило, необходимо выполнять отправку форм, используя правдоподобную вводимую информацию. Доступны следующие опции:

Individuate forms (Индивидуализировать формы) – Эта опция настраивает критерий индивидуализации уникальных форм (действующий URL, метод, поля, значения). Когда Spider обрабатывает каждую форму, он проверит эти критерии для определения того, является ли форма «новой». Такие новые формы будут поставлены в очередь для отправки согласно остальным настройкам форм отправки. Аккуратное использование этой опции поможет Spider’у работать с приложениями, использующими различные основанные на формах навигационные структуры.

Don't submit forms (Не выполнять отправку форм) – Если выбрано, Spider не будет выполнять отправку форм

Prompt for guidance (Спрашивать о дальнейших действиях) – Если выбрано, Spider будет спрашивать вас о дальнейших действиях перед отправкой каждой формы. Интерактивный режим позволяет вводить собственную информацию в поля ввода формы, если требуется, выбирать какие поля будут отправлены на сервер и нужно ли проходить через все доступные поля отправки.

Automatically submit (Отправлять автоматически) – Если выбрано, Spider будет автоматически отправлять любые формы в целевой области, используя заданные правила, чтобы устанавливать значения текстовых полей ввода. Каждое правило позволяет вам задавать простое или регулярное выражение в соответствии с именами полей формы, а также значения для отправки в те поля, чьи имена совпадают с этим выражением. Для несовпадающих полей может быть задано значение по умолчанию.

Эта опция в особенности полезна, если вы хотите автоматически произвести спайдеринг через регистрационные формы и подобные функции, где приложения обычно запрашивают данные в определенном формате для каждого поля ввода. В Burp включен набор настроек по умолчанию, которые доказали свою эффективность при автоматической отправке данных в широкий диапазон приложений и их форм. Вы можете модифицировать их или добавлять другие собственные правила, если вы столкнулись с такими именами полей формы, которые хотите заполнить особыми значениями. Следует использовать эту опцию с осторожностью, так как отправка фиктивных значений в формы может иногда приводить к нежелательным последствиям. Большое количество форм содержит несколько элементов отправки, что приводит к различным действиям в рамках приложения и обнаружению контента разного рода. Вы можете настроить Spider на перебор значений во всех элементах отправки формы, отправляя каждую форму неоднократно вплоть до настраиваемого возможного максимума.

4

Application Login (Вход в приложение)

Эти настройки регулируют то, как Spider выполняет отправку форм входа.

Из-за той роли, которую играет аутентификация в веб-приложениях, во многих случаях вам захочется, чтобы Burp обрабатывал формы входа способом, отличным от обычных форм. Используя эти опции, вы можете указать Spider на выполнение одного из четырех видов действий при встрече с формой входа.

Burp может игнорировать форму входа, если у вас не имеется входных данных, или вы заинтересованы в спайдеринге чувствительных и защищенных функциональных возможностей.

Burp может спрашивать о дальнейших действиях в интерактивном режиме, позволяя вам указывать параметры входа в индивидуальном порядке. Это опция является опцией по умолчанию.

Burp способен работать с формами входа тем же самым способом, как и с любыми другими формами, используя настройки и правила автозаполнения, указанные вами.

Burp может автоматически отправлять указанные параметры входа в каждую встречающуюся форму входа. Когда Burp будет пытаться сделать это, он отправит указанный вами пароль в поле для пароля и указанное вами имя пользователя в текстовое поле ввода, чье название больше всего напоминает поле для ввода имени пользователя. Обратите внимание, что вы также можете использовать пакетные сессионные правила обработки, чтобы работать с аутентификацией во время выполнения автоматизированного спайдеринга. Если вы применяете сессионные правила обработки для поддержания корректной сессии с приложением, то следует настроить Spider на игнорирование заполнения регистрационных форм, чтобы избежать разрыва сессии.

5

Spider Engine (Ядро Spider)

Эти настройки управляют ядром, использующимся для создания HTTP-запросов при спайдеринге. Доступны следующие опции:

Number of threads (Количество потоков) – Эта опция регулирует число единовременных запросов, которые способен выполнить Spider.

Number of retries on network failure (Количество повторных попыток при отказе сети) – Если происходит ошибка соединения или другие проблемы сети, то Burp повторит запрос указанное число раз, прежде чем прекратить и двигаться дальше. Периодические сбои являются обычным явлением при тестировании, поэтому лучше всего повторить запрос несколько раз, когда происходит сбой.

Pause before retry (Задержка перед повторной попыткой) – Выполнив повторно неудачный запрос, Burp будет ждать определенное время (в миллисекундах) после неудачной попытки перед повторением запроса. Если сервер перегружен трафиком или возникает временная проблема, то лучше всего подождать небольшой промежуток времени и повторить попытку.

Throttle between requests (Пауза между запросами) – По выбору Burp может ждать с заданной задержкой (в миллисекундах) перед каждым запросом. Опция полезна для избежания перегрузки приложения или же для повышения скрытности.

Add random variations to throttle (Добавить случайные значения к задержке) – Эта опция может ещё больше повысить скрытность путем снижения упорядоченности в временных интервалах ваших запросов. Аккуратное использование этих опций позволит вам хорошо настроить ядро спайдеринга в зависимости от влияния на производительность внутри приложения, а также от вычислительной мощности и пропускной способности вашего оборудования. Если вы видите, что Spider работает медленно, но приложение выполняется хорошо, а загрузка вашего CPU низкая, вы можете повысить количество потоков для ускорения спайдеринга. Если вы обнаружите, что происходят ошибки соединения, которые приводят к снижению скорости работы приложения, или работа вашего компьютера блокируется, то вам следует уменьшить число потоков и, может быть, увеличить число повторных попыток при отказе сети и паузу между повторными попытками.

6

Request Headers (Заголовки запросов)

Эти настройки управляют заголовками запросов, использующихся в HTTP-запросах, которые выполняет Spider. Вы можете настроить пользовательский список заголовков, который будут использоваться в запросах Spider. Это может оказаться полезным для удовлетворения некоторых специфичных требований отдельных приложений, например, для эмуляции агента, ожидающего пользователя, или при тестировании приложений, разработанных для мобильных устройств.

Также доступны следующие опции:

Use HTTP version 1.1 (Использование HTTP версии 1.1) – Если выбрано, то Spider будет использовать в своих запросах HTTP версии 1.1; в остальных случаях будет использоваться версия 1.0

Use Referer header (Использовать referer-заголовок) – Если выбрано, Spider будет отправлять соответствующий referer-заголовок при запросе любого объекта, привязанного с другой страницы. Эта опция полезна для более правдоподобной симуляции запросов, которые были бы произведены браузером, а также может оказаться необходимым для навигации через некоторые приложения, которые проверяют referer-заголовок.

7

0
Привязка к тегам burp suite kali Linux хак

Оставить комментарий

Гость Вторник, 11 Август 2020