zgrab 0 x что это
Zgrab 0 x что это
ZGrab is a fast, modular application-layer network scanner designed for completing large Internet-wide surveys. ZGrab is built to work with ZMap (ZMap identifies L4 responsive hosts, ZGrab performs in-depth, follow-up L7 handshakes). Unlike many other network scanners, ZGrab outputs detailed transcripts of network handshakes (e.g., all messages exchanged in a TLS handshake) for offline analysis.
ZGrab 2.0 contains a new, modular ZGrab framework, which fully supersedes https://github.com/zmap/zgrab.
Single Module Usage
ZGrab2 supports modules. For example, to run the ssh module use
Module specific options must be included after the module. Application specific options can be specified at any time.
If the IP field contains a CIDR block, the framework will expand it to one target for each IP address in the block.
These are examples of valid input lines:
Multiple Module Usage
multiple.ini
Application Options must be the initial section name. Other section names should correspond exactly to the relevant zgrab2 module name. The default name for each module is the command name. If the same module is to be used multiple times then name must be specified and unique.
Invoking zgrab2 with the following multiple configuration will perform an SSH grab on the first target above and an HTTP grab on the second target:
Adding New Protocols
The flags struct must embed zgrab2.BaseFlags. In the modules init() function the following must be included.
To add a schema for the new module, add a module under schemas, and update schemas/__init__.py to ensure that it is loaded.
How to Run Integration Tests
To run integration tests, you must have Docker installed. Then, you can follow the following steps to run integration tests:
Running the integration tests will generate quite a bit of debug output. To ensure that tests completed successfully, you can check for a successful exit code after the tests complete:
ZGrab2.0 is licensed under Apache 2.0 and ISC. For more information, see the LICENSE file.
5 поисковых систем в помощь хакерам
CNN в свое время назвала Shodan «самым страшным поисковиком интернета». И даже его название действительно звучит пугающе. Несмотря на то, что это было три года назад, Shodan не особо развился с тех пор. Для тех, кто незнаком с Shodan: он ищет подключенные к интернету устройства по всему миру. Это понятие включает в себя не только компьютеры и смартфоны, он также может найти ветровые турбины, светофоры, устройства считывания номерных знаков, холодильники и практически все остальные устройства с подключением к Сети.
Не стоит забывать о том, что многие из этих устройств, которыми мы пользуемся каждый день, не имеют защиты. Следовательно, такой поисковик — мечта хакера. Shodan не единственный поисковик такого типа. В этой статье мы рассмотрим еще четыре поисковика, ориентирующихся на поиск уязвимостей. Возможно, некоторые из них вам знакомы.
Сначала давайте узнаем больше о Shodan.
Shodan
Рисунок 1. Поисковик Shodan
Напомним, что Shodan далеко не новый, но постоянно обновляющийся поисковик. Его название является отсылкой к SHODAN, персонажу из серии игр System Shock. Самый часто встречающийся запрос в этот поисковик — «Server: SQ-WEBCAM» — показывает количество подключенных в данный момент IP-камер. Если вы пробуете воспользоваться Shodan в первый раз, введите этот топовый запрос и посмотрите, что получится.
Основная причина, по которой Shodan считается хорошим поисковиком для хакеров, заключается в типе информации, которую он способен предоставить (например, типы соединения). Несмотря на то, что подобную информацию можно найти и в Google, вы должны использовать для этого верные условия поиска, которые не всегда очевидны.
Еще один из самых популярных запросов в Shodan — «пароль по умолчанию». Вы будете удивлены, как много устройств перечислены в поисковой выдаче по этому запросу. Будем надеяться, что вашего там нет, но если есть, лучше измените пароль.
Shodan довольно полезен, если вы ищете более конкретную информацию. Хороший пример: сделать поиск по запросу «SSH port:’22’». Вы увидите множество устройств, работающих по SSH и использующих порт 22.
В результатах выдачи вы также можете увидеть IP-адрес, местоположение и порты, которые устройство использует.
Также Shodan, как правило, показывает некоторые особенности каждого устройства, например: MAC-алгоритмы, алгоритмы шифрования, алгоритмы сжатия.
Если вы заметили, что информация о вашем устройстве, которую вы не хотели бы обнародовать, появилась в поисковой выдаче Shodan, стоит задуматься над тем, чтобы пропатчить его. Для тестеров эта информация так же важна, как для хакеров.
Конечно, и для обычного пользователя, не являющегося хакером или тестером, будет интересно исследовать Shodan и посмотреть, какая информация выдается в нем.
Еще один из пугающих запросов — «port: ‘6666’’ kiler», который находит устройства, зараженные трояном KilerRat.
Рисунок 2. Троян KilerRat
KilerRat — троян, предоставляющий удаленный доступ к зараженному компьютеру. Он может красть учетные данные, изменять записи в реестре, получать доступ к веб-камере пользователя.
PunkSPIDER
Рисунок 3. Поисковик PunkSPIDER
На первый взгляд, PunkSPIDER не выглядит большим и серьезным поисковиком, особенно в сравнении с Shodan. Но их цели похожи. PunkSPIDER является системой для поиска уязвимостей в веб-приложениях. В его основе лежит PunkSCAN, сканер безопасности. PunkSPIDER может искать уязвимости, подверженные следующим типам атак: межсайтовый скриптинг (XSS), слепая SQL-инъекция (BSQLI), Path Traversal (TRAV).
Даже если вы понятия не имеете, что собой представляют эти виды атак, вы все равно можете использовать PunkSPIDER для проверки своего сайта на уязвимости.
Вот пример результата для запроса «Anti-Malware.ru»:
Bsqli:0 | sqli:0 | xss:0 | trav:0 | mxi:0 | osci:0 | xpathi:0 | Overall risk:0
Первая строка отображает домен. Во второй строке показаны дата и время, когда домен был добавлен в систему PunkSPIDER. В третьей строке можно увидеть список различных типов атак и были ли обнаружены уязвимые к этим атакам места.
Если вы сделаете более обобщенные запросы, используя термины вроде «блог», «социальные сети», «форум» или «порно», вы получите сотни результатов. Тот факт, что сайт отображается в выдаче, еще не значит, что он заражен. Для более гибкого использования PunkSPIDER можно воспользоваться специальной справкой.
Также можно проверить, как это работает с сайтами в сети Tor. Если ввести в поиск «.onion», мы получим 588 результатов. Непонятно, все ли они инфицированы или нет, но это можно проверить.
Рисунок 4. Поисковик IVRE
Поисковик IVRE, в отличие от Shodan или PunkSPIDER, создан для хакеров, программистов, тестеров. Даже использование главной консоли этого поисковика требует базовых знаний сетевых технологий.
Так что же представляет собой IVRE (Instrument de veille sur les réseaux extérieurs)? На самом деле, это открытый исходный код, написанный на Python с MongoDB. Использует такие инструменты, как Bro, Argus, NFDUMP и ZMap для вывода данных о подключенных к интернету устройствах. IVRE также поддерживает возможность импорта данных в формате XML из Nmap и Masscan.
Главный сайт IVRE предоставляет результаты сканирования Nmap, которые можно отсортировать, используя ключевые слова (в этом смысле есть схожесть с Shodan). Вот несколько ключевых слов, которые можно попробовать: «phpmyadmin», «anonftp», «x11open». Таким образом, фильтр по «phpmyadmin» возвращает поисковые результаты по серверам phpMyAdmin, «anonftp» ищет FTP-серверы, предоставляющие анонимный доступ, «x11open» ищет открытые серверы X11. Это, может, и не является революционным открытием, однако, если потратить некоторое время и понять принцип и особенности работы IVRE, можно обнаружить, насколько полезным является этот поисковик.
Пример ниже показывает результаты поиска по ключевым словам «phpmyadmin» и «sortby:endtime».
Рисунок 5. Поисковая выдача IVRE
ZoomEye
Рисунок 6. Главная страница поисковика ZoomEye
ZoomEye, как и его аналоги, ищет подключенные к интернету устройства и уязвимости. Но прежде чем вы скажете «мы это уже проходили», давайте разберемся, в чем заключаются его особенности.
За ZoomEye стоят разработчики из Knownsec Inc, китайской компании, работающей в области безопасности, находящейся в Пекине. Первая версия этого поисковика была выпущена в 2013 году, а последняя известна под именем ZoomEye 3.0.
Опять же, извлечь из работы с этой поисковой системой больше пользы можно, если вы знаете конкретные строки и ключевые слова для поиска того, что вам нужно. Вот несколько примеров:
Apache httpd — находит результаты для HTTP-серверов Apache.
device:”webcam” — находит список веб-камер, подключенных к интернету.
app:”TED 5000 power use monitor” — находит список мониторов The Energy Detective (TED).
ZoomEye, как и Shodan, позволяет легко фильтровать результаты поиска по стране, общественным устройствам, веб-сервисам и т. д. Если же вы не знаете, что именно искать, поисковая система начинает отображать популярные запросы.
В некоторых случаях поиск даже по какому-либо случайному слову может привести к довольно интересным результатам. Для примера, попробуйте поискать по слову «zombie».
Censys
Наконец, давайте посмотрим на Censys. Он, как и описанные выше поисковики, ищет устройства, подключенные к интернету. Censys собирает данные, используя ZMap и ZGrab (сканер прикладного уровня, который работает с помощью ZMap), и сканирует адресное пространство IPv4.
Можете поэкспериментировать с Censys. Вот несколько примеров, которые можно использовать для поиска:
https://www.censys.io/ipv4?q=80.http.get.status_code%3A%20200 — этот запрос позволяет осуществить поиск всех хостов с определенным кодом состояния HTTP.
Также можно ввести в поисковую строку IP-адрес, например «66.24.206.155» или «71.20.34.200». Кроме того, Censys может выполнять полнотекстовый поиск. Если вы введете «Intel», вы найдете не только устройства Intel, но и хосты с записью «Intel» в регистрационных данных. Как и в большинстве поисковых систем, вы можете использовать логические операторы «and», «or» и «not».
Опять же, эта информация для того, чтобы вы знали, с чего начать. Далее, узнавая постепенно систему, вы найдете гораздо более полезные функции.
Как насчет руководства по эксплуатации?
Работа с большинством из этих поисковых систем потребует немного практики, прежде чем они станут действительно эффективными инструментами. Но будет интересно просто посмотреть, как они работают и какие результаты выдают.
Для тех же, кто давно не новичок, эти поисковики могут стать мощными инструментами. Очень полезными они могут оказаться и для разработчиков.
Так что если поисковые запросы «SMTP server» или «APC AOS cryptlib sshd» вызывают у вас улыбку понимания, вам настоятельно рекомендуется попробовать все вышеописанные поисковые системы.
Использование offensive-методов для обогащения Threat Intelligence
На сегодняшний день Threat Intelligence, или активный сбор информации об угрозах информационной безопасности, представляет собой инструмент первой необходимости в процессе выявления инцидентов ИБ. Среди типовых источников TI можно выделить бесплатные подписки с вредоносными индикаторами, бюллетени производителей оборудования и ПО с описаниями уязвимостей, отчеты исследователей безопасности с детальными описаниями угроз, а также коммерческие подписки TI-вендоров. При этом зачастую сведения, получаемые с помощью вышеперечисленных источников, не обладают достаточной степенью полноты и актуальности. Повышению эффективности и улучшению качества TI может способствовать применение OSINT (разведка на основе открытых источников) и offensive-методов (то есть методов, характерных не для защищающейся, а для нападающей стороны) в информационной безопасности, о которых и пойдет речь в данной статье.
Данная статья носит исключительно информационный характер. Автор не несет ответственности за возможный вред и/или нарушения работы сетей и/или сервисов третьих сторон, связанные с выполнением тех или иных действий, описанных в статье. Автор также призывает читателей соблюдать законодательство.
Не вместо, а вместе
Сразу хочется оговориться, что речь пойдет не об отказе или замещении Threat Intelligence информации, получаемой из традиционных платных и бесплатных источников, а о ее дополнении и обогащении.
Так, использование дополнительных методов TI способно повысить его оперативность и помочь при решении ряда задач. Например, при очередной IoT-эпидемии, затрагивающей определенные уязвимые версии прошивок, как скоро удастся получить фид с IP-адресами потенциально уязвимых устройств, для того чтобы оперативно выявлять их активность на периметре? Или при срабатывании правил систем мониторинга по индикатору (IP-адресу или доменному имени), который был помечен вредоносным год и более назад, как понять, остается ли он до сих пор вредоносным, при условии, что инициировать какую-либо дополнительную проверку индикатора по состоянию «на сейчас», как правило, невозможно.
То есть особенно полезным дополнение и обогащение будет для среднеживущих индикаторов согласно «пирамиде боли» Дэвида Бьянко [0] (IP-адреса, доменные имена, сетевые артефакты), однако в некоторых обстоятельствах возможно получить новые долгоживущие индикаторы (вверх по пирамиде) при применении соответствующей аналитики.
Одним из методов, полезных для получения Threat Intelligence, считается сетевое сканирование.
Что обычно собирается при сканировании
Чаще всего при проведении сканирования наиболее интересные результаты дает сбор так называемых «баннеров» – ответов прикладного ПО сканируемой системы на запросы сканера. В «баннерах» содержится достаточно много данных, идентифицирующих прикладное ПО и его различные параметры на «той стороне», и делается такая проверка достаточно быстро.
При решении задачи расширения объема Threat Intelligence целью скана будет вся сеть Интернет. В ходе сканирования публичного адресного пространства (
Пожалуй, самый известный сетевой сканер, созданный 20 лет назад. Благодаря возможности применения кастомных скриптов (через Nmap Scripting Engine), это чрезвычайно гибкий инструмент, не ограничивающийся лишь простым сбором прикладных «баннеров». На настоящий момент написано достаточно большое количество NSE-скриптов, многие из которых доступны бесплатно. Поскольку Nmap отслеживает каждое соединение, иными словами, обладает синхронной природой, применять его для больших сетей, таких как Интернет, не стоит по причине невысокой скорости работы сканера. В то же время данный инструмент целесообразно задействовать на небольших выборках адресов, получаемых более быстрыми инструментами, ввиду мощности NSE.
Продвинутый сканер прикладных протоколов ZGrab, для которого уже вышла версия 2.0 (полного функционального паритета с версией 1.Х пока нет, однако в ближайшее время он будет достигнут, после чего можно будет говорить о полном замещении старой версии новой), позволяет достаточно гибко фильтровать результаты сканирования благодаря поддержке структурированного формата вывода (JSON). Например, для сбора только Distinguished Name Issuer’а и Subject’а из HTTPS-сертификатов достаточно простой команды:
Асинхронный сканер, созданный в том же году, что и Zmap, по командному синтаксису схожий с Nmap.
Создателем (Роберт Дэвид Грэм) была заявлена большая производительность, чем у всех существовавших на тот момент асинхронных сканеров, включая Zmap, достигнутая за счет использования кастомного TCP/IP-стека.
В сводной таблице ниже представлено сравнение функциональных возможностей рассмотренных сканеров.
Значения в строках таблицы
«++» – очень хорошо реализовано
«+» – реализовано
«±» – реализовано с ограничениями
«-» – не реализовано
Выбор целей и способа сканирования
Тот факт, что современные быстрые сканеры могут показывать впечатляющие результаты на достаточно скромных ресурсах среднестатистического процессора, не означает, что нагрузка на сетевую инфраструктуру будет незначительной. В силу специфики трафика, создаваемого при сканировании, получается достаточно существенный рейт пакетов в секунду. По опыту одно ядро среднестатистического процессора (на CPU производства последних лет, в виртуальной среде, под любой ОС, без какого-либо тюнинга стека TCP/IP) способно генерировать поток порядка 100-150 тысяч пакетов в секунду на полосу в
50 Мбит/с, что является серьезной нагрузкой для программных маршрутизаторов. У аппаратного сетевого оборудования также могут возникнуть проблемы при достижении лимита производительности ASIC’ов. При этом при скорости сканирования в 100-150 Kpps (тысяч пакетов в секунду) обход публичного IPv4-диапазона может занять более 10 часов, т.е. достаточно существенный промежуток времени. Для действительно быстрого сканирования следует применять распределенную сеть сканирующих узлов, разделяющих сканируемый пул на части. Также обязателен случайный порядок сканирования для того, чтобы утилизация Интернет-каналов и пакетная загрузка оборудования провайдеров на «последней миле» не была существенной.
Сложности и «тонкие» моменты
На практике при проведении массовых сетевых сканирований можно столкнуться с рядом трудностей как технологического, так и организационно-правового характера.
Проблемы с производительностью и доступностью
Как уже упоминалось ранее, массовое сетевое сканирование создает поток трафика с высоким значением PPS, вызывающим большую нагрузку как на локальную инфраструктуру, так и на сеть провайдера, к которому подключены сканирующие узлы. Перед проведением каких-либо сканирований в исследовательских целях обязательно следует скоординировать все действия с локальными администраторами и представителями провайдера. С другой стороны, проблемы с производительностью могут произойти и на конечных сканирующих узлах при аренде виртуальных серверов на интернет-хостингах.
Не все VPS одинаково полезны
На VPS, арендованных не у мейнстримовых хостеров, можно столкнуться с ситуацией, когда на производительных VM (по нескольку vCPU и парой гигабайт памяти) пакетные рейты Zmap и Masscan не поднимаются выше пары десятков Kpps. Чаще всего негативную роль играет сочетание устаревшего железа и неоптимальной комбинации ПО виртуальной среды. Так или иначе, по опыту автора, более или менее существенные гарантии производительности можно получить только у компаний – лидеров рынка.
Также при выявлении уязвимых узлов стоит учитывать, что те или иные NSE-проверки могут привести к отказу в обслуживании на сканируемых узлах. Такое развитие ситуации не просто не этично, а уже совершенно точно находится вне правового поля и влечет за собой наступление последствий в виде ответственности вплоть до уголовной.
Для того, чтобы что-то найти, нужно знать, как это что-то искать. Угрозы постоянно эволюционируют, и для их выявления постоянно необходима новая аналитическая проработка. Подчас аналитика, опубликованная в исследовательских документах, устаревает, побуждая проводить собственные исследования.
Один известный пример
В качестве примера можно взять исследование [5] 2013 года авторов Zmap, посвященное выявлению узлов TOR-сети. На момент публикации документа путем анализа цепочки сертификатов и выявления особым образом сгенерированных subject name в самоподписанных сертификатах удалось найти
67 тысяч TOR-узлов, работающих на порту tcp/443, и
2,9 тысяч узлов, работающих на tcp/9001. В настоящее время перечень выявляемых данным способом TOR-узлов оказывается гораздо меньше (применяется большее разнообразие портов, используются obfs-транспорты, происходит миграция на Let’s Encrypt-сертификаты), что вынуждает использовать иные аналитические методы для решения подобной задачи.
Жалобы о злоупотреблении
При сканировании сети Интернет существует практически 100%-ый риск получения потока abuse-жалоб. Особенно досаждают автоматически сгенерированные abuse по паре десятков SYN-пакетов. А если сканирования повторяются на регулярной основе, может пойти поток и вручную созданных жалоб.
Кто жалуется чаще всего
Основные источники abuse (в основном автоматических) – образовательные учреждения в доменной зоне *.edu. По опыту особенно следует избегать сканирования адресов из ASN, принадлежащих Индианскому Университету (США). Также в презентациях авторов Zmap [5] и Masscan [7] можно найти несколько занимательных примеров неадекватной реакции на сетевое сканирование.
Поисковый движок по IoT и не только, созданный автором Zmap Закиром Дурумериком и публично представленный в 2015 году. Поисковик использует технологии Zmap и ряда связанных с ним проектов (ZGrab и ZTag). Без регистрации, в отличие от Shodan, поисковик ограничен 5 запросами в сутки с одного IP. После регистрации возможности использования расширяются: появляется API, увеличивается поисковая выдача по запросам (до 1000 результатов), однако наиболее полный доступ, включающий в себя выгрузку исторических данных, становится доступным только на Enterprise-плане.
В сводной таблице ниже представлено сравнение функциональных возможностей рассмотренных сервисов.
Значения в строках таблицы
«++» – очень хорошо реализовано
«+» – реализовано
«±» – реализовано с ограничениями
«-» – не реализовано
Сканируем сами себя
Сканирование и активная сетевая разведка – это отличные инструменты, которые уже давно используются различными исследователями в области ИБ. Однако для «классических» безопасников подобные методы работы пока еще в новинку. Применение OSINT и offensive-методов в сочетании с классическими defensive-средствами поможет значительно усилить защиту и обеспечить ее проактивность.
Михаил Ларин, эксперт Центра мониторинга и реагирования на инциденты ИБ Jet CSIRT, «Инфосистемы Джет».
Оригинал статьи
Использование offensive-методов для обогащения Threat Intelligence
DISCLAIMER
Данная статья носит исключительно информационный характер. Автор не несет ответственности за возможный вред и/или нарушения работы сетей и/или сервисов третьих сторон, связанные с выполнением тех или иных действий, описанных в статье. Автор также призывает читателей соблюдать законодательство.
Не вместо, а вместе
Сразу хочется оговориться, что речь пойдет не об отказе или замещении Threat Intelligence информации, получаемой из традиционных платных и бесплатных источников, а о ее дополнении и обогащении.
Так, использование дополнительных методов TI способно повысить его оперативность и помочь при решении ряда задач. Например, при очередной IoT-эпидемии, затрагивающей определенные уязвимые версии прошивок, как скоро удастся получить фид с IP-адресами потенциально уязвимых устройств, для того чтобы оперативно выявлять их активность на периметре? Или при срабатывании правил систем мониторинга по индикатору (IP-адресу или доменному имени), который был помечен вредоносным год и более назад, как понять, остается ли он до сих пор вредоносным, при условии, что инициировать какую-либо дополнительную проверку индикатора по состоянию «на сейчас», как правило, невозможно.
То есть особенно полезным дополнение и обогащение будет для среднеживущих индикаторов согласно «пирамиде боли» Дэвида Бьянко [0] (IP-адреса, доменные имена, сетевые артефакты), однако в некоторых обстоятельствах возможно получить новые долгоживущие индикаторы (вверх по пирамиде) при применении соответствующей аналитики.
Сканирование Интернета
Одним из методов, полезных для получения Threat Intelligence, считается сетевое сканирование.
3.7 миллиарда IPv4-адресов, исключая зарезервированные адреса) можно извлечь следующую полезную информацию:
Выбор инструмента
За годы развития информационных сетей было создано большое количество инструментов для сетевого сканирования. Среди актуального ПО можно выделить следующие сканеры:
Пожалуй, самый известный сетевой сканер, созданный 20 лет назад. Благодаря возможности применения кастомных скриптов (через Nmap Scripting Engine), это чрезвычайно гибкий инструмент, не ограничивающийся лишь простым сбором прикладных «баннеров». На настоящий момент написано достаточно большое количество NSE-скриптов, многие из которых доступны бесплатно. Поскольку Nmap отслеживает каждое соединение, иными словами, обладает синхронной природой, применять его для больших сетей, таких как Интернет, не стоит по причине невысокой скорости работы сканера. В то же время данный инструмент целесообразно задействовать на небольших выборках адресов, получаемых более быстрыми инструментами, ввиду мощности NSE.
Несмотря на изначально невысокую производительность, с момента выхода данного сканера его разработчиками было добавлено много функциональных возможностей, повышающих скорость сканирования. В их числе параллельные режимы работы и задание рейта в пакетах в секунду. Однако даже с «выкрученными» настройками Nmap отстает от своих асинхронных конкурентов по скорости. На примере сканирования /15 подсети по 443/tcp-порту с виртуальной машины с 1 CPU Xeon Gold 6140 и гигабитным каналом получаем:
Достаточно известный, хотя и не первый в своем роде асинхронный сетевой сканер, появившийся в 2013 году. Согласно докладу разработчиков, опубликованному на 22 конференции USENIX Security Simposium [5], инструмент способен просканировать весь публичный диапазон адресов, запускаемый на среднестатистическом компьютере с гигабитным подключением к сети Интернет, менее чем за 45 минут (по одному порту). В число преимуществ Zmap входят:
Из связанных с Zmap проектов, расширяющих его функциональность под интересующие задачи, можно выделить следующие:
Продвинутый сканер прикладных протоколов ZGrab, для которого уже вышла версия 2.0 (полного функционального паритета с версией 1.Х пока нет, однако в ближайшее время он будет достигнут, после чего можно будет говорить о полном замещении старой версии новой), позволяет достаточно гибко фильтровать результаты сканирования благодаря поддержке структурированного формата вывода (JSON). Например, для сбора только Distinguished Name Issuer’а и Subject’а из HTTPS-сертификатов достаточно простой команды:
Masscan
Асинхронный сканер, созданный в том же году, что и Zmap, по командному синтаксису схожий с Nmap.
Создателем (Роберт Дэвид Грэм) была заявлена большая производительность, чем у всех существовавших на тот момент асинхронных сканеров, включая Zmap, достигнутая за счет использования кастомного TCP/IP-стека.
Сравнительная таблица сканеров
В сводной таблице ниже представлено сравнение функциональных возможностей рассмотренных сканеров.
Выбор целей и способа сканирования
После выбора используемого инструментария нужно определиться с объектом и целью сканирования, то есть понять, что и для чего сканировать. Если с первым, как правило, вопросов не возникает (это публичное IPv4 адресное пространство за рядом исключений), то со вторым все зависит от желаемого конечного результата. Например:
Выбор инфраструктуры
50 Мбит/с, что является серьезной нагрузкой для программных маршрутизаторов. У аппаратного сетевого оборудования также могут возникнуть проблемы при достижении лимита производительности ASIC’ов. При этом при скорости сканирования в 100-150 Kpps (тысяч пакетов в секунду) обход публичного IPv4-диапазона может занять более 10 часов, т.е. достаточно существенный промежуток времени. Для действительно быстрого сканирования следует применять распределенную сеть сканирующих узлов, разделяющих сканируемый пул на части. Также обязателен случайный порядок сканирования для того, чтобы утилизация Интернет-каналов и пакетная загрузка оборудования провайдеров на «последней миле» не была существенной.
Сложности и «тонкие» моменты
На практике при проведении массовых сетевых сканирований можно столкнуться с рядом трудностей как технологического, так и организационно-правового характера.
Проблемы с производительностью и доступностью
Как уже упоминалось ранее, массовое сетевое сканирование создает поток трафика с высоким значением PPS, вызывающим большую нагрузку как на локальную инфраструктуру, так и на сеть провайдера, к которому подключены сканирующие узлы. Перед проведением каких-либо сканирований в исследовательских целях обязательно следует скоординировать все действия с локальными администраторами и представителями провайдера. С другой стороны, проблемы с производительностью могут произойти и на конечных сканирующих узлах при аренде виртуальных серверов на интернет-хостингах.
Также при выявлении уязвимых узлов стоит учитывать, что те или иные NSE-проверки могут привести к отказу в обслуживании на сканируемых узлах. Такое развитие ситуации не просто не этично, а уже совершенно точно находится вне правового поля и влечет за собой наступление последствий в виде ответственности вплоть до уголовной.
Что ищем и как?
Для того, чтобы что-то найти, нужно знать, как это что-то искать. Угрозы постоянно эволюционируют, и для их выявления постоянно необходима новая аналитическая проработка. Подчас аналитика, опубликованная в исследовательских документах, устаревает, побуждая проводить собственные исследования.
67 тысяч TOR-узлов, работающих на порту tcp/443, и
2,9 тысяч узлов, работающих на tcp/9001. В настоящее время перечень выявляемых данным способом TOR-узлов оказывается гораздо меньше (применяется большее разнообразие портов, используются obfs-транспорты, происходит миграция на Let’s Encrypt-сертификаты), что вынуждает использовать иные аналитические методы для решения подобной задачи.
Жалобы о злоупотреблении
При сканировании сети Интернет существует практически 100%-ый риск получения потока abuse-жалоб. Особенно досаждают автоматически сгенерированные abuse по паре десятков SYN-пакетов. А если сканирования повторяются на регулярной основе, может пойти поток и вручную созданных жалоб.
Не стоит легкомысленно относиться к этим abuse, потому что:
Аутсорсинг сетевого сканирования
Проведение самостоятельных массовых сканирований требует взвешенного подхода (риски описаны выше), при этом нужно осознавать, что если используемая аналитическая обработка результатов сканирования недостаточно глубока, то итоговый результат может оказаться неудовлетворительным. Как минимум по технической части можно облегчить задачу, воспользовавшись существующими коммерческими инструментами, такими как:
Кроме упомянутых сервисов, существует достаточно большое число проектов, так или иначе связанных с глобальным сетевым сканированием. Например:
Shodan
Первый и наиболее известный поисковый движок по опубликованным сервисам в сети Интернет, который изначально создавался как поисковик по IoT и был запущен в 2009 году Джоном Матерли [11]. На настоящий момент поисковик предлагает несколько уровней доступа к информации внутри себя. Без регистрации возможности весьма базовые, при регистрации и покупке членства становится доступна следующая функциональность:
Censys
Поисковый движок по IoT и не только, созданный автором Zmap Закиром Дурумериком и публично представленный в 2015 году. Поисковик использует технологии Zmap и ряда связанных с ним проектов (ZGrab и ZTag). Без регистрации, в отличие от Shodan, поисковик ограничен 5 запросами в сутки с одного IP. После регистрации возможности использования расширяются: появляется API, увеличивается поисковая выдача по запросам (до 1000 результатов), однако наиболее полный доступ, включающий в себя выгрузку исторических данных, становится доступным только на Enterprise-плане.
К преимуществам поисковика над Shodan можно отнести следующие возможности:
ZoomEye
IoT-поисковик, созданный китайской ИБ-компанией Knowsec Inc в 2013 году. На сегодняшний день поисковик работает с использованием собственных разработок – Xmap (хостовый сканер) и Wmap (веб-сканер). Поисковиком собирается информация по достаточно широкому диапазону портов, при поиске возможна категоризация по большому числу критериев (порты, сервисы, ОС, приложения) с детализацией по каждому хосту (содержимое прикладных баннеров). В результатах поиска выводится перечень возможных уязвимостей для идентифицированного прикладного ПО из родственного проекта SeeBug (без проверки на применимость). Для зарегистрированных аккаунтов также доступен API и веб-поиск с полным набором фильтров, но с ограничением по числу выводимых результатов. Для снятия ограничений предлагается приобретение Enterprise-плана. Из плюсов поисковика можно отметить:
Сравнительная таблица сервисов
В сводной таблице ниже представлено сравнение функциональных возможностей рассмотренных сервисов.
Сканируем сами себя
Собственная инфраструктура также может быть полезным источником TI, чтобы можно было понять, какие новые хосты и сервисы появились в сети, являются ли они уязвимыми или даже вредоносными? Если для сканирования периметра возможно задействование внешних сервисов (например, такой сценарий использования является официально поддерживаемым юзкейсом Shodan), то все действия внутри периметра возможно проводить только самостоятельно. Круг инструментов для сетевого анализа в этом случае может быть достаточно обширным: это как пассивные анализаторы, такие как Bro [13], Argus [14], Nfdump [15], p0f [16], так и активные сканеры – Nmap, Zmap, Masscan и их коммерческие конкуренты. А помочь в интерпретации собранных результатов может фреймворк IVRE [17], позволяющий получить свой собственный Shodan/Censys подобный инструмент.
Фреймворк разработан группой ИБ-исследователей, один из авторов – активный разработчик утилиты scapy [18] Пьер Лалет [19]. В число возможностей фреймворка входят:
Выводы
Сканирование и активная сетевая разведка – это отличные инструменты, которые уже давно используются различными исследователями в области ИБ. Однако для «классических» безопасников подобные методы работы пока еще в новинку. Применение OSINT и offensive-методов в сочетании с классическими defensive-средствами поможет значительно усилить защиту и обеспечить ее проактивность.