Как создать быстрый WAF. Построение высокопроизводительной системы анализа сетевого трафика

Доклад Михаила Бадина (Wallarm) для PDUG-секции на PHDays 8.

Transcript

1. Заголовок ptsecurity.com Как создать быстрый WAF Software Developer Wallarm Бадин М.Л.
2. Заголовок • Работает с HTTP, HTTPS; • OWASP Top Ten; • Обработка запроса в зависимости от структуры Web-приложения; • ACL (Access Control List); • Виртуальный патчинг; • AI, ML (жаль что пока нет Blockchain); • И много другого. Введение: Что такое WAF
3. Заголовок Введение: Как работает WAF
4. Заголовок Введение: Стадии обработки пакета в WAF Прием пакета - Прием пакета с сетевого интерфейса; - Обработка множества соединений. Определение структуры - Разбор запроса на составные части; - Парсинг структуры запроса. Первичная обработка - Токенизация, обработка с помощью регулярных выражений; - Принятие решения о наличии атаки по одному запросу. Пост обработка - Поведенческий анализ; - Принятие решения о наличии атаки по нескольким запросам.
5. Заголовок Прием пакета Прием пакета - Прием пакета с сетевого интерфейса; - Обработка множества соединений. Определение структуры - Разбор запроса на составные части; - Парсинг структуры запроса. Первичная обработка - Токенизация, обработка с помощью регулярных выражений; - Принятие решения о наличии атаки по одному запросу. Пост обработка - Поведенческий анализ; - Принятие решения о наличии атаки по нескольким запросам.
6. Заголовок Прием пакета: Традиционный подход 1. Слушаем сокет. 2. При инициализации нового соединения делаем fork(). 3. Дочерний процесс начинает обрабатывать пакет. 4. Родительский процесс продолжает слушать сокет.
7. Заголовок Прием пакета: Традиционный подход Переход в Kernel Space при: • Исчерпание процессорного времени; • Чтение / Запись; • IPC; • Создание / Завершение процессов; • Другие системные вызовы.
8. Заголовок Прием пакета: Асинхронный подход
9. Заголовок Прием пакета: Алгоритм работы Event Loop while (there_are_still_events_to_process) { e = get_the_next_event(event_loop); if (there_is_a_callback_associated_with_e) { call_the_callback(); } } callback_func() { do_something(); non_block_func(param, other_callback()); }
10. Заголовок Прием пакета: Асинхронный прием запроса Разделение процесса обработки запроса на стадии: • Прием заголовков, тела; • Первичная обработка; • Отправка метаданных на пост аналитику; • Проксирование на нужный веб-сервер; • Логирование, отправка отчетов и т.д.
11. Заголовок А что дальше? Разговор двух коллег: Программист: Хорошо. Допустим мы получили запрос. Что теперь с ним делать? Аналитик ИБ: Ну у меня есть несколько регулярок. Можно попробовать поматчить их с реквестом. Программист: Т.е. мне просто натравить их на весь запрос? Аналитик ИБ: А знаешь, не все так просто.. На URI надо использовать одни регулярки. На хедера другие.. Аналитик ИБ: Ну ты придумай что нибудь.. Тыж программист. Программист: Ох.. Программист Аналитик ИБ
12. Заголовок Определение структуры запроса Прием пакета - Прием пакета с сетевого интерфейса; - Обработка множества соединений. Определение структуры - Разбор запроса на составные части; - Парсинг структуры запроса. Первичная обработка - Токенизация, обработка с помощью регулярных выражений; - Принятие решения о наличии атаки по одному запросу. Пост обработка - Поведенческий анализ; - Принятие решения о наличии атаки по нескольким запросам.
13. Заголовок • Разделить HTTP-request на составные части; ◦ Starting Line: Method, URI (внутри много чего интересного), HTTP/Version ◦ Headers (General, Request, Entity); ◦ Message Body (html, json, etc); • Применять парсеры для разбора “матрешки” запроса; • Должны понимать к какому компоненту веб-приложения соотносится запрос (в идеале какие фреймворки используются); • “Стараться” парсить так, как это делает веб-приложение. Определение структуры запроса: Общие понятия
14. Заголовок На что стоит обратить внимание Аналитик ИБ: Не забудь что нас могут вывести из строя. > dd if=/dev/zero of=zero.txt bs=1000000 count=10000 # zero.txt (9.4G) > brotli ./zero.txt # zero.txt.br (130K) > brotli ./zero.txt.br # zero.txt.br.br (23.4K) > curl -X POST \ -H 'Content-Type: text/plain' \ -H 'Content-Encoding: br, br' \ -d @./zero.txt.br.br http://example.com/upload # WAF RIP... Я знаю тысячу способов как забайпасить WAF!
15. Заголовок Первичная обработка запроса Прием пакета - Прием пакета с сетевого интерфейса; - Обработка множества соединений. Определение структуры - Разбор запроса на составные части; - Парсинг структуры запроса. Первичная обработка - Токенизация, обработка с помощью регулярных выражений; - Принятие решения о наличии атаки по одному запросу. Пост обработка - Поведенческий анализ; - Принятие решения о наличии атаки по нескольким запросам.
16. Заголовок Лексический анализ Программист: Вот хорошо бы обратабывать токены вместо сырых данных и по ним находить уязвимости. Аналитик ИБ: Мне без разницы.. Лучше пойду посмотрю пока презентации с Black Hat USA 2017.. Программист: А я пока открою книгу ДРАКОНА! УАХАХАХА!!.
17. Заголовок Лексический анализ: Токены, Шаблоны, Лексемы Токен - пара, состоящая из имени токена и параметра • Имя токена (некое символическое имя) • Параметр (в нем содержится дополнительная информация о токене). Шаблон - описание вида, которое может принимать токен. Лексема - некоторая последовательность символов, которое подходит под описание шаблона и идентифицируется как токен.
18. Заголовок Лексический анализ: Примеры токенов Токен Шаблон Лексема select Символы ‘s’, ’e’, ’l’, ’e’, ’c’, ’t’ select compration ‘<’, или ‘>’, или ‘=’, или ‘!=’, или ‘>=’, или ‘<=’ >, >=, == number Любая числовая константа 1, 3.5, 3.3e10, -100500 literal Все, кроме “, заключенное в двойные кавычки “Hello world”, “Core dumped”
19. Заголовок Лексический анализ: Архитектура
20. Заголовок Лексический анализ: Пример разбора на токены Исходная строка: Е = M * C ** 2 Токены: <id, указатель на запись в таблице символов для E> <assign_op> <id, указатель на запись в таблице символов для M> <mult_op> <id, указатель на запись в таблице символов для C> <exp_op> <number, целое значение для 2>
21. Заголовок Лексический анализ: Буферизация ввода
22. Заголовок Лексический анализ: Диаграмма переходов Состоит из: 1. Состояний. Каждое состояние представляет ситуацию, которая может возникнуть в процессе сканирования входного потока в поисках лексемы. 2. Дуг. Представляет собой линию из одного состояния в другое.
23. Заголовок Пример диаграммы переходов
24. Заголовок Пример диаграммы переходов Давайте попробуем составить шаблон для токена ”number” (надеюсь все помнят формат записи регулярных выражений) digit → [0 - 9] digits → digit+ number → digit(.digits)?(E[+-]?digits)?
25. Заголовок Лексический анализ Аналитик ИБ: Лексемы… Токены… Диаграммы переходов… Я почти уснул, когда тебя слушал. Программист: Да почему? Математика такая интересная! Аналитик ИБ: Очень… Теперь все готово для написания кода? Программист: Ну почти. Еще осталось узнать про НКА и ДКА! Аналитик ИБ: Что за НКА и ДКА??? О боже... Программист: Да ладно, это совсем просто! Аналитик ИБ: Я в этом сомневаюсь…
26. Заголовок Пример конечного автомата: Автомат с напитками
27. Заголовок Детерминированный конечный автомат (ДКА) Абстрактное устройство, которое описывается следующими параметрами: • Q - конечное множество состояний; • Σ - конечное множество входных символов; • δ - функция переходов. Аргументы - состояние и входной символ, результат - состояние. Более формальная, но менее понятная запись - δ: Q x Σ ➝ Q; • q0 - начальное состояние. q0 ∊ Q; • F - множество допускающих состояний, является подмножеством Q. F ⊂ Q. И работает следующим образом: • Начинает работу в начальном состоянии q0 ; • Если автомат находится в состоянии qi а на вход поступает символ b, то автомат переходит в состояние qj = δ(qi , b)
28. Заголовок Пример ДКА ДКА, принимающий язык (a|b)*abb Вх. символ Состояние a b q0 (начальное) q1 q0 q1 q1 q2 q2 q1 q3 q3 (допускающее) q1 q0 Таблица переходов для (a|b)*abb
29. Заголовок Недетерминированный конечный автомат (НКА) Абстрактное устройство, которое описывается следующими параметрами: • Q - конечное множество состояний; • Σ - конечное множество входных символов; • δ - функция переходов. Аргументы - состояние и входной символ, результат - множество состояний (возможно пустое); • q0 - начальное состояние. q0 ∊ Q; • F - множество допускающих состояний, является подмножеством Q. F ⊂ Q. И работает следующим образом: • Начинает работу в начальном состоянии q0 ; • Если автомат находится в состоянии qi а на вход поступает символ b, то автомат переходит в множество состояний {qj }next = δ(qi , b), где qi ∊ {qi }current
30. Заголовок Пример НКА НКА, принимающий язык (a|b)*abb Вх. символ Состояние a b ε q0 (начальное) {q0 , q1 } {q0 } Ø q1 Ø {q1 } Ø q2 Ø {q3 } Ø q3 (допускающее) Ø Ø Ø Таблица переходов для (a|b)*abb
31. Заголовок ДКА и НКА. Сравнение производительности Генерация автоматов из регулярок: • ДКА - O(S3) (типичный случай) • ДКА - O(S22s) (худший случай) • НКА - O(S) Скорость обработки входных символов: • ДКА - O(N) • НКА - O(S*N) Примечание: S - длина регулярки N - длина входной строки
32. Заголовок Первичная обработка запроса Прием пакета - Прием пакета с сетевого интерфейса; - Обработка множества соединений. Определение структуры - Разбор запроса на составные части; - Парсинг структуры запроса. Первичная обработка - Токенизация, обработка с помощью регулярных выражений; - Принятие решения о наличии атаки по одному запросу. Пост обработка - Поведенческий анализ; - Принятие решения о наличии атаки по нескольким запросам.
33. Заголовок Пост обработка запроса • Необходима для в случае поведенческого анализа (когда мы не можем однозначно идентифицировать атаку по одному запросу); • Должны быть определены параметры запроса по которым будет проводится анализ; • В случае наличия нескольких WAFов имеет смысл объединить пост-обработку в одно место; • Не слишком критична к ресурсам, возможно немного “пропустить” запросов для накопления статистики.
34. Заголовок Эпилог Аналитик ИБ: Отлично! Теперь наконец то мы сможем реализовать неплохой WAF! Программист: Ага! И при правильной настройки его будет очень трудно забайпасить. Аналитик ИБ: Слушай тут надо еще прикрутить пару интересных фич… Программист: Каких? Аналитик ИБ: Например виртуальный патчинг. И обработку ответов. И крутую панель управления, и т.д.. Аналитик ИБ: И да, нужен искусственный интеллект и машинное обучение! На дворе 2018 год как никак! Программист: Хорошо. Но только подними мне заработную плату!
35. Заголовок ptsecurity.com Спасибо! Спасибо!