Современное состояние исследований и разработок в области автоматического анализа программ

Александр Герасимов
Старший научный сотрудник, ИСП РАН
SECR 2019

Обзор текущего состояния исследований и разработок в области автоматического анализа программ с учётом опыта разработки и применения инструментов автоматического анализа программ на наличие ошибок и уязвимостей безопасности.

Transcript

1. Современное состояние исследований и разработок в области автоматического анализа программ Александр Герасимов ИСП РАН Software Engineering Conference Russia November 14-15, 2019. Saint-Petersburg
2. Что такое ошибка в программе? • IEEE 1044-2019 Standard Classification of Software Anomalies • NIST. Software Error Analysis Defect, anomaly, error, failure, fault… – много терминов, мало смысла 2
3. Что такое ошибка в программе? • IEEE 1044-2019 Standard Classification of Software Anomalies • NIST. Software Error Analysis Defect, anomaly, error, failure, fault… – много терминов, мало смысла Программа должна работать корректно в соответствии со спецификацией. 3
4. Зачем искать ошибки? 4 0 2000 4000 6000 8000 10000 12000 14000 16000 18000 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 Common Vulnerabilities and Exposures (CVE)
5. Критичность ошибки Критичность ошибки определяется характером автоматизируемых функций. 5
6. Цена ошибки 6 Ariane 5: переполнение при записи 64 бит в 16 битную ячейку 8 500 000 000$
7. Стоимость исправления ошибки 7 Проект Код Интеграция Приёмка Эксплуатация х1 х5 х10 х15 х30
8. История 1. 1940-е: физическое удаление насекомых - debugging 8 9 сентября 1947 Грэйс Хоппер
9. История 1. 1940-е: физическое удаление насекомых - debugging 2. 1950-е: Инспекция кода и тестирование 9
10. Тестирование 10 • Ручное • Исчерпывающее
11. Тестирование программы может весьма эффективно продемонстрировать наличие ошибок, но безнадёжно неадекватно для демонстрации их отсутствия. Тестирование 11 Эдсгер Вибе Дейкстра
12. Тестирование, что дальше? 12 Автоматическое построение покрытия 1975: Динамическое символьное исполнение 1980-е: Фаззинг
13. Покрытие кода 13 Автоматическое построение покрытия: • По базовым блокам
14. Покрытие кода 14 Автоматическое построение покрытия: • По базовым блокам • По исходам условных выражений
15. Покрытие кода 15 Автоматическое построение покрытия: • По базовым блокам • По исходам условных выражений • По исходам операндов условных выражений (MC/DC) if(a || b){ … } a T T F F b T F T F
16. Покрытие кода 16 Автоматическое построение покрытия: • По базовым блокам • По исходам условных выражений • По исходам операндов условных выражений (MC/DC) • По путям
17. Фаззинг 17 Черный ящик Серый ящик Прозрачный ящик Псевдослучайные По модели
18. Фаззинг: проблемы 18 void foo(long x) { if ( x == 1234567) { abort(); } } P(1234567) = " #$%#%&'$%( = 0,000000000232831
19. Фаззинг: практика 19 Применение санитизации кода позволяет найти «тихие» ошибки • AddressSanitizer • LeakSanitizer • MemorySanitizer • ThreadSanitizer • UndefinedBehaviourSanitizer
20. Фаззинг: инструменты 20 • Americal Fuzzy Lop • Radamsa • Peach Fuzzing Platform • Defensics • Syzkaller • ISP Fuzzer
21. Динамическое cимвольное исполнение 21
22. Динамическое cимвольное исполнение 22
23. Динамическое cимвольное исполнение 23
24. Динамическое cимвольное исполнение 24
25. Динамическое cимвольное исполнение 25 Количество условных переходов Количество путей для анализа 2n
26. Динамическое Символьное исполнение 26 1975 – впервые дано описание метода 2005 – первые автоматические инструменты Идея: целенаправленное построение тестового покрытия программы. Проблемы: низкая производительность. Причины: • Замедление работы программы из-за инструментации • Высокая вычислительная сложность решения задач SMT • Большое количество путей для исследования, чаще - ∞
27. Динамическое Символьное исполнение 27 Известные среды анализа: • KLEE • S2E • angr • Anxiety
28. Sage (Microsoft Research) 28
29. Статический анализ 29 1951 – Теорема Райса (Генри Гордон Райс) о невозможности определения нетривиальных свойств вычислимых функций. Расходимся…
30. Статический анализ 30 1951 – Теорема Райса (Генри Гордон Райс) о невозможности определения нетривиальных свойств вычислимых функций. 1970-е: ситаксические анализаторы (lint) 2000-е: • Klocwork inSight • Coverity Prevent • Svace
31. История 1. 1940-е: физическое удаление насекомых - debugging 2. 1950-е: Инспекция кода и тестирование 3. 1970-е: Стандарты кодирования и первые инструменты статического анализа (lint) 31 if (a == b) { … } if (a = b) { … }
32. Статический анализ 32 char * cpabuf(char * buf){ char* p = NULL; if ( strlen( buf ) > 0 ) { if( buf [0] == ‘a’ ) { p = malloc( strlen( buf ) + 1); } else { logerror(‘unexpected input’); } } strcpy(p, buf); return p; } FD FP N T ID D I T N char * cpabuf char* buf T N FB = p char* NULL …
33. Статический анализ 33 char * cpabuf(char * buf){ char* p = NULL; if ( strlen( buf ) > 0 ) { if( buf [0] == ‘a’ ) { p = malloc( strlen( buf ) + 1); } else { logerror(‘unexpected input’); } } strcpy(p, buf); return p; }
34. Статический анализ 34 char * cpabuf(char * buf){ char* p = NULL; if ( strlen( buf ) > 0 ) { if( buf [0] == ‘a’ ) { p = malloc( strlen( buf ) + 1); } else { logerror(‘unexpected input’); } } strcpy(p, buf); return p; }
35. Статический анализ 35 char * cpabuf(char * buf){ char* p = NULL; // Инициализация if ( strlen( buf ) > 0 ) { if( buf [0] == ‘a’ ) { p = malloc( strlen( buf ) + 1); } else { logerror(‘unexpected input’); } } strcpy(p, buf); // Реализация return p; }
36. Статический анализ 36 char * cpabuf(char * buf){ char* p = NULL; // Инициализация if ( strlen( buf ) > 0 ) { if( buf [0] == ‘a’ ) { p = malloc( strlen( buf ) + 1); } else { logerror(‘unexpected input’); } } strcpy(p, buf); // Реализация return p; } void foo(){ char * a = cpabuf(“allow”); // Ok char * b = cpabuf(“deny”); // Error }
37. Статический анализ 37 Проблемы: • Ложные предупреждения об ошибках • Пропуск ошибок Преимущества: • Производительность • Масштабируемость
38. Как примененять? 38 Код Сборка Статический анализ ПО Отчёт и эксплойт Автотесты Отчёт Фаззинг Динамический анализ Отчёт Отчёт и эксплойт
39. Комбинированные методы 39 Неизведанная часть Проверенная часть
40. Комбинированные методы 40
41. Комбинированные методы 41
42. Комбинированные методы 42 • Fuzzing + Динамическое символьное исполнение: • Driller • Crusher • Статический анализ + динамическое символьное исполнение
43. 43 https://klee.github.io https://s2e.systems https://angr.io https://github.com/google/AFL https://github.com/shellphish/driller https://www.synopsys.com/software-integrity/security-testing/static-analysis-sast.html https://www.synopsys.com/software-integrity/security-testing/fuzz-testing.html https://www.perforce.com/products/klocwork https://www.ispras.ru/technologies Материалы
44. 44 Александр Герасимов ИСП РАН https://www.ispras.ru/groups/sp/staff.php https://www.linkedin.com/in/alexander- gerasimov-9334767b/ Контакты