Slide 1
Slide 1 text
Современное состояние исследований и
разработок в области автоматического
анализа программ
Александр Герасимов
ИСП РАН
Software Engineering Conference Russia
November 14-15, 2019. Saint-Petersburg
Slide 2
Slide 2 text
Что такое ошибка в программе?
• IEEE 1044-2019 Standard Classification of Software
Anomalies
• NIST. Software Error Analysis
Defect, anomaly, error, failure, fault… – много терминов, мало
смысла
2
Slide 3
Slide 3 text
Что такое ошибка в программе?
• IEEE 1044-2019 Standard Classification of Software
Anomalies
• NIST. Software Error Analysis
Defect, anomaly, error, failure, fault… – много терминов, мало
смысла
Программа должна работать корректно
в соответствии со спецификацией.
3
Slide 4
Slide 4 text
Зачем искать ошибки?
4
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
Common Vulnerabilities and Exposures (CVE)
Slide 5
Slide 5 text
Критичность ошибки
Критичность ошибки определяется характером
автоматизируемых функций.
5
Slide 6
Slide 6 text
Цена ошибки
6
Ariane 5: переполнение при записи 64 бит в 16 битную ячейку
8 500 000 000$
Slide 7
Slide 7 text
Стоимость исправления ошибки
7
Проект Код Интеграция Приёмка Эксплуатация
х1
х5
х10
х15
х30
Slide 8
Slide 8 text
История
1. 1940-е: физическое удаление насекомых - debugging
8
9 сентября 1947
Грэйс Хоппер
Slide 9
Slide 9 text
История
1. 1940-е: физическое удаление насекомых - debugging
2. 1950-е: Инспекция кода и тестирование
9
Slide 10
Slide 10 text
Тестирование
10
• Ручное
• Исчерпывающее
Slide 11
Slide 11 text
Тестирование программы может весьма эффективно
продемонстрировать наличие ошибок, но безнадёжно
неадекватно для демонстрации их отсутствия.
Тестирование
11
Эдсгер Вибе Дейкстра
Slide 12
Slide 12 text
Тестирование, что дальше?
12
Автоматическое построение покрытия
1975: Динамическое символьное исполнение
1980-е: Фаззинг
Slide 13
Slide 13 text
Покрытие кода
13
Автоматическое
построение покрытия:
• По базовым блокам
Slide 14
Slide 14 text
Покрытие кода
14
Автоматическое
построение покрытия:
• По базовым блокам
• По исходам условных
выражений
Slide 15
Slide 15 text
Покрытие кода
15
Автоматическое
построение покрытия:
• По базовым блокам
• По исходам условных
выражений
• По исходам
операндов условных
выражений (MC/DC)
if(a || b){
…
}
a T T F F
b T F T F
Slide 16
Slide 16 text
Покрытие кода
16
Автоматическое
построение покрытия:
• По базовым блокам
• По исходам условных
выражений
• По исходам
операндов условных
выражений (MC/DC)
• По путям
Slide 17
Slide 17 text
Фаззинг
17
Черный ящик Серый ящик Прозрачный ящик
Псевдослучайные По модели
Slide 18
Slide 18 text
Фаззинг: проблемы
18
void foo(long x)
{
if ( x == 1234567)
{
abort();
}
}
P(1234567) = "
#$%#%&'$%(
= 0,000000000232831
Slide 19
Slide 19 text
Фаззинг: практика
19
Применение санитизации кода позволяет
найти «тихие» ошибки
• AddressSanitizer
• LeakSanitizer
• MemorySanitizer
• ThreadSanitizer
• UndefinedBehaviourSanitizer
Slide 20
Slide 20 text
Фаззинг: инструменты
20
• Americal Fuzzy Lop
• Radamsa
• Peach Fuzzing Platform
• Defensics
• Syzkaller
• ISP Fuzzer
Slide 21
Slide 21 text
Динамическое cимвольное
исполнение
21
Slide 22
Slide 22 text
Динамическое cимвольное
исполнение
22
Slide 23
Slide 23 text
Динамическое cимвольное
исполнение
23
Slide 24
Slide 24 text
Динамическое cимвольное
исполнение
24
Slide 25
Slide 25 text
Динамическое cимвольное
исполнение
25
Количество условных переходов
Количество путей для анализа
2n
Slide 26
Slide 26 text
Динамическое Символьное
исполнение
26
1975 – впервые дано описание метода
2005 – первые автоматические инструменты
Идея: целенаправленное построение тестового покрытия
программы.
Проблемы: низкая производительность.
Причины:
• Замедление работы программы из-за инструментации
• Высокая вычислительная сложность решения задач SMT
• Большое количество путей для исследования, чаще - ∞
Slide 27
Slide 27 text
Динамическое Символьное
исполнение
27
Известные среды анализа:
• KLEE
• S2E
• angr
• Anxiety
Slide 28
Slide 28 text
Sage (Microsoft Research)
28
Slide 29
Slide 29 text
Статический анализ
29
1951 – Теорема Райса (Генри Гордон Райс) о
невозможности определения нетривиальных
свойств вычислимых функций.
Расходимся…
Slide 30
Slide 30 text
Статический анализ
30
1951 – Теорема Райса (Генри Гордон Райс) о
невозможности определения нетривиальных
свойств вычислимых функций.
1970-е: ситаксические анализаторы (lint)
2000-е:
• Klocwork inSight
• Coverity Prevent
• Svace
Slide 31
Slide 31 text
История
1. 1940-е: физическое удаление насекомых - debugging
2. 1950-е: Инспекция кода и тестирование
3. 1970-е: Стандарты кодирования и первые инструменты
статического анализа (lint)
31
if (a == b) {
…
}
if (a = b) {
…
}
Slide 32
Slide 32 text
Статический анализ
32
char * cpabuf(char * buf){
char* p = NULL;
if ( strlen( buf ) > 0 ) {
if( buf [0] == ‘a’ ) {
p = malloc( strlen( buf ) + 1);
} else {
logerror(‘unexpected input’);
}
}
strcpy(p, buf);
return p;
}
FD
FP
N
T
ID
D I
T N
char * cpabuf
char* buf
T N
FB
=
p
char*
NULL
…
Slide 33
Slide 33 text
Статический анализ
33
char * cpabuf(char * buf){
char* p = NULL;
if ( strlen( buf ) > 0 ) {
if( buf [0] == ‘a’ ) {
p = malloc( strlen( buf ) + 1);
} else {
logerror(‘unexpected input’);
}
}
strcpy(p, buf);
return p;
}
Slide 34
Slide 34 text
Статический анализ
34
char * cpabuf(char * buf){
char* p = NULL;
if ( strlen( buf ) > 0 ) {
if( buf [0] == ‘a’ ) {
p = malloc( strlen( buf ) + 1);
} else {
logerror(‘unexpected input’);
}
}
strcpy(p, buf);
return p;
}
Slide 35
Slide 35 text
Статический анализ
35
char * cpabuf(char * buf){
char* p = NULL; // Инициализация
if ( strlen( buf ) > 0 ) {
if( buf [0] == ‘a’ ) {
p = malloc( strlen( buf ) + 1);
} else {
logerror(‘unexpected input’);
}
}
strcpy(p, buf); // Реализация
return p;
}
Slide 36
Slide 36 text
Статический анализ
36
char * cpabuf(char * buf){
char* p = NULL; // Инициализация
if ( strlen( buf ) > 0 ) {
if( buf [0] == ‘a’ ) {
p = malloc( strlen( buf ) + 1);
} else {
logerror(‘unexpected input’);
}
}
strcpy(p, buf); // Реализация
return p;
}
void foo(){
char * a = cpabuf(“allow”); // Ok
char * b = cpabuf(“deny”); // Error
}
Slide 37
Slide 37 text
Статический анализ
37
Проблемы:
• Ложные предупреждения об ошибках
• Пропуск ошибок
Преимущества:
• Производительность
• Масштабируемость
Slide 38
Slide 38 text
Как примененять?
38
Код
Сборка
Статический
анализ
ПО
Отчёт и
эксплойт
Автотесты
Отчёт
Фаззинг
Динамический
анализ
Отчёт
Отчёт и
эксплойт
Slide 39
Slide 39 text
Комбинированные методы
39
Неизведанная
часть
Проверенная
часть
Slide 40
Slide 40 text
Комбинированные методы
40
Slide 41
Slide 41 text
Комбинированные методы
41
Slide 42
Slide 42 text
Комбинированные методы
42
• Fuzzing + Динамическое символьное
исполнение:
• Driller
• Crusher
• Статический анализ + динамическое
символьное исполнение
Slide 43
Slide 43 text
43
https://klee.github.io
https://s2e.systems
https://angr.io
https://github.com/google/AFL
https://github.com/shellphish/driller
https://www.synopsys.com/software-integrity/security-testing/static-analysis-sast.html
https://www.synopsys.com/software-integrity/security-testing/fuzz-testing.html
https://www.perforce.com/products/klocwork
https://www.ispras.ru/technologies
Материалы
Slide 44
Slide 44 text
44
Александр Герасимов
ИСП РАН
https://www.ispras.ru/groups/sp/staff.php
https://www.linkedin.com/in/alexander-
gerasimov-9334767b/
Контакты