Анатомия ошибки

В разработке програмного обеспечения мы работаем со сложными системами. В них не самые тривиальные технологии переплетаются со сложными процессами, и это только начало. Зачастую это означает, что, когда все ломается, не всегда очевидно, почему произошла ошибка, и что можно сделать, чтобы хоть чему-то из этой ошибки научиться. Как проводить пост мортем? Почему происходят ошибки? Как сделать нашу работу надежнее и безопаснее? Чему мы можем научиться из авиакатастроф и аварий на объектах мирного атома?

Подробнее тут: http://goblingame.blogspot.ru/2012/10/blog-post_12.html

Transcript

1. Анатомия Анатомия ОШИБКИ ОШИБКИ
2. Высоцкий сергей Высоцкий сергей Специалист по Тестированию Специалист по Тестированию Высоконагруженных Высоконагруженных Сервисов, 2GIS Сервисов, 2GIS http://goblingame.blogspot.com/ http://goblingame.blogspot.com/ Sergey.Vyssotski@gmail.com Sergey.Vyssotski@gmail.com @goblingame @goblingame
3. Sh t happens * Sh t happens *
4. 0. Контекст 0. Контекст 1. как? 1. как? 2. почему? 2. почему? 3. что делать? 3. что делать?
5. 0. Контекст 0. Контекст 1. как? 1. как? 2. почему? 2. почему? 3. что делать? 3. что делать?
6. Социотехнические системы Социотехнические системы
7. Социальная часть Социальная часть
8. Техническая часть Техническая часть
9. Люди Люди техника техника
10. Морская авиация Морская авиация
11. медицина медицина
12. Отказоустойчивость Отказоустойчивость социотехнических социотехнических систем систем Доктор Кук Доктор Кук Доктор Деккер Доктор Деккер Доктор Холлнагель Доктор Холлнагель Доктор Вудс Доктор Вудс
13. сложные сложные динамичные динамичные И И
14. сложные сложные Трудно понять Трудно понять ≠ ≠
15. Наша система: Наша система: софт - софт - железо - железо - люди - люди - процессы - процессы - сеть - сеть -
16. Наша система: Наша система: софт - софт - железо - железо - люди - люди - процессы - процессы - сеть - сеть -
17. Система, рассчитанная Система, рассчитанная На идеальную работу На идеальную работу Каждого звена, Каждого звена, Обречена на провал Обречена на провал
18. Etto principle Etto principle
19. Нормы, процедуры, Нормы, процедуры, инструкции инструкции
20. Нормы, процедуры, Нормы, процедуры, инструкции инструкции Ресурсы, Ресурсы, ограничения ограничения
21. Нормы, процедуры, Нормы, процедуры, инструкции инструкции оператор оператор Ресурсы, Ресурсы, ограничения ограничения ошибки ошибки компенсации компенсации коррективы коррективы нарушения нарушения
22. 0. Контекст 0. Контекст 1. как? 1. как? 2. почему? 2. почему? 3. что делать? 3. что делать?
23. обнаружение обнаружение локализация локализация починка починка все ок все ок
24. обнаружение обнаружение локализация локализация починка починка все ок все ок
25. обнаружение обнаружение локализация локализация починка починка все ок все ок
26. импровизация импровизация
27. Постоянные Постоянные коммуникации коммуникации
28. Перегрузка Перегрузка информацией информацией
29. Герои Герои- -ОДИНОЧКИ ОДИНОЧКИ
30. 0. Контекст 0. Контекст 1. как? 1. как? 2. почему? 2. почему? 3. что делать? 3. что делать?
31. Основное правило: «Основное правило: « любое объяснение любое объяснение лучше его отсутствия» лучше его отсутствия» ницше - ницше - про root cause analysis про root cause analysis
32. Ошибка ретроспекции Ошибка ретроспекции Знание результата «Знание результата « Влияет на анализ Влияет на анализ произошедшего» произошедшего»
33. Память Память
34. Реальность Реальность
35. Ошибка ретроспекции Ошибка ретроспекции Надо было быть Надо было быть внимательнее внимательнее Все видно как на Все видно как на Ладони, Как ты мог Ладони, Как ты мог проморгать? проморгать?
36. Отклонение в сторону Отклонение в сторону результата результата Суждение о решениях «Суждение о решениях « По их окончательному По их окончательному результату» результату»
37. FMEA FMEA Дерево отказов Дерево отказов Пять почему Пять почему ишикава ишикава
40. На самом деле На самом деле база база Вебсервер Вебсервер Кэш Кэш балансировщик
41. На самом деле На самом деле база база Вебсервер Вебсервер Кэш Кэш балансировщик Админ Попал в аварию Админ Попал в аварию
42. На самом деле На самом деле база база Вебсервер Вебсервер Кэш Кэш балансировщик Админ Попал в аварию Админ Попал в аварию Все На devday Все На devday
43. На самом деле На самом деле база база Вебсервер Вебсервер Кэш Кэш балансировщик Админ Попал в аварию Админ Попал в аварию Все На devday Все На devday Проблемы С наймом Проблемы С наймом
44. На самом деле На самом деле база база Вебсервер Вебсервер Кэш Кэш балансировщик Админ Попал в аварию Админ Попал в аварию Все На devday Все На devday Проблемы С наймом Проблемы С наймом Бюджет Сдали вчера Бюджет Сдали вчера
45. На самом деле На самом деле база база Вебсервер Вебсервер Кэш Кэш балансировщик Админ Попал в аварию Админ Попал в аварию Все На devday Все На devday Почта лежит Почта лежит Проблемы С наймом Проблемы С наймом Бюджет Сдали вчера Бюджет Сдали вчера
46. На самом деле На самом деле база база Вебсервер Вебсервер Кэш Кэш балансировщик Админ Попал в аварию Админ Попал в аварию Маркетинг Написал статью Маркетинг Написал статью Все На devday Все На devday Почта лежит Почта лежит Проблемы С наймом Проблемы С наймом Бюджет Сдали вчера Бюджет Сдали вчера
47. На самом деле На самом деле база база Вебсервер Вебсервер Кэш Кэш балансировщик Админ Попал в аварию Админ Попал в аварию Маркетинг Написал статью Маркетинг Написал статью Все На devday Все На devday Почта лежит Почта лежит Проблемы С наймом Проблемы С наймом Бюджет Сдали вчера Бюджет Сдали вчера
48. Первопричины создаются, Первопричины создаются, А не находятся А не находятся
49. Нет первопричин, есть лишь Нет первопричин, есть лишь мНого благоприятствующих мНого благоприятствующих Ошибке факторов Ошибке факторов
50. Человеческий фактор ЭТО Человеческий фактор ЭТО Не пЕРВОПричина, Не пЕРВОПричина, а побочный эффект а побочный эффект
51. Функциональный Функциональный резонанс резонанс Маркетинг Написал статью Маркетинг Написал статью
52. Функциональный Функциональный резонанс резонанс балансировщик
53. 0. Контекст 0. Контекст 1. как? 1. как? 2. почему? 2. почему? 3. что делать? 3. что делать?
54. Превентивные меры Превентивные меры
55. Прогнозирование чего ждать? | Прогнозирование чего ждать? | Превентивные меры Превентивные меры
56. Прогнозирование чего ждать? | Прогнозирование чего ждать? | Превентивные меры Превентивные меры Мониторинг куда смотреть? | Мониторинг куда смотреть? |
57. Прогнозирование чего ждать? | Прогнозирование чего ждать? | Превентивные меры Превентивные меры Мониторинг куда смотреть? | Мониторинг куда смотреть? | Ответные меры что делать? | Ответные меры что делать? |
58. Прогнозирование чего ждать? | Прогнозирование чего ждать? | Превентивные меры Превентивные меры Мониторинг куда смотреть? | Мониторинг куда смотреть? | Ответные меры что делать? | Ответные меры что делать? | обучение что это было? | обучение что это было? |
59. Прогнозирование чего ждать? | Прогнозирование чего ждать? | Превентивные меры Превентивные меры Мониторинг куда смотреть? | Мониторинг куда смотреть? | Ответные меры что делать? | Ответные меры что делать? | обучение что это было? | обучение что это было? |
60. 9 успешных релизов 9 успешных релизов Пример Пример 1 неудачный релиз 1 неудачный релиз
61. Ошибка это... Ошибка это... Тезис 1 # Тезис 1 # Частный случай успеха Частный случай успеха
62. Разбираем ошибки Разбираем ошибки 1 случай из 10 1 случай из 10 Масштабируем на все релизы Масштабируем на все релизы
63. успех это... успех это... Тезис 2 # Тезис 2 # Частный случай ошибки Частный случай ошибки
64. Разбираем успехи Разбираем успехи 9 случаев из 10 9 случаев из 10 Масштабируем на все релизы Масштабируем на все релизы
65. Учиться на ошибках Учиться на ошибках Учиться на успехах Учиться на успехах + +
66. Человеческая ошибка Человеческая ошибка не случайна не случайна
67. Не оправдывать Не оправдывать Человеческой Ошибкой Человеческой Ошибкой все подряд все подряд
68. Человеческая ошибка Человеческая ошибка Прилагается к любой Прилагается к любой Сложной системе Сложной системе
69. Бороться со сложностью Бороться со сложностью
70. Безопасных систем Безопасных систем Не СУЩЕСТВУЕТ Не СУЩЕСТВУЕТ
71. Изменение на любом уровне Изменение на любом уровне Может породить новые Может породить новые уязвимости уязвимости
72. Понимать как работает Понимать как работает Система На остром конце « » Система На остром конце « »
73. The End The End Sergey.Vyssotski@gmail.com Sergey.Vyssotski@gmail.com