Метрики всему голова — Вадим Смаль (Avito)

Поговорим о Data-driven подходе к разработке. Вадим продемонстрирует, какие метрики можно собирать, как они помогут быть эффективным, как следить за качеством разрабатываемой функциональности. Подробно рассмотрим, как замерять время компиляции отдельных фреймворков, размер приложения, время запуска приложения, CrashFree, OOM. Если вы до сих пор думаете, что метрики это только для менеджеров и аналитиков — будете приятно удивлены.

Avito iOS Winter Edition
02/12/2017

Transcript

1. Метрики всему голова Vadim Smal Senior iOS developer
2. 2 NDA
3. 3 Data D riven Hype Learning Machine Big Mining M etrics Approach Deep Complex Decision making Analytics Network Neural infographic NLP
4. 4 Data D riven Hype Learning Machine Big Mining M etrics Approach Deep Complex Decision making Analytics Network Neural infographic NLP
5. 5 Data D riven
6. 6 Data Driven Анализ данных может изменить будущее организации, но только если будет применяться постоянно, каждый день, каждым сотрудником
7. 7 Data Driven Анализ данных может изменить будущее организации, но только если будет применяться постоянно, каждый день, каждым сотрудником
8. 8 Data Driven •Зачем? •Метрики •Продуктивность •Приложение •Экосистема
9. 9 Data Driven •Зачем? •Метрики •Продуктивность •Приложение •Экосистема
10. 10 Data Driven •Зачем? •Метрики •Продуктивность •Приложение •Экосистема
11. 11 Data Driven •Зачем? •Метрики •Продуктивность •Приложение •Экосистема
12. 12 Data Driven •Зачем? •Метрики •Продуктивность •Приложение •Экосистема
13. 13 Data Driven = Optimization
14. 14 Data Driven Company Monetization Marketing Management Analytic Design Testing Develop Business
15. 15 Monetization Ценность клиента на протяжении жизненного цикла Стоимость привлечения клиента Риск концентрации клиентов Количество новых пользователей Отток клиентов Виральность …
16. 16 Data Driven Company Monetization Marketing Management Analytic Design Testing Develop Business
17. 17 Management Ключевые показатели эффективности (KPI) Коэффициент надежности оценки трудозатрат Число случаев нарушения SLA Скорость работы …
18. 18 Data Driven Company Monetization Marketing Management Analytic Design Testing Develop Business
19. 19 Testing Покрытие требований Тестовое Покрытие Покрытие кода Коэффициент регрессии Количество дефектов Время жизни дефекта Плотность дефектов …
20. 20 Data Driven Company Monetization Marketing Management Analytic Design Testing Develop Business
21. 21 Develop ?
22. 22 Технологии: Language: Datasource: Visualization: Develop
23. 23 Metabase Технологии: Visualization: Develop
24. 24 Размер приложения Время запуска приложения Энергоэффективность CrashFree + OOM Время компиляции Время работы над задачей Время Code Review Конфликты Технический долг Безопасность Permission Apple Watch Apple Pay Причина запуска Accessibility … Причина завершения
25. 25 Продуктивность Приложение Экосистема Время компиляции Время работы над задачей Время Code Review Конфликты Безопасность Технический долг Размер приложения Время запуска приложения Энергоэффективность CrashFree + OOM Причина завершения Permission Причина запуска Apple Watch Apple Pay Accessibility
26. 26 ⏱ Время работы над задачей
27. 27 Время работы над задачей
28. 28 Количество задач 0 100 200 300 400 Дни недели Monday Tuesday Wednesday Thursday Friday IN TEST IN REVIEW QA PROGRESS IN PROGRESS OPEN RESOLVED OPEN IN PROGRESS IN REVIEW READY FOR TEST IN TEST RESOLVED Время работы над задачей
29. 29 Среднее время в часах 0 10 20 30 40 Дата 23 24 25 26 28 Разработка Code Review Ожидание QA Тестирование IN PROGRESS IN REVIEW READY FOR TEST Разработка IN REVIEW Code Review IN TEST READY FOR TEST Ожидание QA RESOLVED IN TEST Тестирование Время работы над задачей
30. 30 Среднее время в часах 0 10 20 30 40 Дата 23 24 25 26 28 Разработка Code Review Ожидание QA Тестирование Время работы над задачей Используй перцентиль!
31. 31 0 4 8 12 16 80%перцентиль Значения: 1; 2; 2; 4; 5; 16; 2; 5; 2; 16; 1; 4; Сортируем: Отбрасываем 20% наибольших: 1; 2; 2; 4; 5; Время работы над задачей
32. 32 95%% время в часах 0 10 20 30 40 Дата 23 24 25 26 28 Разработка Code Review Ожидание QA Тестирование Время работы над задачей Время Code Review
33. 33 Оптимизация: •Больше функциональных тестов •Поиск замедляющих факторов Время работы над задачей Время Code Review
34. 34 + Время компиляции Время компиляции
35. 35 Build Clean Incremental No Changes Changes Время компиляции
36. 36 time xcodebuild clean build Clean shell Время компиляции
37. 37 Incremental - No changes time xcodebuild build xcodebuild clean build shell Время компиляции
38. 38 Incremental - Changes touch time xcodebuild build xcodebuild clean build shell Время компиляции
39. 39 Clean Incremental No changes 1200 1000 800 600 400 200 0 Build time в секундах Время компиляции
40. 40 -debug-time-function-bodies Как оптимизиризовать clean build time? Время компиляции
41. 41 Disable whole module optimization: SWIFT_OPTIMIZATION_LEVEL = -Onone Enable compilation times logging: OTHER_SWIFT_FLAGS += -Onone Xfrontend -debug-time-function-bodies ruby + xcodeproj Время компиляции
42. 42 3823.01ms Pods/SwiftProtobuf/TimeUtils.swift:37:15 func gregorianDateFromSecondsSince1970 277.29ms Service/Categories/SomeValidationService.swift:61:18 private final func isRequired 272.32ms Assemblies/ServiceFactory/ServiceFactoryImpl.swift:103:5init() 252.48ms UnitTests/RequestTests.swift:8:10 @objc func testProfileRequest 223.99ms UnitTests/SearchParametersTests.swift:8:10 @objc func testSearchParameters 217.99ms Pods/SwiftProtobuf/Google_Protobuf_Timestamp+Extensions.swift:28:14 private func parseTimestamp Время компиляции
43. 43 Что делать с Incremental? Dynamic frameworks Меньше кода! (в основном таргете) Время компиляции
44. 44 App Main target Some framework 1 Some frame work 2 Some frame work 3 Время компиляции
45. 45 App Main target Some framework 1 Some framework 2 Some framework 3 Время компиляции
46. 46 For all targets first: write start timestamp last: write end timestamp ruby + xcodeproj Время компиляции
47. 47 Alamofire start: 1510929110.2161 Reachability start: 1510929110.3254 Unbox start: 1510929110.4009 Alamofire end: 1510929110.7597 Unbox end: 1510929110.9774 Reachability end: 1510929110.9925 … Время компиляции
48. 48 Alamofire 0.5436 Reachability 0.6671 Unbox 0.5765 … Время компиляции
49. 49 Время компиляции Alamofire Unbox Reachability …
50. 50 Конфликты
51. 51 Почему возникают конфликты? Часто изменяемые файлы Изменения в одном файле Конфликты
52. 52 OR git log/whatchanged Конфликты
53. 53 Конфликты
54. 54 Refactoring DI SRP + + Конфликты
55. 55 Network Communication Проверка Transport Layer Security (TLS) Проверка Certificate Pinning Data Storage and Privacy UserDefaults vs KeyChain secureTextEntry = true Cryptography md5 vs sha256 Anti Reverse Engineering Jailbreak check Authentication Session prune Session timeout Architecture Frameworks identify Platform Interaction WebViews JS disabled Code Quality and Build Settings Non-debuggable Log disabled Безопасность
56. 56 Code Quality and Build Settings Anti Reverse Engineering Data Storage and Privacy Cryptography Authentication Platform Interaction Architecture Network Communication Безопасность
57. 57 SwiftLint + Технический долг
58. 58 Размер приложения
59. 59 - SomeApp.app - SomeAppBinary - Fonts.bundle - AppIcon*.png - *.plist - *.nib - *.storyboardc - *.momd - *.bundle *** - PlugIns - *Extension.appex Binary - Frameworks - libswift*.dylib - *.framework - Binary - *.car = Resources Binary Размер приложения
60. 60 Export for all devices: xcodebuild -exportArchive Generate report: zipinfo | grep Resources zipinfo | grep .framework Generate diff shell Размер приложения
61. 61 App-iPad 2.ipa 0.02Mb 0.00Mb SomeFramework.framework/SomeFramework growth ----------------------------------------------------------------------------------------- App.ipa 0.00Mb 0.01Mb App growth 0.02Mb 0.01Mb SomeFramework.framework/SomeFramework growth ----------------------------------------------------------------------------------------- 892 files, 233498726 bytes uncompressed, 70231104 bytes compressed: 69.9% General report Binary diff Размер приложения
62. 62 120 100 80 60 40 20 0 App size in Megabytes Размер приложения
63. 63 App launch time be less than 20 seconds or the system will kill it WWDC 2016 Время запуска
64. 64 Cydia Время запуска
65. 65 run simulator xcrun simctl uninstall xcrun simctl install save timestamp xcrun simctl launch save timestamps in app xcrun simctl terminate parse log file kill simulator shell Время запуска
66. 66 TotalMedian Total PreMain AfterMain BeforeLaunching AfterLaunching 1.117 1.412 0.523 0.491 0.211 0.187 Время запуска
67. 67 1.4 1.2 1.0 0.8 0.6 0.4 0.2 0 Start up times in seconds TotalMedian AfterMain BeforeMain BeforeLaunching AfterLaunching Время запуска
68. 68 Время запуска
69. 69 1.Save time in main - gettimeofday 2.Save time in enter to didFinishLaunching 3.Save time in exit from didFinishLaunching 4.Calculate: startup time = time - process start time ( sysctl ) Время запуска
70. 70 2.2 2.0 1.8 1.7 1.6 1.5 10.24 10.27 10.30 11.02 11.05 11.07 11.10 11.13 11.16 11.17 Total Median / events count Main Median / events count Finish Launching Median / events count Время запуска
71. 71 Размер ресурсов
72. 72 1.7 K 1.5 K 1.2 K 1 K 750 500 250 Размер ресурсов
73. 73 Размер ресурсов 50 MB 150 MB 300 MB > 300MB NSFileManager attributesOfFileSystem
74. 74 CrashFree + OOM
75. 75 Background Eviction Crash Out of memory Force Quit Device Reboot Terminate Reason: Debug App Update OS Update Unknown #if DEBUG Fabric Compare versions Compare OS onTerminate Device uptime onBackground CrashFree + OOM Причина завершения receiveWarning
76. 76 CrashFree + OOM Причина завершения
77. 77 Энергоэффективность
78. 78 Background Or Foreground Энергоэффективность
79. 79 Charging ? Энергоэффективность
80. 80 energyEfficiency = battery level diff / foreground duration On Demo: ~ 24% (iPad mini 4) - 55% ( iPhone 4s ) в час Энергоэффективность
81. 81 2M 1M 0M 0 M 15К 30К 45К 10.24 10.27 10.30 11.02 11.05 11.07 11.10 11.13 1 0.75 0.5 Энергоэффективность
82. 82 QuickAction Notification OpenURL Common Причина запуска AppDelegate
83. 83 Not have Have Camera AVCaptureDevice.authorizationStatus Location CLLocationManager.authorizationStatus Photo Library PHPhotoLibrary.authorizationStatus Push Notification UIApplication.currentUserNotificationSettings Permission
84. 84 Larger Text UIApplication.preferredContentSizeCategory Bold Text UIAccessibilityIsBoldTextEnabled() Accessibility
85. 85 Darker System Colors UIAccessibilityDarkerSystemColorsEnabled() Grayscale UIAccessibilityIsGrayscaleEnabled() Invert Colors UIAccessibilityIsInvertColorsEnabled() Accessibility
86. 86 Voice Over UIAccessibilityIsVoiceOverRunning() Speak Screen UIAccessibilityIsSpeakScreenEnabled() Speak Selection UIAccessibilityIsSpeakSelectionEnabled() Accessibility
87. 87 Reduce Motion UIAccessibilityIsReduceMotionEnabled() Reduce Transparency UIAccessibilityIsReduceTransparencyEnabled() Shake To Undo UIAccessibilityIsShakeToUndoEnabled() Switch Control UIAccessibilityIsSwitchControlRunning() Accessibility
88. 88 Check supported WCSession.isSupported() Activate session.activate() Wait and check activationDidComplete: session.isPaired Apple Watch
89. 89 PKPayment…ViewController.canMakePayments * Apple Pay
90. 90 Model uname(&systemInfo); systemInfo.machine iOS version: UIDevice.systemVersion Locale Locale.current.identifier Disk capacity fileManager.attributesOfFileSystem
91. 91 isSimulator (arch(i386) || arch(x86_64)) && os(iOS) isJailbreak*
92. 92 Text Size Color Size Voice Over Apple Watch Apple Pay Rich Notification
93. 93 Rich Notification Apple Pay
94. 94 •Данные бывают обманчивы •Объяснить просто, понять сложно •Сделать проще, чем замерить •Отсутствие действий
95. 95 •Данные бывают ошибочны •Объяснить просто, понять сложно •Сделать проще, чем замерить •Отсутствие действий
96. 96 •Данные бывают ошибочны •Объяснить просто, понять сложно •Сделать проще, чем замерить •Отсутствие действий
97. 97 •Данные бывают ошибочны •Объяснить просто, понять сложно •Сделать проще, чем замерить •Отсутствие действий
98. 98 Итог До •Востребовано? Во время •Есть импакт? После •Результат достигнут? •Что улучшить?
99. 99 Итог До •Востребовано? Во время •Есть импакт? После •Результат достигнут? •Что улучшить?
100. 100 Итог До •Востребовано? Во время •Есть импакт? После •Результат достигнут? •Что улучшить?