Gradle build-scan на коленке

Разбираю, как мы упростили поиск ошибок в своих CI-сборках. Вы узнаете, как мы применяем продуктовый подход в решении проблем и немного о том, как работаем с Gradle.

Доклад будет полезен тимлидам в больших командах, разработчикам, которые настраивают CI/CD и разработчикам, которые решают любого рода проблемы.

Transcript

1. Боиштян Сергей, Авито Build scan на коленке Как упростить поиск ошибок в CI сборках
2. Eto ya https://twitter.com/sboishtyan Build, CI, Testing tools 2
3. Eto mi 3
4. Eto polzovateli 4
5. Для кого Тимлиды в больших командах Разработчики настраивающие CI/CD Разработчики решающие проблемы 5
6. Польза Сэкономите время на разборе ошибок в CI Узнаете, как мы применяем продуктовый подход Узнаете, как мы работаем с Gradle 6
7. План • Проблема • Поиск решений • Прототип • Версия 1.0 • Отдаем пользователям • Было/Стало 7
8. Проблема 8
9. Падение сборки Ищем причину • Открыть упавшую сборку • Найти причину падения • Посмотреть логи • Смотреть логи долго 9
10. Падение сборки Открываем 10
11. Падение сборки Открываем 11
12. Падение сборки Открываем 12
13. Падение сборки Открываем 13
14. Падение сборки Открываем 14
15. Падение сборки Открываем 15
16. Падение сборки Открываем 16
17. Поиск причины Итоги • Это долго • Это рутина 17
18. Рутина забирает время, которое можно тратить на фичи 18
19. Независимый профессионал А что если автоматизировать рутину? 19
20. Автоматизировал рутину 20
21. Злой тимлид Перед реализацией - подумай 21
22. Одной идеи мало Определяем приоритет по RICE • Reach • Impact • Confidence • Effort 22
23. Reach Охват пользователей • Кол-во пользователей/событий за период времени • Все пользователи - 1 • Некоторые - 0.05 23
24. Impact Влияние на конкретного человека • Как это улучшит опыт, конкретного пользователя • Сильно - 3 • Средне - 2 • Минимально - 1 24
25. Confidence Уверенность в своей оценке • Какие факты и данные подтверждают ваши оценки • Полностью уверены - 100% • Есть чуйка - 1% 25
26. Effort Усилия чтобы реализовать • Кол-во “человеко-месяцев” • Месяц - 30 • Неделя - 7 • День - 1 26
27. (Reach x Impact x Confidence) / Effort = RICE Score 27
28. Считаем RICE 28
29. Reach Охват пользователей • Падает ~ 31 сборка в день • В ~ 15 PR = 15 пользователей • Всего 30 разработчиков • Reach = 15/30 = 0.5 29
30. Impact Влияние на конкретного человека • Опросы • Интервью 30
31. Интервью “Спроси маму” 31
32. Интервью Советы • Не спрашивайте про будущее или прошлое • Узнайте, как решают проблему • В идеале, понаблюдайте со стороны за действиями 32
33. Impact Влияние на конкретного человека • Impact = Кардинально улучшим опыт = 3 33
34. Confidence Уверенность в своей оценке • Опросы • Интервью • Метрики • Обращения пользователей • Confidence = У нас есть данные = 90% 34
35. Effort Усилия чтобы реализовать • Представляете, что нужно написать • Effort = полностью новый продукт = ? 35
36. (Reach x Impact x Confidence) / Effort = RICE Score (0.5 x 1 x 90) / ? = ? 36
37. Проблема Приоритет Для определения приоритета нужен Effort Для Effort нужно понять - что делаем 37
38. Поиск решений 38
39. Любой тимлид “Сначала было слово brainstorm” 39
40. Варианты • Gradle build scan • Другие Gradle plugin • Teamcity Plugin • Написать с нуля 40
41. Gradle build scan 41
43. • Жмем по ссылке • Отправляем на почту • Заходим и ждем на почте Смотрим build scan 43
44. Gradle build scan • Много лишних действий: ссылка, почта • Ошибки разбросаны по разным вкладкам • На крупных проектах иногда не грузится • Дорогой: API в платной версии 44
45. Другие Gradle plugin Их нет 45
46. Teamcity Plugin • Нет опыта • Данные доступны только на этапе сборки • Не хотим парсить логи 46
47. Написать с нуля 47
48. Прототип 48
49. Прототип - проверить что мы “сможем” 49
50. Требования • Видим все ошибки • Ошибки в одном месте • Разработчики могут быстро прочесть и разобраться • Результат доступен в машинно-читаемом виде 50 Прототип • Видим все ошибки • Ошибки в одном месте • Разработчики могут быстро прочесть и разобраться • Результат доступен в машинно-читаемом виде
51. Какие бывают ошибки 51
52. Какие бывают ошибки • Ошибки компиляции • Ошибки генерации кода для Dagger • Упали тесты • Упали проверки линтера • Ошибки конфигурации 52
53. Пишем прототип • Нужен Android/Gradle проект • Подключаем наш Gradle plugin • Делаем в проекте ошибку • Запускаем Gradle task • Проверяем результат 53
54. Опять рутина 54
55. Для уменьшения рутины работы с Gradle plugin мы написали TestProjectGenerator 55
56. TestProjectGenerator Генерирует настоящие Gradle проекты в тестах 56
57. TestProjectGenerator Генерирует настоящие Gradle проекты в тестах 57
58. Пишем прототип С помощью TestProjectGenerator • Генерируем нужный проект • Запускаем в нем Gradle task • Проверяем результат 58
59. Пример Gradle теста Проверка ошибки компиляции 59 1. Генерируем проект
60. Пример Gradle теста Проверка ошибки компиляции 60 2. Запускаем Gradle task
61. Пример Gradle теста Проверка ошибки компиляции 61 3. Проверяем результат
62. Пример Gradle теста Проверка ошибки компиляции 62 3. Проверяем результат
63. Пишем прототип Итоги • Написали тесты • Проверили какие ошибки видим • Поняли, что сможем 63
64. (Reach x Impact x Confidence) / Effort = RICE Score (0.5 x 3 x 90) / 60 = 2.25 64
65. Версия 1.0 65
66. Версия 1.0 Требования 66 • Видим все ошибки • Ошибки в одном месте • Разработчики могут быстро прочесть и разобраться • Результат доступен в машинно-читаемом виде
67. Видим все ошибки Проблемы • Gradle task пишут ошибки в логи • Gradle task пишут ошибки в файлы 67
68. Разработчики могут быстро разобраться • Интервью • Dogfooding 68
69. Интервью Советы • Не спрашивайте про будущее или прошлое • Узнайте, как решают проблему • В идеале, понаблюдайте со стороны за действиями 69
70. Интервью Результаты • Обычного текста не хватает • Нужны цвета • Разные размеры текста • Кликабельные ссылки 70
71. Версия 1.0 Итоги • Сделали HTML страничку • Достали ошибки из логов и файлов 71
72. Отдаем пользователям 72
73. Отдаем пользователям Задача • Знают • Регулярно используют • Использовать удобно 73
74. Отдаем пользователям Проблемы • Разработчики приходят/уходят • Появление нового инструмента можно пропустить 74
75. Отдаем пользователям Решение • Интервью • Откуда узнают об упавших сборках • Как пользуются TeamCity 75
76. Отдаем пользователям Результаты интервью • Об упавших сборках узнают в Slack • TeamCity сложный • Не хочется заходить в него лишний раз 76
77. Отдаем пользователям Решение 77
78. Отдаем пользователям Итоги • Присылаем в Slack уведомление об упавшей сборке • Добавили в него все нужные ссылки 78
79. Было/Стало 79
80. Было • Открываешь TeamCity сборку • Открываешь Build log • Скролишь, ищешь ошибки 80
81. Было 81
82. Стало 82
83. Стало 83
84. Стало 84
85. Стало 85
86. Подключайтесь Build-verdict Gradle plugin 86