Experiments.Kotlin.DumpConf

Transcript

1. Автоматизация экспериментов с Kotlin DSL
2. 2 Кто я?
3. Мнение докладчика может не совпадать с официальной позицией его работодателя, начальника, коллег или других специалистов. 
 Все представленные в докладе сведения, примеры, выводы и другую информацию вы можете использовать на свой страх и риск. За все ваши действия ответственность несёте только вы сами. В докладе будет код! 3 Минздрав предупреждает
4. 0| Вместо предисловия
5. 5 Что мы (программисты) любим? Java
6. 6 Что есть на самом деле? ОколоJava Java
7. 1| Что такое эксперимент?
8. 8 71 млн Посещают нас в месяц 8000 Серверов Одноклассники в цифрах 11 тыс Выполненных экспериментов
9. 9 Очень простой пайплайн пишем код QA тесты, тесты, тесты Deployment накатываем Development
10. 10 Обложимся тестами! пишем код QA тесты, тесты, тесты Deployment накатываем Development
11. 11 Очень простая задача avatarSrc = images.get(id, JPEG)
12. 12 JPEG уже не торт avatarSrc = images.get(id, JPEG)
13. 13 WebP наше всё avatarSrc = images.get(id, WebP)
14. 14 Немного же изменений, да? avatarSrc = images.get(id, WebP) avatarSrc = images.get(id, JPEG) //git diff
15. 15 Поехали! Tests Deploy Commit -> Build
16. 16 Поехали! Deploy Tests Commit -> Build
17. 17 Здесь должны быть счастливые пользователи Deploy Tests Commit -> Build
18. • Аватарок в WebP нет • в браузере пользователей • в кэшах CDN-а • во внутренних кэшах 18 Нет, потому что
19. • Аватарок в WebP нет • в браузере пользователей • в кэшах CDN-а • во внутренних кэшах • Нужно потратить • трафик на скачивание • ресурсы CPU и памяти для нарезки 19 Нет, потому что
20. 20 Нельзя просто так взять и выкатить фичу
21. 21 Есть ли жизнь после деплоймента? Deploy ? Pre-Deploy разработка внедрение
22. 22 Место экспериментов в пайплайне Deploy Post-Deploy Pre-Deploy разработка внедрение эксперименты
23. • Затем, что есть риски • Технические риски • Продуктовые риски 23 Зачем нужны эксперименты?
24. • Затем, что есть риски • Технические риски • Продуктовые риски • Запуск новых фич происходит поэтапно • Наполнение кэшей • А/B/…/Z-тестирование 24 Зачем нужны эксперименты?
25. • Затем, что есть риски • Технические риски • Продуктовые риски • Запуск новых фич происходит поэтапно • Наполнение кэшей • А/B/…/Z-тестирование • Процесс запуска фичи называется экспериментом 25 Зачем нужны эксперименты?
26. 26 Эксперимент в деталях Code Branches if / switch
27. 27 Эксперимент в деталях Code Branches if / switch Config by partition
28. 28 Эксперимент в деталях Code Branches if / switch Config by partition by server
29. 29 Эксперимент в деталях Code Branches if / switch Config by partition by server by device
30. 30 Эксперимент в деталях Code Branches if / switch Config by partition Logs/ Monitoring observe by server by device
31. 31 Эксперимент в деталях Code Branches if / switch Config by partition Logs/ Monitoring observe by server alerts by device
32. 32 Убери за собой Code Branches if / switch Config by partition Logs/ Monitoring observe by server alerts by device
33. 33 Пример очень простого эксперимента if (avatarConf.shouldUseWebP(userId)) { return images.get(id, WebP); }
34. 34 Пример очень простого эксперимента if (avatarConf.shouldUseWebP(userId)) { return images.get(id, WebP); }
35. 35 Пример очень простого эксперимента if (avatarConf.shouldUseWebP(userId)) { return images.get(id, WebP); } else { return images.get(id, JPEG); }
36. 36 Включение фичи one partition //by partition app.avatar.shouldUseWebP: 0
37. 37 Включение фичи one partition //by partition app.avatar.shouldUseWebP: 0-63 several partitions
38. 38 Включение фичи one partition //by partition app.avatar.shouldUseWebP: 0-255 several partitions all partitions
39. 39 Казалось бы что здесь сложного? one partition //step#1 app.avatar.shouldUseWebP: 0 //step#2 app.avatar.shouldUseWebP: 0-63 //step#3 app.avatar.shouldUseWebP: 0-255 several partitions all partitions
40. 2| Проблемы с экспериментами
41. • Релизный цикл • Нужно вспоминать, где и какие настройки нужно включить/прописать 41 Проблемы
42. 42 > 50 действий только на проде :)
43. • Релизный цикл • Нужно вспоминать, где и какие настройки нужно включить/прописать • Хранение экспериментов • Разные нотации обозначения настроек • Отдельный тип задач в Jira 43 Проблемы
44. • Релизный цикл • Нужно вспоминать, где и какие настройки нужно включить/прописать • Хранение экспериментов • Разные нотации обозначения настроек • Отдельный тип задач в Jira • Запуск экспериментов • руками через UI • комментарий в Jira • сообщение в ТамТам 44 Проблемы
45. 45 Схема запуска эксперимента посмотреть что там в jira
46. 46 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS
47. 47 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS написать в чатик
48. 48 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS написать в чатик написать комментарий
49. 49 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS написать в чатик написать комментарий внести изменения
50. 50 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS написать в чатик написать комментарий внести изменения посмотреть графики
51. 51 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS написать в чатик написать комментарий внести изменения посмотреть графики
52. 52 И так не один раз
53. 53 Разные среды - похожие действия t dev test prod
54. 54 Разные среды - похожие действия t dev test prod
55. 55 Разные среды - похожие действия t dev test prod
56. • Консистентность настроек между средами 56 Проблемы #2
57. • Консистентность настроек между средами • Непонятно в какой стадии эксперимент • Забыли написать комментарий? 57 Проблемы #2
58. • Консистентность настроек между средами • Непонятно в какой стадии эксперимент • Забыли написать комментарий? • Тяжело возвращаться после некоторого времени • Это как возвращаться к давно написанному коду 58 Проблемы #2
59. 3| Концепт решения
60. • Описание эксперимента в виде некоторого DSL • Храним в git-е как код 60 Чего бы хотелось?
61. • Описание эксперимента в виде некоторого DSL • Храним в git-е как код • Автоматизированный накат/откат настроек • Запускаем через CLI • Используем API системы хранения конфигурации 61 Чего бы хотелось?
62. • Описание эксперимента в виде некоторого DSL • Храним в git-е как код • Автоматизированный накат/откат настроек • Запускаем через CLI • Используем API системы хранения конфигурации • Автоматизация сопутствующих действий • Постим комментарии в Jira, TamTam 62 Чего бы хотелось?
63. 63 Схемка с автоматизацией эксперимента запустить скрипт
64. 64 Схемка с автоматизацией эксперимента запустить скрипт посмотреть графики
65. 65 Схемка с автоматизацией эксперимента запустить скрипт проверка в PMS посмотреть графики комментарии в чат и jira изменения в PMS
66. Демо вперёд
67. Теперь узнаем как это работает :)
68. 4| Первый блин комом
69. • Быстро делать прототипы по автоматизации 69 Ansible - почти идеальный кандидат
70. • Быстро делать прототипы по автоматизации • Три универсальных модуля • sh • uri • template 70 Ansible - почти идеальный кандидат
71. • Быстро делать прототипы по автоматизации • Три универсальных модуля • sh • uri • template • Готовый DSL, механизмы запуска, ограничений и т.д. 71 Ansible - почти идеальный кандидат
72. 72 Описание эксперимента --- - include: step1.yml tags: - step1 - include: step2.yml tags: - step2 … - include: stepN.yml tags: - stepN
73. 73 Описание эксперимента --- - include: step1.yml tags: - step1 - include: step2.yml tags: - step2 … - include: stepN.yml tags: - stepN //step#1 app.avatar.shouldUseWebP: 0 //step#2 app.avatar.shouldUseWebP: 0-63 //step#3 app.avatar.shouldUseWebP: 0-255
74. 74 Каждый шаг имеет своё описание --- - hosts: local gather_facts: no tasks: - name: Init include_role: name: pms vars: step_definition: "проинициализирую настройки" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "" anotherProperty: name: "app.avatar.anotherProperty" value: "" with_items: - "{{ host_common }}" loop_control: loop_var: host_name --- - include: step1.yml tags: - step1 - include: step2.yml tags: - step2 … - include: stepN.yml tags: - stepN
75. 75 Запуск эксперимента одной строкой ansible-playbook -i dev-inv —extra-vars="..." exp.yml --tags step0
76. • Есть описание в виде DSL • Храним в git-е как код 76 Итоги #1
77. • Есть описание в виде DSL • Храним в git-е как код • Можем запустить из командной строки 77 Итоги #1
78. • Есть описание в виде DSL • Храним в git-е как код • Можем запустить из командной строки • Убрали рутинные действия 78 Итоги #1
79. 79 Расходимся пацаны
80. А где же Kotlin чувак?
81. 81 Проблема копипаста. Step#1 --- - hosts: local gather_facts: no tasks: - name: Init include_role: name: pms vars: step_definition: "проинициализирую настройки" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "" anotherProperty: name: "app.avatar.anotherProperty" value: "" with_items: - "{{ host_common }}" loop_control: loop_var: host_name
82. 82 Проблема копипаста. Step#2 --- - hosts: local gather_facts: no tasks: - name: Init include_role: name: pms vars: step_definition: "на одну партицию" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "63" anotherProperty: name: "app.avatar.anotherProperty" value: "63" with_items: - "{{ host_common }}" loop_control: loop_var: host_name
83. 83 Проблема копипаста. Step#N --- - hosts: local gather_facts: no tasks: - name: Init include_role: name: pms vars: step_definition: "на всех" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "0-255" anotherProperty: name: "app.avatar.anotherProperty" value: "0-255" with_items: - "{{ host_common }}" loop_control: loop_var: host_name
84. 84 Too much code
85. • Нужно писать модули • рекомендуется на питоне • я не знаю питон :) 85 Проблемы прототипа
86. • Нужно писать модули • рекомендуется на питоне • я не знаю питон :) • Обобщённый DSL это хорошо для решения общих задач • частное решение позволяет писать компактнее и выразительнее 86 Проблемы прототипа
87. • Нужно писать модули • рекомендуется на питоне • я не знаю питон :) • Обобщённый DSL это хорошо для решения общих задач • частное решение позволяет писать компактнее и выразительнее • Не Java • просто так не воспользоваться готовыми библиотеками • мы любим Java! 87 Проблемы прототипа
88. 5| Начнем сначала
89. Модель всему голова
90. 90 DSL Design. Список шагов эксперимента steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }
91. 91 Инициализация/Отключка/Откат в исходное состояние steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }
92. 92 Открываем на бота steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }
93. 93 Открытие по партициям steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }
94. 94 Ура! Теперь для всех steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }
95. 95 DSL Design. А что будем менять то? steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }
96. 96 Настройки. Отделяем мух от котлет experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
97. 97 Step#1 experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
98. 98 Step#N experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
99. 99 Step#N experiment { steps { ... partition("quarter") { part("0-63") } ... } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } app.avatar.shouldUseWebP: 0-63 app.avatar.anotherProperty: 0-63
100. 100 Компактно и понятно experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
101. Осталось реализовать :)
102. • Java - знаем, любим, но вербозно • кто-то пишет скриптинг на Java? 102 Что же выбрать для реализации?
103. • Java - знаем, любим, но вербозно • кто-то пишет скриптинг на Java? • JVM - очень здорово • интероп с уже написанными библиотеками • знакомая платформа 103 Что же выбрать для реализации?
104. • Groovy, JRuby, Javascript, … • синтаксический сахар • JSR223 104 А что вообще есть то?
105. • Groovy, JRuby, Javascript, … • синтаксический сахар • JSR223 • Но мы хотим: • в идеале писать скрипты и их обработку на одном языке • иметь статическую типизацию, • проверки на этапе компиляции • близкую к идеальной поддержку в IDE 105 А что вообще есть то?
106. • Kotlin потому что: • синтаксический сахар • JSR223 • компиляция • статическая типизация • хороший code completion • хотелось попробовать новое и интересное ;) 106 Почему Kotlin?
107. 6| Кишки DSL
108. 108 Как реализовать такой DSL? experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
109. 109 Древовидная структура experiment steps properties
110. 110 Древовидная структура. Код @DslMarker annotation class ElementMarker @ElementMarker abstract class Element { val children = arrayListOf<Element>() fun <T : Element> make(element: T, init: T.() -> Unit): T { element.init() children.add(element) return element } }
111. 111 Init function experiment { steps { // init function is called here partition("half"){ // init function is called here } } ... }
112. 112 Init function @DslMarker annotation class ElementMarker @ElementMarker abstract class Element { val children = arrayListOf<Element>() fun <T : Element> make(element: T, init: T.() -> Unit): T { element.init() children.add(element) return element } }
113. 113 Дерево собирается наоборот experiment steps properties
114. 114 Упрощаем восприятие experiment { steps { // call init here partition("half"){ } } ... } fun partition(name: String, init: PartitionStep.() -> Unit) = make(PartitionStep(name), init)
115. 115 А давайте… experiment { steps { steps { } } ... }
116. • @DSLMarker 116 Как обеспечить безопасность?
117. • @DSLMarker • Валидация скоупа внутри DSL • вложенность элементов 117 Как обеспечить безопасность?
118. 118 @DSLMarker @DslMarker annotation class ElementMarker @ElementMarker abstract class Element { val children = arrayListOf<Element>() fun <T : Element> make(element: T, init: T.() -> Unit): T { element.init() children.add(element) return element } }
119. 119 С @DSLMarker experiment { steps { steps { } } ... } Шаги не могут быть вложенными
120. Оптимизация DSL
121. 121 80% укладывается в схему experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
122. 122 Too much code
123. 123 Засахарим немного experiment { steps { openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
124. 124 Но дадим немного свободы experiment { steps { openByPartitionSteps(withBot = false, withEmployees = false) } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
125. 125 Extension Function - это очень удобно fun Steps.openByPartitionSteps(withBot: Boolean = true, withEmployees: Boolean = true) { empty("off") {} if (withBot) { user("bot") { bot(prop("botId")) } } if (withEmployees) { user("employees") { bot(betaUsers().joinToString(",")) } } partition("partition") { part("64") } partition("quarter") { part("64-127") } partition("half") { part("0-127") } partition("on") { part("0-255") } }
126. 126 Copy-Paste fun Steps.openByPartitionSteps(withBot: Boolean = true, withEmployees: Boolean = true) { empty("off") {} if (withBot) { user("bot") { bot(prop("botId")) } } if (withEmployees) { user("employees") { bot(betaUsers().joinToString(",")) } } partition("partition") { part("64") } partition("quarter") { part("64-127") } partition("half") { part("0-127") } partition("on") { part("0-255") } }
127. 127 Ещё сколько-то там процентов experiment { steps { openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } }
128. 128 Too much code
129. 129 И ещё посахарим experiment { steps { openByPartitionSteps() } web { "app.avatar.shouldUseWebP" } }
130. 130 Краткость - сестра таланта experiment { steps { openByPartitionSteps() } web { "app.avatar.shouldUseWebP" } }
131. 131 Жизнь тяжелее чем кажется
132. 132 Больше "измерений" для мобильной версии experiment { steps { openByPartitionSteps() } properties(consts.appMob, consts.commonMobHost) { deviceFeature("app.avatar.shouldUseWebP") { appsOnly = false iphone = "x.x.x" android = "x.x.x" deviceOS = mapOf("iOS" to "x.x.x") } } }
133. 133 Аналогично для API и приложений experiment { steps { openByPartitionSteps() } properties(consts.appApi, consts.commonApiHost) { appaware("app.aware.avatar.shouldUseWebP") { default = true iphone = "x.x.x" android = "x.x.x" } } }
134. 134 Кастомные свойства experiment { steps { custom("setup", "сделаю преднастройку эксперимента") { properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.useWebP.quality", “100") } } openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
135. 135 Кастомные свойства experiment { steps { custom("setup", "сделаю преднастройку эксперимента") { properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.useWebP.quality", "100") } } openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
136. 136 Это всё-таки язык программирования custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }
137. 137 Шаг custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }
138. 138 Набор изменяемых настроек custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }
139. 139 Вычисляемая настройка custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }
140. 140 Обрабатываем построчно custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }
141. 141 Ну теперь всем по 42 custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }
142. Kotlin Script
143. • Файл с расширением .kts 143 Kotlin Script
144. • Файл с расширением .kts • Имплицитные аргументы • args[0] • println(“hello!”) 144 Kotlin Script
145. • Файл с расширением .kts • Имплицитные аргументы • args[0] • println(“hello!”) • Запускается через command line • kotlinc -script <script_name> -classpath <> • Запускается с помощью IDE 145 Kotlin Script
146. 146 Kotlin Script. Ожидание import runner.* runner.run { experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } }
147. • Нужно как-то подключить классы проекта 147 Kotlin Script. CMD kotlinc -script <script_name> -classpath <>
148. • Нужно как-то подключить классы проекта • Нужно как-то подключить все зависимости проекта 148 Kotlin Script. CMD kotlinc -script <script_name> -classpath <>
149. • Нужно как-то подключить классы проекта • Нужно как-то подключить все зависимости проекта • Gradle не умеет (по крайней мере из коробки) • IDEA не умеет* 149 Kotlin Script. CMD kotlinc -script <script_name> -classpath <>
150. 150 Kotlin Script. IDEA
151. 151 Kotlin Script. IDEA java -Dfile.encoding=UTF-8 \ -classpath "kotlin-compiler.jar:kotlin-reflect.jar: kotlin-stdlib.jar:kotlin-script-runtime.jar" org.jetbrains.kotlin.cli.jvm.K2JVMCompiler -script ~/experiments/src/main/kotlin/one/exps/scripts/XPRM-10222.kts XPRM-10222.kts:1:8: error: unresolved reference: one import one.exps.*
152. 152 Kotlin Script. IDEA java -Dfile.encoding=UTF-8 \ -classpath "kotlin-compiler.jar:kotlin-reflect.jar: kotlin-stdlib.jar:kotlin-script-runtime.jar" org.jetbrains.kotlin.cli.jvm.K2JVMCompiler -script ~/experiments/src/main/kotlin/one/exps/scripts/XPRM-10222.kts XPRM-10222.kts:1:8: error: unresolved reference: one import one.exps.*
153. 153 https://github.com/andrewoma/kotlin-script #!/bin/sh exec kotlins -cp `mvncp <lib>` !# import runner.* runner.run { experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } }
154. 154 https://github.com/andrewoma/kotlin-scripting-kickstarter #!/usr/bin/env kotlin-script.sh import runner.* fun main(args: Array<String>) { runner.run { experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } } }
155. 155 https://github.com/holgerbrandl/kscript #!/usr/bin/env kscript //DEPS one:experiments:1.0.0 import runner.* runner.run { experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } }
156. • Необходимо писать обвязки 156 Проблемы Kotlin Script
157. • Необходимо писать обвязки • Нельзя запустить из IDE (ну кроме как console) 157 Проблемы Kotlin Script
158. • Необходимо писать обвязки • Нельзя запустить из IDE (ну кроме как console) • Непонятно как подебажить скрипт, если очень нужно 158 Проблемы Kotlin Script
159. • Необходимо писать обвязки • Нельзя запустить из IDE (ну кроме как console) • Непонятно как подебажить скрипт, если очень нужно • Сложно переиспользовать описание эксперимента • для обновления описания задачи в Jira 159 Проблемы Kotlin Script
160. 160 https://github.com/aatarasoff/kotlin-script-starter //JSR223 //ConsoleExecutor.kt fun main(args : Array<String>) { ScriptEngineManager().getEngineByExtension("kts")!! .eval(getResource("${args[0]}.kts").readText()) } //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler-embeddable:$kotlin_version" compile "org.jetbrains.kotlin:kotlin-script-util:$kotlin_version" //META-INF/services/javax.script.ScriptEngineFactory org.jetbrains.kotlin.script.jsr223.KotlinJsr223JvmLocalScriptEngineFactory
161. 161 https://github.com/aatarasoff/kotlin-script-starter //JSR223 //ConsoleExecutor.kt fun main(args : Array<String>) { ScriptEngineManager().getEngineByExtension("kts")!! .eval(getResource("${args[0]}.kts").readText()) } //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler-embeddable:$kotlin_version" compile "org.jetbrains.kotlin:kotlin-script-util:$kotlin_version" //META-INF/services/javax.script.ScriptEngineFactory org.jetbrains.kotlin.script.jsr223.KotlinJsr223JvmLocalScriptEngineFactory
162. 162 https://github.com/aatarasoff/kotlin-script-starter //JSR223 //ConsoleExecutor.kt fun main(args : Array<String>) { ScriptEngineManager().getEngineByExtension("kts")!! .eval(getResource("${args[0]}.kts").readText()) } //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler-embeddable:$kotlin_version" compile "org.jetbrains.kotlin:kotlin-script-util:$kotlin_version" //META-INF/services/javax.script.ScriptEngineFactory org.jetbrains.kotlin.script.jsr223.KotlinJsr223JvmLocalScriptEngineFactory
163. 163 Хитрый процессинг скриптов в ресурсы //build.gradle processResources { from 'src/main/kotlin/one/exps/scripts' }
164. Launch it
165. 165 IDEA
166. 166 CMD + Gradle ./gradlew run -Dexec.args="run XPRM-9756 -e dev -s all"
167. 167 И с помощью обертки ./exp.sh run XPRM-9756 -e dev -s all
168. 168 Консольный лог
169. 169 Отчётность
170. 170 Обновление описания эксперимента в Jira update XPRM-9756 -e prod
171. 171 Jira
172. 172 Генерация PlantUML graph XPRM-9756 -e prod
173. 173 PlantUML
174. 7| Разделяй и властвуй
175. 175 Разделение ответственностей user model experiment { steps { openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }
176. 176 Переход одной модели в другую user model execution model Трансформация
177. 177 “Плоская” модель исполнения execution model execution { steps { init { description='на никого' property { "applicationName": "odnoklassniki-web", "hostName": "host-odnoklassniki-web", "propertyName": "app.avatar.shouldUseWebP", "propertyValue": "" } property { ... } } ... all { ... } } definition='возможность отмечать друзей в настроении' }
178. 178 Модель исполнения. Один шаг init { description='на никого' property { "applicationName": "odnoklassniki-web", "hostName": "host-odnoklassniki-web", "propertyName": "app.avatar.shouldUseWebP", "propertyValue": "" } property { "applicationName": "odnoklassniki-web", "hostName": "host-odnoklassniki-web", "propertyName": "app.avatar.anotherProperty", "propertyValue": "" } }
179. 179 Транзитивный переход user model execution model validation model
180. 180 Переход модели в ещё одну модель execution model validation model Трансформация
181. 181 Модель пользователя. Шаг 4 execution model 1 2 3 4
182. 182 Модель валидации. Мердж предыдущих шагов validation model 1 2 3 C
183. 183 Сверка реального и ожидаемого состояния 1 2 3 S validation model app.avatar.shouldUseWebP: 0-63 app.avatar.anotherProperty: 0-63 expected state S
184. 184 Кто-то вмешался в наш эксперимент! app.avatar.shouldUseWebP: 0-63 app.avatar.anotherProperty: 0-63 expected state S app.avatar.shouldUseWebP: 0-127 app.avatar.anotherProperty: 0-63 real state S
185. 185 Не прошли верификацию. Увы :(
186. 186 Принудительное исполнение ./exp.sh run XPRM-9756 -e dev -s all --force
187. 187 Сделаем красиво в Jira execution model description model
188. 188 Только финальные значения app.avatar.shouldUseWebP: 0-255 app.avatar.anotherProperty: 0-255 final state S
189. 189 Только финальные значения app.avatar.shouldUseWebP: 0-255 app.avatar.anotherProperty: 0-255 final state S *odnoklassniki-web@host-odnoklassniki-web* {Code} > app.avatar.shouldUseWebP: 0-255 > app.avatar.anotherProperty: 0-255 {Code}
190. 190 Основная модель - дополнительные модели • Модель исполнения
191. 191 Основная модель - дополнительные модели • Модель исполнения • Модель валидации
192. 192 Основная модель - дополнительные модели • Модель исполнения • Модель валидации • Модель планирования • создание задач в Jira • визуализация плана
193. 193 Основная модель - дополнительные модели • Модель исполнения • Модель валидации • Модель планирования • создание задач в Jira • визуализация плана • ??? • любые хотелки
194. >| Выводы
195. • Experiments as Code 195 Итоги
196. • Experiments as Code • Удобный и компактный DSL • потому что знаем предметную область • компиляция, code completion 196 Итоги
197. • Experiments as Code • Удобный и компактный DSL • потому что знаем предметную область • компиляция, code completion • Автоматизированный запуск • проверка корректности • уменьшение количества рутинных действий 197 Итоги
198. • Experiments as Code • Удобный и компактный DSL • потому что знаем предметную область • компиляция, code completion • Автоматизированный запуск • проверка корректности • уменьшение количества рутинных действий • Удовольствие от программирования ;) 198 Итоги
199. • Нужно уметь программировать • или хотя бы понимать инструментарий и основные принципы 199 Trade-Offs
200. • Нужно уметь программировать • или хотя бы понимать инструментарий и основные принципы • Нужно поддерживать всё самим • постоянные доработки • баги 200 Trade-Offs
201. • Нужно уметь программировать • или хотя бы понимать инструментарий и основные принципы • Нужно поддерживать всё самим • постоянные доработки • баги • Парадокс синтаксического сахара • баланс между компактностью и сложностью освоения 201 Trade-Offs
202. • Нужно уметь программировать • или хотя бы понимать инструментарий и основные принципы • Нужно поддерживать всё самим • постоянные доработки • баги • Парадокс синтаксического сахара • баланс между компактностью и сложностью освоения • Инструменты не идеальны • а так хотелось 202 Trade-Offs
203. 203 Мы ещё в начале пути ;) t MVP CLI Jira, TamTam Auto Launch Jira custom fields and charts Auto Feedback Charts Smart monitoring
204. Links
205. 205 Стартер для скриптов на Kotlin-е https://github.com/aatarasoff/kotlin-script-starter
206. 206 Напочитать http://developerblog.info/2017/10/02/kotlin-dsl-i-vsie-vsie-vsie http://developerblog.info/2017/10/26/kotlin-dsl-i-nosuchmethod http://developerblog.info/2017/10/24/nieochievidnyie-zamietki-1
207. 207 Q&A