Slide 1

Slide 1 text

Автоматизация экспериментов с Kotlin DSL

Slide 2

Slide 2 text

2 Кто я?

Slide 3

Slide 3 text

Мнение докладчика может не совпадать с официальной позицией его работодателя, начальника, коллег или других специалистов. 
 Все представленные в докладе сведения, примеры, выводы и другую информацию вы можете использовать на свой страх и риск. За все ваши действия ответственность несёте только вы сами. В докладе будет код! 3 Минздрав предупреждает

Slide 4

Slide 4 text

0| Вместо предисловия

Slide 5

Slide 5 text

5 Что мы (программисты) любим? Java

Slide 6

Slide 6 text

6 Что есть на самом деле? ОколоJava Java

Slide 7

Slide 7 text

1| Что такое эксперимент?

Slide 8

Slide 8 text

8 71 млн Посещают нас в месяц 8000 Серверов Одноклассники в цифрах 11 тыс Выполненных экспериментов

Slide 9

Slide 9 text

9 Очень простой пайплайн пишем код QA тесты, тесты, тесты Deployment накатываем Development

Slide 10

Slide 10 text

10 Обложимся тестами! пишем код QA тесты, тесты, тесты Deployment накатываем Development

Slide 11

Slide 11 text

11 Очень простая задача avatarSrc = images.get(id, JPEG)

Slide 12

Slide 12 text

12 JPEG уже не торт avatarSrc = images.get(id, JPEG)

Slide 13

Slide 13 text

13 WebP наше всё avatarSrc = images.get(id, WebP)

Slide 14

Slide 14 text

14 Немного же изменений, да? avatarSrc = images.get(id, WebP) avatarSrc = images.get(id, JPEG) //git diff

Slide 15

Slide 15 text

15 Поехали! Tests Deploy Commit -> Build

Slide 16

Slide 16 text

16 Поехали! Deploy Tests Commit -> Build

Slide 17

Slide 17 text

17 Здесь должны быть счастливые пользователи Deploy Tests Commit -> Build

Slide 18

Slide 18 text

• Аватарок в WebP нет • в браузере пользователей • в кэшах CDN-а • во внутренних кэшах 18 Нет, потому что

Slide 19

Slide 19 text

• Аватарок в WebP нет • в браузере пользователей • в кэшах CDN-а • во внутренних кэшах • Нужно потратить • трафик на скачивание • ресурсы CPU и памяти для нарезки 19 Нет, потому что

Slide 20

Slide 20 text

20 Нельзя просто так взять и выкатить фичу

Slide 21

Slide 21 text

21 Есть ли жизнь после деплоймента? Deploy ? Pre-Deploy разработка внедрение

Slide 22

Slide 22 text

22 Место экспериментов в пайплайне Deploy Post-Deploy Pre-Deploy разработка внедрение эксперименты

Slide 23

Slide 23 text

• Затем, что есть риски • Технические риски • Продуктовые риски 23 Зачем нужны эксперименты?

Slide 24

Slide 24 text

• Затем, что есть риски • Технические риски • Продуктовые риски • Запуск новых фич происходит поэтапно • Наполнение кэшей • А/B/…/Z-тестирование 24 Зачем нужны эксперименты?

Slide 25

Slide 25 text

• Затем, что есть риски • Технические риски • Продуктовые риски • Запуск новых фич происходит поэтапно • Наполнение кэшей • А/B/…/Z-тестирование • Процесс запуска фичи называется экспериментом 25 Зачем нужны эксперименты?

Slide 26

Slide 26 text

26 Эксперимент в деталях Code Branches if / switch

Slide 27

Slide 27 text

27 Эксперимент в деталях Code Branches if / switch Config by partition

Slide 28

Slide 28 text

28 Эксперимент в деталях Code Branches if / switch Config by partition by server

Slide 29

Slide 29 text

29 Эксперимент в деталях Code Branches if / switch Config by partition by server by device

Slide 30

Slide 30 text

30 Эксперимент в деталях Code Branches if / switch Config by partition Logs/ Monitoring observe by server by device

Slide 31

Slide 31 text

31 Эксперимент в деталях Code Branches if / switch Config by partition Logs/ Monitoring observe by server alerts by device

Slide 32

Slide 32 text

32 Убери за собой Code Branches if / switch Config by partition Logs/ Monitoring observe by server alerts by device

Slide 33

Slide 33 text

33 Пример очень простого эксперимента if (avatarConf.shouldUseWebP(userId)) { return images.get(id, WebP); }

Slide 34

Slide 34 text

34 Пример очень простого эксперимента if (avatarConf.shouldUseWebP(userId)) { return images.get(id, WebP); }

Slide 35

Slide 35 text

35 Пример очень простого эксперимента if (avatarConf.shouldUseWebP(userId)) { return images.get(id, WebP); } else { return images.get(id, JPEG); }

Slide 36

Slide 36 text

36 Включение фичи one partition //by partition app.avatar.shouldUseWebP: 0

Slide 37

Slide 37 text

37 Включение фичи one partition //by partition app.avatar.shouldUseWebP: 0-63 several partitions

Slide 38

Slide 38 text

38 Включение фичи one partition //by partition app.avatar.shouldUseWebP: 0-255 several partitions all partitions

Slide 39

Slide 39 text

39 Казалось бы что здесь сложного? one partition //step#1 app.avatar.shouldUseWebP: 0 //step#2 app.avatar.shouldUseWebP: 0-63 //step#3 app.avatar.shouldUseWebP: 0-255 several partitions all partitions

Slide 40

Slide 40 text

2| Проблемы с экспериментами

Slide 41

Slide 41 text

• Релизный цикл • Нужно вспоминать, где и какие настройки нужно включить/прописать 41 Проблемы

Slide 42

Slide 42 text

42 > 50 действий только на проде :)

Slide 43

Slide 43 text

• Релизный цикл • Нужно вспоминать, где и какие настройки нужно включить/прописать • Хранение экспериментов • Разные нотации обозначения настроек • Отдельный тип задач в Jira 43 Проблемы

Slide 44

Slide 44 text

• Релизный цикл • Нужно вспоминать, где и какие настройки нужно включить/прописать • Хранение экспериментов • Разные нотации обозначения настроек • Отдельный тип задач в Jira • Запуск экспериментов • руками через UI • комментарий в Jira • сообщение в ТамТам 44 Проблемы

Slide 45

Slide 45 text

45 Схема запуска эксперимента посмотреть что там в jira

Slide 46

Slide 46 text

46 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS

Slide 47

Slide 47 text

47 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS написать в чатик

Slide 48

Slide 48 text

48 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS написать в чатик написать комментарий

Slide 49

Slide 49 text

49 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS написать в чатик написать комментарий внести изменения

Slide 50

Slide 50 text

50 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS написать в чатик написать комментарий внести изменения посмотреть графики

Slide 51

Slide 51 text

51 Схема запуска эксперимента посмотреть что там в jira посмотреть, а что в PMS написать в чатик написать комментарий внести изменения посмотреть графики

Slide 52

Slide 52 text

52 И так не один раз

Slide 53

Slide 53 text

53 Разные среды - похожие действия t dev test prod

Slide 54

Slide 54 text

54 Разные среды - похожие действия t dev test prod

Slide 55

Slide 55 text

55 Разные среды - похожие действия t dev test prod

Slide 56

Slide 56 text

• Консистентность настроек между средами 56 Проблемы #2

Slide 57

Slide 57 text

• Консистентность настроек между средами • Непонятно в какой стадии эксперимент • Забыли написать комментарий? 57 Проблемы #2

Slide 58

Slide 58 text

• Консистентность настроек между средами • Непонятно в какой стадии эксперимент • Забыли написать комментарий? • Тяжело возвращаться после некоторого времени • Это как возвращаться к давно написанному коду 58 Проблемы #2

Slide 59

Slide 59 text

3| Концепт решения

Slide 60

Slide 60 text

• Описание эксперимента в виде некоторого DSL • Храним в git-е как код 60 Чего бы хотелось?

Slide 61

Slide 61 text

• Описание эксперимента в виде некоторого DSL • Храним в git-е как код • Автоматизированный накат/откат настроек • Запускаем через CLI • Используем API системы хранения конфигурации 61 Чего бы хотелось?

Slide 62

Slide 62 text

• Описание эксперимента в виде некоторого DSL • Храним в git-е как код • Автоматизированный накат/откат настроек • Запускаем через CLI • Используем API системы хранения конфигурации • Автоматизация сопутствующих действий • Постим комментарии в Jira, TamTam 62 Чего бы хотелось?

Slide 63

Slide 63 text

63 Схемка с автоматизацией эксперимента запустить скрипт

Slide 64

Slide 64 text

64 Схемка с автоматизацией эксперимента запустить скрипт посмотреть графики

Slide 65

Slide 65 text

65 Схемка с автоматизацией эксперимента запустить скрипт проверка в PMS посмотреть графики комментарии в чат и jira изменения в PMS

Slide 66

Slide 66 text

Демо вперёд

Slide 67

Slide 67 text

Теперь узнаем как это работает :)

Slide 68

Slide 68 text

4| Первый блин комом

Slide 69

Slide 69 text

• Быстро делать прототипы по автоматизации 69 Ansible - почти идеальный кандидат

Slide 70

Slide 70 text

• Быстро делать прототипы по автоматизации • Три универсальных модуля • sh • uri • template 70 Ansible - почти идеальный кандидат

Slide 71

Slide 71 text

• Быстро делать прототипы по автоматизации • Три универсальных модуля • sh • uri • template • Готовый DSL, механизмы запуска, ограничений и т.д. 71 Ansible - почти идеальный кандидат

Slide 72

Slide 72 text

72 Описание эксперимента --- - include: step1.yml tags: - step1 - include: step2.yml tags: - step2 … - include: stepN.yml tags: - stepN

Slide 73

Slide 73 text

73 Описание эксперимента --- - include: step1.yml tags: - step1 - include: step2.yml tags: - step2 … - include: stepN.yml tags: - stepN //step#1 app.avatar.shouldUseWebP: 0 //step#2 app.avatar.shouldUseWebP: 0-63 //step#3 app.avatar.shouldUseWebP: 0-255

Slide 74

Slide 74 text

74 Каждый шаг имеет своё описание --- - hosts: local gather_facts: no tasks: - name: Init include_role: name: pms vars: step_definition: "проинициализирую настройки" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "" anotherProperty: name: "app.avatar.anotherProperty" value: "" with_items: - "{{ host_common }}" loop_control: loop_var: host_name --- - include: step1.yml tags: - step1 - include: step2.yml tags: - step2 … - include: stepN.yml tags: - stepN

Slide 75

Slide 75 text

75 Запуск эксперимента одной строкой ansible-playbook -i dev-inv —extra-vars="..." exp.yml --tags step0

Slide 76

Slide 76 text

• Есть описание в виде DSL • Храним в git-е как код 76 Итоги #1

Slide 77

Slide 77 text

• Есть описание в виде DSL • Храним в git-е как код • Можем запустить из командной строки 77 Итоги #1

Slide 78

Slide 78 text

• Есть описание в виде DSL • Храним в git-е как код • Можем запустить из командной строки • Убрали рутинные действия 78 Итоги #1

Slide 79

Slide 79 text

79 Расходимся пацаны

Slide 80

Slide 80 text

А где же Kotlin чувак?

Slide 81

Slide 81 text

81 Проблема копипаста. Step#1 --- - hosts: local gather_facts: no tasks: - name: Init include_role: name: pms vars: step_definition: "проинициализирую настройки" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "" anotherProperty: name: "app.avatar.anotherProperty" value: "" with_items: - "{{ host_common }}" loop_control: loop_var: host_name

Slide 82

Slide 82 text

82 Проблема копипаста. Step#2 --- - hosts: local gather_facts: no tasks: - name: Init include_role: name: pms vars: step_definition: "на одну партицию" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "63" anotherProperty: name: "app.avatar.anotherProperty" value: "63" with_items: - "{{ host_common }}" loop_control: loop_var: host_name

Slide 83

Slide 83 text

83 Проблема копипаста. Step#N --- - hosts: local gather_facts: no tasks: - name: Init include_role: name: pms vars: step_definition: "на всех" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "0-255" anotherProperty: name: "app.avatar.anotherProperty" value: "0-255" with_items: - "{{ host_common }}" loop_control: loop_var: host_name

Slide 84

Slide 84 text

84 Too much code

Slide 85

Slide 85 text

• Нужно писать модули • рекомендуется на питоне • я не знаю питон :) 85 Проблемы прототипа

Slide 86

Slide 86 text

• Нужно писать модули • рекомендуется на питоне • я не знаю питон :) • Обобщённый DSL это хорошо для решения общих задач • частное решение позволяет писать компактнее и выразительнее 86 Проблемы прототипа

Slide 87

Slide 87 text

• Нужно писать модули • рекомендуется на питоне • я не знаю питон :) • Обобщённый DSL это хорошо для решения общих задач • частное решение позволяет писать компактнее и выразительнее • Не Java • просто так не воспользоваться готовыми библиотеками • мы любим Java! 87 Проблемы прототипа

Slide 88

Slide 88 text

5| Начнем сначала

Slide 89

Slide 89 text

Модель всему голова

Slide 90

Slide 90 text

90 DSL Design. Список шагов эксперимента steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }

Slide 91

Slide 91 text

91 Инициализация/Отключка/Откат в исходное состояние steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }

Slide 92

Slide 92 text

92 Открываем на бота steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }

Slide 93

Slide 93 text

93 Открытие по партициям steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }

Slide 94

Slide 94 text

94 Ура! Теперь для всех steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }

Slide 95

Slide 95 text

95 DSL Design. А что будем менять то? steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } }

Slide 96

Slide 96 text

96 Настройки. Отделяем мух от котлет experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 97

Slide 97 text

97 Step#1 experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 98

Slide 98 text

98 Step#N experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 99

Slide 99 text

99 Step#N experiment { steps { ... partition("quarter") { part("0-63") } ... } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } app.avatar.shouldUseWebP: 0-63 app.avatar.anotherProperty: 0-63

Slide 100

Slide 100 text

100 Компактно и понятно experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 101

Slide 101 text

Осталось реализовать :)

Slide 102

Slide 102 text

• Java - знаем, любим, но вербозно • кто-то пишет скриптинг на Java? 102 Что же выбрать для реализации?

Slide 103

Slide 103 text

• Java - знаем, любим, но вербозно • кто-то пишет скриптинг на Java? • JVM - очень здорово • интероп с уже написанными библиотеками • знакомая платформа 103 Что же выбрать для реализации?

Slide 104

Slide 104 text

• Groovy, JRuby, Javascript, … • синтаксический сахар • JSR223 104 А что вообще есть то?

Slide 105

Slide 105 text

• Groovy, JRuby, Javascript, … • синтаксический сахар • JSR223 • Но мы хотим: • в идеале писать скрипты и их обработку на одном языке • иметь статическую типизацию, • проверки на этапе компиляции • близкую к идеальной поддержку в IDE 105 А что вообще есть то?

Slide 106

Slide 106 text

• Kotlin потому что: • синтаксический сахар • JSR223 • компиляция • статическая типизация • хороший code completion • хотелось попробовать новое и интересное ;) 106 Почему Kotlin?

Slide 107

Slide 107 text

6| Кишки DSL

Slide 108

Slide 108 text

108 Как реализовать такой DSL? experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 109

Slide 109 text

109 Древовидная структура experiment steps properties

Slide 110

Slide 110 text

110 Древовидная структура. Код @DslMarker annotation class ElementMarker @ElementMarker abstract class Element { val children = arrayListOf() fun make(element: T, init: T.() -> Unit): T { element.init() children.add(element) return element } }

Slide 111

Slide 111 text

111 Init function experiment { steps { // init function is called here partition("half"){ // init function is called here } } ... }

Slide 112

Slide 112 text

112 Init function @DslMarker annotation class ElementMarker @ElementMarker abstract class Element { val children = arrayListOf() fun make(element: T, init: T.() -> Unit): T { element.init() children.add(element) return element } }

Slide 113

Slide 113 text

113 Дерево собирается наоборот experiment steps properties

Slide 114

Slide 114 text

114 Упрощаем восприятие experiment { steps { // call init here partition("half"){ } } ... } fun partition(name: String, init: PartitionStep.() -> Unit) = make(PartitionStep(name), init)

Slide 115

Slide 115 text

115 А давайте… experiment { steps { steps { } } ... }

Slide 116

Slide 116 text

• @DSLMarker 116 Как обеспечить безопасность?

Slide 117

Slide 117 text

• @DSLMarker • Валидация скоупа внутри DSL • вложенность элементов 117 Как обеспечить безопасность?

Slide 118

Slide 118 text

118 @DSLMarker @DslMarker annotation class ElementMarker @ElementMarker abstract class Element { val children = arrayListOf() fun make(element: T, init: T.() -> Unit): T { element.init() children.add(element) return element } }

Slide 119

Slide 119 text

119 С @DSLMarker experiment { steps { steps { } } ... } Шаги не могут быть вложенными

Slide 120

Slide 120 text

Оптимизация DSL

Slide 121

Slide 121 text

121 80% укладывается в схему experiment { steps { empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 122

Slide 122 text

122 Too much code

Slide 123

Slide 123 text

123 Засахарим немного experiment { steps { openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 124

Slide 124 text

124 Но дадим немного свободы experiment { steps { openByPartitionSteps(withBot = false, withEmployees = false) } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 125

Slide 125 text

125 Extension Function - это очень удобно fun Steps.openByPartitionSteps(withBot: Boolean = true, withEmployees: Boolean = true) { empty("off") {} if (withBot) { user("bot") { bot(prop("botId")) } } if (withEmployees) { user("employees") { bot(betaUsers().joinToString(",")) } } partition("partition") { part("64") } partition("quarter") { part("64-127") } partition("half") { part("0-127") } partition("on") { part("0-255") } }

Slide 126

Slide 126 text

126 Copy-Paste fun Steps.openByPartitionSteps(withBot: Boolean = true, withEmployees: Boolean = true) { empty("off") {} if (withBot) { user("bot") { bot(prop("botId")) } } if (withEmployees) { user("employees") { bot(betaUsers().joinToString(",")) } } partition("partition") { part("64") } partition("quarter") { part("64-127") } partition("half") { part("0-127") } partition("on") { part("0-255") } }

Slide 127

Slide 127 text

127 Ещё сколько-то там процентов experiment { steps { openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } }

Slide 128

Slide 128 text

128 Too much code

Slide 129

Slide 129 text

129 И ещё посахарим experiment { steps { openByPartitionSteps() } web { "app.avatar.shouldUseWebP" } }

Slide 130

Slide 130 text

130 Краткость - сестра таланта experiment { steps { openByPartitionSteps() } web { "app.avatar.shouldUseWebP" } }

Slide 131

Slide 131 text

131 Жизнь тяжелее чем кажется

Slide 132

Slide 132 text

132 Больше "измерений" для мобильной версии experiment { steps { openByPartitionSteps() } properties(consts.appMob, consts.commonMobHost) { deviceFeature("app.avatar.shouldUseWebP") { appsOnly = false iphone = "x.x.x" android = "x.x.x" deviceOS = mapOf("iOS" to "x.x.x") } } }

Slide 133

Slide 133 text

133 Аналогично для API и приложений experiment { steps { openByPartitionSteps() } properties(consts.appApi, consts.commonApiHost) { appaware("app.aware.avatar.shouldUseWebP") { default = true iphone = "x.x.x" android = "x.x.x" } } }

Slide 134

Slide 134 text

134 Кастомные свойства experiment { steps { custom("setup", "сделаю преднастройку эксперимента") { properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.useWebP.quality", “100") } } openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 135

Slide 135 text

135 Кастомные свойства experiment { steps { custom("setup", "сделаю преднастройку эксперимента") { properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.useWebP.quality", "100") } } openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 136

Slide 136 text

136 Это всё-таки язык программирования custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }

Slide 137

Slide 137 text

137 Шаг custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }

Slide 138

Slide 138 text

138 Набор изменяемых настроек custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }

Slide 139

Slide 139 text

139 Вычисляемая настройка custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }

Slide 140

Slide 140 text

140 Обрабатываем построчно custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }

Slide 141

Slide 141 text

141 Ну теперь всем по 42 custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } }

Slide 142

Slide 142 text

Kotlin Script

Slide 143

Slide 143 text

• Файл с расширением .kts 143 Kotlin Script

Slide 144

Slide 144 text

• Файл с расширением .kts • Имплицитные аргументы • args[0] • println(“hello!”) 144 Kotlin Script

Slide 145

Slide 145 text

• Файл с расширением .kts • Имплицитные аргументы • args[0] • println(“hello!”) • Запускается через command line • kotlinc -script -classpath <> • Запускается с помощью IDE 145 Kotlin Script

Slide 146

Slide 146 text

146 Kotlin Script. Ожидание import runner.* runner.run { experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } }

Slide 147

Slide 147 text

• Нужно как-то подключить классы проекта 147 Kotlin Script. CMD kotlinc -script -classpath <>

Slide 148

Slide 148 text

• Нужно как-то подключить классы проекта • Нужно как-то подключить все зависимости проекта 148 Kotlin Script. CMD kotlinc -script -classpath <>

Slide 149

Slide 149 text

• Нужно как-то подключить классы проекта • Нужно как-то подключить все зависимости проекта • Gradle не умеет (по крайней мере из коробки) • IDEA не умеет* 149 Kotlin Script. CMD kotlinc -script -classpath <>

Slide 150

Slide 150 text

150 Kotlin Script. IDEA

Slide 151

Slide 151 text

151 Kotlin Script. IDEA java -Dfile.encoding=UTF-8 \ -classpath "kotlin-compiler.jar:kotlin-reflect.jar: kotlin-stdlib.jar:kotlin-script-runtime.jar" org.jetbrains.kotlin.cli.jvm.K2JVMCompiler -script ~/experiments/src/main/kotlin/one/exps/scripts/XPRM-10222.kts XPRM-10222.kts:1:8: error: unresolved reference: one import one.exps.*

Slide 152

Slide 152 text

152 Kotlin Script. IDEA java -Dfile.encoding=UTF-8 \ -classpath "kotlin-compiler.jar:kotlin-reflect.jar: kotlin-stdlib.jar:kotlin-script-runtime.jar" org.jetbrains.kotlin.cli.jvm.K2JVMCompiler -script ~/experiments/src/main/kotlin/one/exps/scripts/XPRM-10222.kts XPRM-10222.kts:1:8: error: unresolved reference: one import one.exps.*

Slide 153

Slide 153 text

153 https://github.com/andrewoma/kotlin-script #!/bin/sh exec kotlins -cp `mvncp ` !# import runner.* runner.run { experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } }

Slide 154

Slide 154 text

154 https://github.com/andrewoma/kotlin-scripting-kickstarter #!/usr/bin/env kotlin-script.sh import runner.* fun main(args: Array) { runner.run { experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } } }

Slide 155

Slide 155 text

155 https://github.com/holgerbrandl/kscript #!/usr/bin/env kscript //DEPS one:experiments:1.0.0 import runner.* runner.run { experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } }

Slide 156

Slide 156 text

• Необходимо писать обвязки 156 Проблемы Kotlin Script

Slide 157

Slide 157 text

• Необходимо писать обвязки • Нельзя запустить из IDE (ну кроме как console) 157 Проблемы Kotlin Script

Slide 158

Slide 158 text

• Необходимо писать обвязки • Нельзя запустить из IDE (ну кроме как console) • Непонятно как подебажить скрипт, если очень нужно 158 Проблемы Kotlin Script

Slide 159

Slide 159 text

• Необходимо писать обвязки • Нельзя запустить из IDE (ну кроме как console) • Непонятно как подебажить скрипт, если очень нужно • Сложно переиспользовать описание эксперимента • для обновления описания задачи в Jira 159 Проблемы Kotlin Script

Slide 160

Slide 160 text

160 https://github.com/aatarasoff/kotlin-script-starter //JSR223 //ConsoleExecutor.kt fun main(args : Array) { ScriptEngineManager().getEngineByExtension("kts")!! .eval(getResource("${args[0]}.kts").readText()) } //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler-embeddable:$kotlin_version" compile "org.jetbrains.kotlin:kotlin-script-util:$kotlin_version" //META-INF/services/javax.script.ScriptEngineFactory org.jetbrains.kotlin.script.jsr223.KotlinJsr223JvmLocalScriptEngineFactory

Slide 161

Slide 161 text

161 https://github.com/aatarasoff/kotlin-script-starter //JSR223 //ConsoleExecutor.kt fun main(args : Array) { ScriptEngineManager().getEngineByExtension("kts")!! .eval(getResource("${args[0]}.kts").readText()) } //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler-embeddable:$kotlin_version" compile "org.jetbrains.kotlin:kotlin-script-util:$kotlin_version" //META-INF/services/javax.script.ScriptEngineFactory org.jetbrains.kotlin.script.jsr223.KotlinJsr223JvmLocalScriptEngineFactory

Slide 162

Slide 162 text

162 https://github.com/aatarasoff/kotlin-script-starter //JSR223 //ConsoleExecutor.kt fun main(args : Array) { ScriptEngineManager().getEngineByExtension("kts")!! .eval(getResource("${args[0]}.kts").readText()) } //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler-embeddable:$kotlin_version" compile "org.jetbrains.kotlin:kotlin-script-util:$kotlin_version" //META-INF/services/javax.script.ScriptEngineFactory org.jetbrains.kotlin.script.jsr223.KotlinJsr223JvmLocalScriptEngineFactory

Slide 163

Slide 163 text

163 Хитрый процессинг скриптов в ресурсы //build.gradle processResources { from 'src/main/kotlin/one/exps/scripts' }

Slide 164

Slide 164 text

Launch it

Slide 165

Slide 165 text

165 IDEA

Slide 166

Slide 166 text

166 CMD + Gradle ./gradlew run -Dexec.args="run XPRM-9756 -e dev -s all"

Slide 167

Slide 167 text

167 И с помощью обертки ./exp.sh run XPRM-9756 -e dev -s all

Slide 168

Slide 168 text

168 Консольный лог

Slide 169

Slide 169 text

169 Отчётность

Slide 170

Slide 170 text

170 Обновление описания эксперимента в Jira update XPRM-9756 -e prod

Slide 171

Slide 171 text

171 Jira

Slide 172

Slide 172 text

172 Генерация PlantUML graph XPRM-9756 -e prod

Slide 173

Slide 173 text

173 PlantUML

Slide 174

Slide 174 text

7| Разделяй и властвуй

Slide 175

Slide 175 text

175 Разделение ответственностей user model experiment { steps { openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } }

Slide 176

Slide 176 text

176 Переход одной модели в другую user model execution model Трансформация

Slide 177

Slide 177 text

177 “Плоская” модель исполнения execution model execution { steps { init { description='на никого' property { "applicationName": "odnoklassniki-web", "hostName": "host-odnoklassniki-web", "propertyName": "app.avatar.shouldUseWebP", "propertyValue": "" } property { ... } } ... all { ... } } definition='возможность отмечать друзей в настроении' }

Slide 178

Slide 178 text

178 Модель исполнения. Один шаг init { description='на никого' property { "applicationName": "odnoklassniki-web", "hostName": "host-odnoklassniki-web", "propertyName": "app.avatar.shouldUseWebP", "propertyValue": "" } property { "applicationName": "odnoklassniki-web", "hostName": "host-odnoklassniki-web", "propertyName": "app.avatar.anotherProperty", "propertyValue": "" } }

Slide 179

Slide 179 text

179 Транзитивный переход user model execution model validation model

Slide 180

Slide 180 text

180 Переход модели в ещё одну модель execution model validation model Трансформация

Slide 181

Slide 181 text

181 Модель пользователя. Шаг 4 execution model 1 2 3 4

Slide 182

Slide 182 text

182 Модель валидации. Мердж предыдущих шагов validation model 1 2 3 C

Slide 183

Slide 183 text

183 Сверка реального и ожидаемого состояния 1 2 3 S validation model app.avatar.shouldUseWebP: 0-63 app.avatar.anotherProperty: 0-63 expected state S

Slide 184

Slide 184 text

184 Кто-то вмешался в наш эксперимент! app.avatar.shouldUseWebP: 0-63 app.avatar.anotherProperty: 0-63 expected state S app.avatar.shouldUseWebP: 0-127 app.avatar.anotherProperty: 0-63 real state S

Slide 185

Slide 185 text

185 Не прошли верификацию. Увы :(

Slide 186

Slide 186 text

186 Принудительное исполнение ./exp.sh run XPRM-9756 -e dev -s all --force

Slide 187

Slide 187 text

187 Сделаем красиво в Jira execution model description model

Slide 188

Slide 188 text

188 Только финальные значения app.avatar.shouldUseWebP: 0-255 app.avatar.anotherProperty: 0-255 final state S

Slide 189

Slide 189 text

189 Только финальные значения app.avatar.shouldUseWebP: 0-255 app.avatar.anotherProperty: 0-255 final state S *odnoklassniki-web@host-odnoklassniki-web* {Code} > app.avatar.shouldUseWebP: 0-255 > app.avatar.anotherProperty: 0-255 {Code}

Slide 190

Slide 190 text

190 Основная модель - дополнительные модели • Модель исполнения

Slide 191

Slide 191 text

191 Основная модель - дополнительные модели • Модель исполнения • Модель валидации

Slide 192

Slide 192 text

192 Основная модель - дополнительные модели • Модель исполнения • Модель валидации • Модель планирования • создание задач в Jira • визуализация плана

Slide 193

Slide 193 text

193 Основная модель - дополнительные модели • Модель исполнения • Модель валидации • Модель планирования • создание задач в Jira • визуализация плана • ??? • любые хотелки

Slide 194

Slide 194 text

>| Выводы

Slide 195

Slide 195 text

• Experiments as Code 195 Итоги

Slide 196

Slide 196 text

• Experiments as Code • Удобный и компактный DSL • потому что знаем предметную область • компиляция, code completion 196 Итоги

Slide 197

Slide 197 text

• Experiments as Code • Удобный и компактный DSL • потому что знаем предметную область • компиляция, code completion • Автоматизированный запуск • проверка корректности • уменьшение количества рутинных действий 197 Итоги

Slide 198

Slide 198 text

• Experiments as Code • Удобный и компактный DSL • потому что знаем предметную область • компиляция, code completion • Автоматизированный запуск • проверка корректности • уменьшение количества рутинных действий • Удовольствие от программирования ;) 198 Итоги

Slide 199

Slide 199 text

• Нужно уметь программировать • или хотя бы понимать инструментарий и основные принципы 199 Trade-Offs

Slide 200

Slide 200 text

• Нужно уметь программировать • или хотя бы понимать инструментарий и основные принципы • Нужно поддерживать всё самим • постоянные доработки • баги 200 Trade-Offs

Slide 201

Slide 201 text

• Нужно уметь программировать • или хотя бы понимать инструментарий и основные принципы • Нужно поддерживать всё самим • постоянные доработки • баги • Парадокс синтаксического сахара • баланс между компактностью и сложностью освоения 201 Trade-Offs

Slide 202

Slide 202 text

• Нужно уметь программировать • или хотя бы понимать инструментарий и основные принципы • Нужно поддерживать всё самим • постоянные доработки • баги • Парадокс синтаксического сахара • баланс между компактностью и сложностью освоения • Инструменты не идеальны • а так хотелось 202 Trade-Offs

Slide 203

Slide 203 text

203 Мы ещё в начале пути ;) t MVP CLI Jira, TamTam Auto Launch Jira custom fields and charts Auto Feedback Charts Smart monitoring

Slide 204

Slide 204 text

Links

Slide 205

Slide 205 text

205 Стартер для скриптов на Kotlin-е https://github.com/aatarasoff/kotlin-script-starter

Slide 206

Slide 206 text

206 Напочитать http://developerblog.info/2017/10/02/kotlin-dsl-i-vsie-vsie-vsie http://developerblog.info/2017/10/26/kotlin-dsl-i-nosuchmethod http://developerblog.info/2017/10/24/nieochievidnyie-zamietki-1

Slide 207

Slide 207 text

207 Q&A

Slide 208

Slide 208 text

No content