Share
Embed
Автоматизация экспериментов с Kotlin DSL
В большом проекте нельзя просто так взять и сделать фичу доступной всем клиентам. Поэтому проводятся эксперименты, которые требуют внесения изменений вручную, что ведёт к временным издержкам и порой ошибкам. Чтобы убрать эти факторы, мы решили автоматизировать подготовку и запуск экспериментов.
В докладе будет рассказано, почему для этого был выбран Kotlin, а не классические инструменты управления конфигурацией (такие, как Ansible), почему хороший DSL и инструментарий критически важны для этой задачи и какие проблемы пришлось преодолеть, чтобы всё работало, как изначально задумано.
Aleksandr Tarasov
November 25, 2017
Transcript
221 slides
-
Мнение докладчика может не совпадать с официальной позицией его работодателя,
начальника, коллег или других специалистов. Все представленные в докладе сведения, примеры, выводы и другую информацию вы можете использовать на свой страх и риск. За все ваши действия ответственность несёте только вы сами. Этот доклад не совсем про Kotlin! 3 Минздрав предупреждает -
9 71 млн Посещают нас в месяц 8000 Серверов Одноклассники
в цифрах >10 тыс Выполненных экспериментов -
10 Очень простой пайплайн пишем код QA тесты, тесты, тесты
Deployment накатываем Development -
11 Обложимся тестами! пишем код QA тесты, тесты, тесты Deployment
накатываем Development -
15 Немного же изменений, да? avatarSrc = images.get(id, WebP) avatarSrc
= images.get(id, JPEG) //git diff -
• Аватарок в WebP нет • в браузере пользователей •
в кэшах CDN-а • во внутренних кэшах 19 Нет, потому что -
• Аватарок в WebP нет • в браузере пользователей •
в кэшах CDN-а • во внутренних кэшах • Нужно потратить • трафик на скачивание • ресурсы CPU и памяти для нарезки 20 Нет, потому что -
• Затем, что есть риски • Технические риски • Продуктовые
риски 24 Зачем нужны эксперименты? -
• Затем, что есть риски • Технические риски • Продуктовые
риски • Запуск новых фич происходит поэтапно • Наполнение кэшей • А/B/…/Z-тестирование 25 Зачем нужны эксперименты? -
• Затем, что есть риски • Технические риски • Продуктовые
риски • Запуск новых фич происходит поэтапно • Наполнение кэшей • А/B/…/Z-тестирование • Процесс запуска фичи называется экспериментом 26 Зачем нужны эксперименты? -
29 Эксперимент в деталях Code Branches if / switch Config
by partition by server -
30 Эксперимент в деталях Code Branches if / switch Config
by partition by server by geo -
31 Эксперимент в деталях Code Branches if / switch Config
by partition Logs/ Monitoring observe by server by geo -
32 Эксперимент в деталях Code Branches if / switch Config
by partition Logs/ Monitoring observe by server by geo alerts -
33 Убери за собой Code Branches if / switch Config
by partition Logs/ Monitoring observe by server by geo alerts -
36 Пример очень простого эксперимента if (avatarConf.shouldUseWebP(userId)) { return images.get(id,
WebP); } else { return images.get(id, JPEG); } -
39 Включение фичи one partition //by partition app.avatar.shouldUseWebP: 0-255 several
partitions all partitions -
40 Всё очень просто one partition //step#1 app.avatar.shouldUseWebP: 0 //step#2
app.avatar.shouldUseWebP: 0-63 //step#3 app.avatar.shouldUseWebP: 0-255 several partitions all partitions -
• Релизный цикл • Нужно вспоминать, где и какие настройки
нужно включить/прописать 42 Проблемы -
• Релизный цикл • Нужно вспоминать, где и какие настройки
нужно включить/прописать • Хранение экспериментов • Разные нотации обозначения настроек • Отдельный тип задач в Jira 44 Проблемы -
• Релизный цикл • Нужно вспоминать, где и какие настройки
нужно включить/прописать • Хранение экспериментов • Разные нотации обозначения настроек • Отдельный тип задач в Jira • Запуск экспериментов • руками через UI • комментарий в Jira • сообщение в ТамТам 45 Проблемы -
48 Схема запуска эксперимента посмотреть что там в jira посмотреть,
а что в PMS написать в чатик -
49 Схема запуска эксперимента посмотреть что там в jira посмотреть,
а что в PMS написать в чатик написать комментарий -
50 Схема запуска эксперимента посмотреть что там в jira посмотреть,
а что в PMS написать в чатик написать комментарий внести изменения -
51 Схема запуска эксперимента посмотреть что там в jira посмотреть,
а что в PMS написать в чатик написать комментарий внести изменения посмотреть графики -
• Консистентность настроек между средами • Непонятно в какой стадии
эксперимент • Забыли написать комментарий? 57 Проблемы #2 -
• Консистентность настроек между средами • Непонятно в какой стадии
эксперимент • Забыли написать комментарий? • Тяжело возвращаться после некоторого времени • Это как возвращаться к давно написанному коду 58 Проблемы #2 -
• Описание эксперимента в виде некоторого DSL • Храним в
git-е как код 60 Чего бы хотелось? -
• Описание эксперимента в виде некоторого DSL • Храним в
git-е как код • Автоматизированный накат/откат настроек • Запускаем через CLI • Используем API системы хранения конфигурации 61 Чего бы хотелось? -
• Описание эксперимента в виде некоторого DSL • Храним в
git-е как код • Автоматизированный накат/откат настроек • Запускаем через CLI • Используем API системы хранения конфигурации • Автоматизация сопутствующих действий • Постим комментарии в Jira, TamTam 62 Чего бы хотелось? -
65 Схемка с автоматизацией эксперимента запустить скрипт проверка в PMS
посмотреть графики комментарии в чат и jira изменения в PMS -
• Быстро делать прототипы по автоматизации 69 Ansible - почти
идеальный кандидат -
• Быстро делать прототипы по автоматизации • Три универсальных модуля
• sh • uri • template 70 Ansible - почти идеальный кандидат -
• Быстро делать прототипы по автоматизации • Три универсальных модуля
• sh • uri • template • Готовый DSL, механизмы запуска, ограничений и т.д. 71 Ansible - почти идеальный кандидат -
72 Описание эксперимента --- - include: step1.yml tags: - step1
- include: step2.yml tags: - step2 … - include: stepN.yml tags: - stepN -
73 Описание эксперимента --- - include: step1.yml tags: - step1
- include: step2.yml tags: - step2 … - include: stepN.yml tags: - stepN //step#1 app.avatar.shouldUseWebP: 0 //step#2 app.avatar.shouldUseWebP: 0-63 //step#3 app.avatar.shouldUseWebP: 0-255 -
74 Каждый шаг имеет своё описание --- - hosts: local
gather_facts: no tasks: - name: Init include_role: name: pms vars: step_definition: "проинициализирую настройки" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "" anotherProperty: name: "app.avatar.anotherProperty" value: "" with_items: - "{{ host_common }}" loop_control: loop_var: host_name --- - include: step1.yml tags: - step1 - include: step2.yml tags: - step2 … - include: stepN.yml tags: - stepN -
• Есть описание в виде DSL • Храним в git-е
как код 76 Итоги #1 -
• Есть описание в виде DSL • Храним в git-е
как код • Можем запустить из командной строки 77 Итоги #1 -
• Есть описание в виде DSL • Храним в git-е
как код • Можем запустить из командной строки • Убрали рутинные действия 78 Итоги #1 -
80 Проблема копипаста. Step#1 --- - hosts: local gather_facts: no
tasks: - name: Init include_role: name: pms vars: step_definition: "проинициализирую настройки" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "" anotherProperty: name: "app.avatar.anotherProperty" value: "" with_items: - "{{ host_common }}" loop_control: loop_var: host_name -
81 Проблема копипаста. Step#2 --- - hosts: local gather_facts: no
tasks: - name: Init include_role: name: pms vars: step_definition: "на одну партицию" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "63" anotherProperty: name: "app.avatar.anotherProperty" value: "63" with_items: - "{{ host_common }}" loop_control: loop_var: host_name -
82 Проблема копипаста. Step#N --- - hosts: local gather_facts: no
tasks: - name: Init include_role: name: pms vars: step_definition: "на всех" application_name: odnoklassniki-web properties: useWebP: name: "app.avatar.useWebP" value: "0-255" anotherProperty: name: "app.avatar.anotherProperty" value: "0-255" with_items: - "{{ host_common }}" loop_control: loop_var: host_name -
• Нужно писать модули • рекомендуется на питоне • я
не знаю питон :) 83 Проблемы прототипа -
• Нужно писать модули • рекомендуется на питоне • я
не знаю питон :) • Обобщённый DSL это хорошо для решения общих задач • частное решение позволяет писать компактнее и выразительнее 84 Проблемы прототипа -
• Нужно писать модули • рекомендуется на питоне • я
не знаю питон :) • Обобщённый DSL это хорошо для решения общих задач • частное решение позволяет писать компактнее и выразительнее • Не Java • просто так не воспользоваться готовыми библиотеками • мы любим Java! 85 Проблемы прототипа -
88 DSL Design. Список шагов эксперимента steps { empty("off") {}
user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } -
89 Инициализация/Отключка/Откат в исходное состояние steps { empty("off") {} user("onebot")
{ bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } -
90 Открываем на бота steps { empty("off") {} user("onebot") {
bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } -
91 Открытие по партициям steps { empty("off") {} user("onebot") {
bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } -
92 Ура! Теперь для всех steps { empty("off") {} user("onebot")
{ bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } -
93 DSL Design. А что будем менять то? steps {
empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } -
94 Настройки. Отделяем мух от котлет experiment { steps {
empty("off") {} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
95 Step#1 experiment { steps { empty("off") {} user("onebot") {
bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
96 Step#N experiment { steps { empty("off") {} user("onebot") {
bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
97 Последний шаг experiment { steps { empty("off") {} user("onebot")
{ bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
98 Компактно и понятно experiment { steps { empty("off") {}
user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
• Java - знаем, любим, но вербозно • кто-то пишет
скриптинг на Java? • JVM - очень здорово • интероп с уже написанными библиотеками • знакомая платформа 100 Что же выбрать для реализации? -
• Groovy, JRuby, Javascript, … • синтаксический сахар • JSR223
101 А что вообще есть то? -
• Groovy, JRuby, Javascript, … • синтаксический сахар • JSR223
• Но мы хотим: • в идеале писать скрипты и их обработку на одном языке • иметь статическую типизацию, • проверки на этапе компиляции • близкую к идеальной поддержку в IDE 102 А что вообще есть то? -
103 JSR223. Как заиспользовать Java-класс //javascript var exp = Java.type("one.exps.Experiment");
//JRuby require "java" java_import "one.exps.Experiment" exp = Experiment.new //Groovy def exp = new Experiment() //Kotlin val exp = Experiment() -
104 JSR223. Не все йогурты одинаково полезны //javascript var exp
= Java.type("one.exps.Experiment"); //JRuby require "java" java_import "one.exps.Experiment" exp = Experiment.new //Groovy def exp = new Experiment() //Kotlin val exp = Experiment() -
• Kotlin потому что: • синтаксический сахар • JSR223 •
компиляция • статическая типизация • хороший code completion • хотелось попробовать новое и интересное ;) 105 Почему Kotlin? -
107 Как реализовать такой DSL? experiment { steps { empty("off")
{} user("onebot") { bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
109 Древовидная структура. Код @DslMarker annotation class ElementMarker @ElementMarker abstract
class Element { val children = arrayListOf<Element>() fun <T : Element> make(element: T, init: T.() -> Unit): T { element.init() children.add(element) return element } } -
110 Init function experiment { steps { // init function
is called here partition("half"){ // init function is called here } } ... } -
111 Init function @DslMarker annotation class ElementMarker @ElementMarker abstract class
Element { val children = arrayListOf<Element>() fun <T : Element> make(element: T, init: T.() -> Unit): T { element.init() children.add(element) return element } } -
112 Упрощаем восприятие experiment { steps { // call init
here partition("half"){ } } ... } fun partition(name: String, init: PartitionStep.() -> Unit) = make(PartitionStep(name), init) -
113 Lateinit vars experiment { description = "very cool experiment”
steps { // call init here partition("half"){ // call init here } } … } -
• @DSLMarker • Валидация скоупа внутри DSL • вложенность элементов
116 Как обеспечить безопасность? -
117 @DSLMarker @DslMarker annotation class ElementMarker @ElementMarker abstract class Element
{ val children = arrayListOf<Element>() fun <T : Element> make(element: T, init: T.() -> Unit): T { element.init() children.add(element) return element } } -
118 С @DSLMarker experiment { steps { steps { }
} ... } Шаги не могут быть вложенными -
120 Оптимизация DSL experiment { steps { empty("off") {} user("onebot")
{ bot(prop("botId")) } partition("partition") { part("0") } partition("quarter") { part("0-63") } partition("half") { part("0-63") part("64-127") } partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
121 Но дадим немного свободы experiment { steps { openByPartitionSteps(withBot
= false, withEmployees = false) } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
122 Засахарим немного experiment { steps { openByPartitionSteps() } properties("odnoklassniki-web",
prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
123 Extension Function - это очень удобно fun Steps.openByPartitionSteps(withBot: Boolean
= true, withEmployees: Boolean = true) { empty("off") {} if (withBot) { user("bot") { bot(prop("botId")) } } if (withEmployees) { user("employees") { bot(betaUsers().joinToString(",")) } } partition("partition") { part("64") } partition("quarter") { part("64-127") } partition("half") { part("0-127") } partition("on") { part("0-255") } } -
124 И ещё посахарим experiment { steps { openByPartitionSteps() }
web { "app.avatar.shouldUseWebP" } } -
125 Краткость - сестра таланта experiment { steps { openByPartitionSteps()
} web { "app.avatar.shouldUseWebP" } } -
126 Кастомные свойства experiment { steps { custom("setup", "сделаю преднастройку
эксперимента") { properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.useWebP.quality", “100") } } openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
127 Кастомные свойства experiment { steps { custom("setup", "сделаю преднастройку
эксперимента") { properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.useWebP.quality", "100") } } openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
128 Это всё-таки язык программирования custom("42everywhere", "всем по 42") {
properties("odnoklassniki-web", prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } } -
129 Шаг custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts")) {
calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } } -
130 Набор изменяемых настроек custom("42everywhere", "всем по 42") { properties("odnoklassniki-web",
prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } } -
131 Вычисляемая настройка custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts"))
{ calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } } -
132 Обрабатываем построчно custom("42everywhere", "всем по 42") { properties("odnoklassniki-web", prop("hosts"))
{ calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } } -
133 Идемпотентное внесение изменений custom("42everywhere", "всем по 42") { properties("odnoklassniki-web",
prop("hosts")) { calcProperty("app.complex.property", { PMS.property("odnoklassniki-web", "app.complex.property") .lines() .map { Converter.SET_STRING.convert(it) .minus("42").plus("42") .joinToString(",") } .joinToString("\n") }) } } -
134 Оптимизация DSL#2 experiment { steps { custom("setup") { properties("avatar-app",
prop("avatarHosts")) { property("enableWebP", "true") } } openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } -
135 Сделаем эксперименту часть experiment { part("setup") { steps {
custom("setup") { properties("avatar-app", prop("avatarHosts")) { property("enableWebP", "true") } } } } steps { openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } -
136 Основной эксперимент это тоже часть experiment { part("setup") {
steps { custom("setup") { properties("avatar-app", prop("avatarHosts")) { property("enableWebP", "true") } } } } steps { openByPartitionSteps() } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } -
• Файл с расширением .kts • Имплицитные аргументы • args[0]
• println(“hello!”) 139 Kotlin Script -
• Файл с расширением .kts • Имплицитные аргументы • args[0]
• println(“hello!”) • Запускается через command line • kotlinc -script <script_name> -classpath <> • Запускается с помощью IDE 140 Kotlin Script -
141 Kotlin Script. Ожидание import runner.* runner.run { experiment {
steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } } -
• Нужно как-то подключить классы проекта 142 Kotlin Script. CMD
kotlinc -script <script_name> -classpath <> -
• Нужно как-то подключить классы проекта • Нужно как-то подключить
все зависимости проекта 143 Kotlin Script. CMD kotlinc -script <script_name> -classpath <> -
• Нужно как-то подключить классы проекта • Нужно как-то подключить
все зависимости проекта • Gradle не умеет (по крайней мере из коробки) • IDEA не умеет* 144 Kotlin Script. CMD kotlinc -script <script_name> -classpath <> -
146 Kotlin Script. IDEA java -Dfile.encoding=UTF-8 \ -classpath "kotlin-compiler.jar:kotlin-reflect.jar: kotlin-stdlib.jar:kotlin-script-runtime.jar"
org.jetbrains.kotlin.cli.jvm.K2JVMCompiler -script ~/experiments/src/main/kotlin/one/exps/scripts/XPRM-10222.kts XPRM-10222.kts:1:8: error: unresolved reference: one import one.exps.* -
147 Kotlin Script. IDEA java -Dfile.encoding=UTF-8 \ -classpath "kotlin-compiler.jar:kotlin-reflect.jar: kotlin-stdlib.jar:kotlin-script-runtime.jar"
org.jetbrains.kotlin.cli.jvm.K2JVMCompiler -script ~/experiments/src/main/kotlin/one/exps/scripts/XPRM-10222.kts XPRM-10222.kts:1:8: error: unresolved reference: one import one.exps.* -
148 https://github.com/andrewoma/kotlin-script #!/bin/sh exec kotlins -cp `mvncp <lib>` !# import
runner.* runner.run { experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } } -
149 https://github.com/andrewoma/kotlin-scripting-kickstarter #!/usr/bin/env kotlin-script.sh import runner.* fun main(args: Array<String>) {
runner.run { experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } } } -
150 https://github.com/holgerbrandl/kscript #!/usr/bin/env kscript //DEPS one:experiments:1.0.0 import runner.* runner.run {
experiment { steps { empty("off") {} ... partition("all") { part("0-255") } } properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") } } } -
• Необходимо писать обвязки • Нельзя запустить из IDE (ну
кроме как console) 152 Проблемы Kotlin Script -
• Необходимо писать обвязки • Нельзя запустить из IDE (ну
кроме как console) • Непонятно как подебажить скрипт, если очень нужно 153 Проблемы Kotlin Script -
• Необходимо писать обвязки • Нельзя запустить из IDE (ну
кроме как console) • Непонятно как подебажить скрипт, если очень нужно • Сложно переиспользовать описание эксперимента • для обновления описания задачи в Jira 154 Проблемы Kotlin Script -
155 https://github.com/aatarasoff/kotlin-script-starter //JSR223 //ConsoleExecutor.kt fun main(args : Array<String>) { ScriptEngineManager().getEngineByExtension("kts")!!
.eval(getResource("${args[0]}.kts").readText()) } //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler:$kotlin_version" -
156 https://github.com/aatarasoff/kotlin-script-starter //JSR223 //ConsoleExecutor.kt fun main(args : Array<String>) { ScriptEngineManager().getEngineByExtension("kts")!!
.eval(getResource("${args[0]}.kts").readText()) } //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler:$kotlin_version" -
157 Когда нету Engine-a //JSR223 //ConsoleExecutor.kt fun main(args : Array<String>)
{ ScriptEngineManager().getEngineByExtension("kts")!! .eval(getResource("${args[0]}.kts").readText()) } Exception in thread "main" kotlin.KotlinNullPointerException -
158 https://github.com/aatarasoff/kotlin-script-starter //JSR223 //ConsoleExecutor.kt fun main(args : Array<String>) { ScriptEngineManager().getEngineByExtension("kts")!!
.eval(getResource("${args[0]}.kts").readText()) } //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler:$kotlin_version" compile "org.jetbrains.kotlin:kotlin-script-util:$kotlin_version" //META-INF/services/javax.script.ScriptEngineFactory org.jetbrains.kotlin.script.jsr223.KotlinJsr223JvmLocalScriptEngineFactory -
159 А что если в зависимостях Guava? //build.gradle compile("org.jetbrains.kotlin:kotlin-script-util:$kotlin_version") compile("com.google.guava:guava:$guava_version")
//META-INF/services/javax.script.ScriptEngineFactory org.jetbrains.kotlin.script.jsr223.KotlinJsr223JvmLocalScriptEngineFactory -
160 Метод есть, но нам говорят что нет //build.gradle compile("org.jetbrains.kotlin:kotlin-script-util:$kotlin_version")
compile("com.google.guava:guava:$guava_version") //META-INF/services/javax.script.ScriptEngineFactory org.jetbrains.kotlin.script.jsr223.KotlinJsr223JvmLocalScriptEngineFactory java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkState(...) -
161 Всё дело в компиляторе //build.gradle compile("org.jetbrains.kotlin:kotlin-compiler:$kotlin_version") compile("org.jetbrains.kotlin:kotlin-script-util:$kotlin_version") compile("com.google.guava:guava:$guava_version") Компилятор
содержит классы с теми же пакетами и с теми же именами, что и Guava -
163 Если у вас Kotlin < 1.2.20 //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler-embeddable:$kotlin_version"
compile("org.jetbrains.kotlin:kotlin-script-util:$kotlin_version") { exclude module: 'kotlin-compiler' } -
164 Если у вас Kotlin < 1.2.20 //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler-embeddable:$kotlin_version"
compile("org.jetbrains.kotlin:kotlin-script-util:$kotlin_version") { exclude module: 'kotlin-compiler' } java.lang.NoClassDefFoundError: com/intellij/openapi/util/Disposer -
165 Если у вас Kotlin < 1.2.20 //build.gradle compile "org.jetbrains.kotlin:kotlin-compiler-embeddable:$kotlin_version"
compile("org.jetbrains.kotlin:kotlin-script-util:$kotlin_version") { exclude module: 'kotlin-compiler' } compile("com.google.guava:guava:$guava_version") org.jetbrains.kotlin.com.intellij.openapi.util.Disposer -
168 Заиспользуем модификацию //KotlinJsr223JvmLocalScriptEngine.kt //KotlinJsr223JvmLocalScriptEngineFactory.kt replace com.intellij.openapi.util.Disposer to org.jetbrains.kotlin.com.intellij.openapi.util.Disposer //META-INF/services/javax.script.ScriptEngineFactory
your.package.here.KotlinJsr223JvmLocalScriptEngineFactory -
169 Хитрый процессинг скриптов в ресурсы //build.gradle processResources { from
'src/main/kotlin/one/exps/scripts' } -
170 Определим основной исполняемый класс //build.gradle processResources { from 'src/main/kotlin/one/exps/scripts'
} mainClassName = 'one.exps.execution.ConsoleExecutorKt' -
171 Передаём аргументы через Gradle //build.gradle processResources { from ‘src/main/kotlin/one/exps/scripts'
} mainClassName = 'one.exps.execution.ConsoleExecutorKt' run { standardInput = System.in args System.getProperty("exec.args", "").split() } -
175 CMD + Docker docker run --rm -it one.experiment/experiments:1.0 run
XPRM-9756 -e dev -s all https://github.com/bmuschko/gradle-docker-plugin -
184 Разделение ответственностей user model experiment { steps { openByPartitionSteps()
} properties("odnoklassniki-web", prop("hosts")) { property("app.avatar.shouldUseWebP") property("app.avatar.anotherProperty") } } -
186 “Плоская” модель исполнения execution model execution { steps {
init { description='на никого' property { "applicationName": "odnoklassniki-web", "hostName": "host-odnoklassniki-web", "propertyName": "app.avatar.shouldUseWebP", "propertyValue": "" } property { ... } } ... all { ... } } definition='возможность отмечать друзей в настроении' } -
187 Модель исполнения. Один шаг init { description='на никого' property
{ "applicationName": "odnoklassniki-web", "hostName": "host-odnoklassniki-web", "propertyName": "app.avatar.shouldUseWebP", "propertyValue": "" } property { "applicationName": "odnoklassniki-web", "hostName": "host-odnoklassniki-web", "propertyName": "app.avatar.anotherProperty", "propertyValue": "" } } -
189 Переход модели в ещё одну модель execution model validation
model Трансформация -
192 Вычисляем предполагаемое состояние val expectedPropertiesStates = stepsCollapser.collapse( plan.stageKeys .takeWhile
{ it != stageName } .flatMap { plan.stages[it].steps } ) expectedPropertiesStates.forEach { expected -> check(expected, PMS.getPropertyState(expected.key)) } -
193 Схлопываем шаги - оставляем последний object stepsCollapser { fun
collapse(steps: List<ExecutionStep>) : List<ExecutionStep> { val collapsed = linkedMapOf<String, ExecutionStep>() steps.forEach { collapsed.put(it.key(), it) } return collapsed.map { it.value } } } -
194 Вычисляем предполагаемое состояние val expectedPropertiesStates = stepsCollapser.collapse( plan.stageKeys .takeWhile
{ it != stageName } .flatMap { plan.stages[it].steps } ) expectedPropertiesStates.forEach { expected -> check(expected, PMS.getPropertyState(expected.key)) } -
195 Сверка реального и ожидаемого состояния 1 2 3 S
validation model app.avatar.shouldUseWebP: 0-63 app.avatar.anotherProperty: 0-63 expected state S -
196 Кто-то вмешался в наш эксперимент! app.avatar.shouldUseWebP: 0-63 app.avatar.anotherProperty: 0-63
expected state S app.avatar.shouldUseWebP: 0-127 app.avatar.anotherProperty: 0-63 real state S -
200 Похоже на модель валидации val allSteps = plan.stageKeys.flatMap {
plan.stages.get(it).steps } val description = stepsCollapser.collapse(allSteps) .map { //format here } .joinToString("\n") -
202 Только финальные значения app.avatar.shouldUseWebP: 0-255 app.avatar.anotherProperty: 0-255 final state
S *odnoklassniki-web@host-odnoklassniki-web* {Code} > app.avatar.shouldUseWebP: 0-255 > app.avatar.anotherProperty: 0-255 {Code} -
204 Основная модель - дополнительные модели • Модель исполнения •
Модель валидации -
205 Основная модель - дополнительные модели • Модель исполнения •
Модель валидации • Модель планирования • создание задач в Jira • визуализация плана -
206 Основная модель - дополнительные модели • Модель исполнения •
Модель валидации • Модель планирования • создание задач в Jira • визуализация плана • ??? • любые хотелки -
• Experiments as Code • Удобный и компактный DSL •
потому что знаем предметную область • компиляция, code completion 209 Итоги -
• Experiments as Code • Удобный и компактный DSL •
потому что знаем предметную область • компиляция, code completion • Автоматизированный запуск • проверка корректности • уменьшение количества рутинных действий 210 Итоги -
• Experiments as Code • Удобный и компактный DSL •
потому что знаем предметную область • компиляция, code completion • Автоматизированный запуск • проверка корректности • уменьшение количества рутинных действий • Персональное удовольствие от программирования (!) 211 Итоги -
• Нужно уметь программировать • или хотя бы понимать инструментарий
и основные принципы 212 Trade-Offs -
• Нужно уметь программировать • или хотя бы понимать инструментарий
и основные принципы • Нужно поддерживать всё самим • постоянные доработки • баги 213 Trade-Offs -
• Нужно уметь программировать • или хотя бы понимать инструментарий
и основные принципы • Нужно поддерживать всё самим • постоянные доработки • баги • Парадокс синтаксического сахара • баланс между компактностью и сложностью освоения 214 Trade-Offs -
• Нужно уметь программировать • или хотя бы понимать инструментарий
и основные принципы • Нужно поддерживать всё самим • постоянные доработки • баги • Парадокс синтаксического сахара • баланс между компактностью и сложностью освоения • Инструменты не идеальны • а так хотелось 215 Trade-Offs -
216 Мы ещё в начале пути ;) t MVP CLI
Jira, TamTam Auto Launch Jira custom fields and charts Auto Feedback Charts Smart monitoring