Иван Пономарёв, Николай Поташников — Скрытая сложность Celesta и Flute: Создание ad hoc бизнес-логики в Java-экосистеме

Мы расскажем о новой открытой платформе для создания бизнес-логики… Как, ещё одной? — Да! Потому что мы убеждены: ряд вещей, стандартных для подобного рода систем, реализован здесь интереснее, чем у других. Ключевые возможности:
- Можно использовать просто как Maven dependency.
- Пишете код один раз, запускаете на любой из поддерживаемых РСУБД (PostgreSQL, Oracle, MSSQL, H2).
- Идемпотентный DDL и автоматическое обновление структуры базы данных.
- Простое модульное тестирование процедур работы с данными без DbUnit и контейнеров.

Transcript

2. Что такое Celesta 2
3. Основные возможности Celesta • Леговесная (use as Maven dependecy) • Write once, run on any supported RDBMS – PostgreSQL, Oracle, MSSQL, H2 – RDBMS-agnostic-code • Автоматическое обновление структуры через идемпотентный DDL • CelestaUnit: модульное тестирование данных без DbUnit и контейнеров 3
4. Что ещё умеет Celesta • Лёгкое обновление кода на «живой» системе • Модульность решений • Security: – Распределение прав доступа – Логирование изменений в таблицах – Аудит входов 4
5. Зачем независимость от типа СУБД? • Выбор типа РСУБД — вопрос не технологический, а политический! • Переиспользование стандартной библиотеки • Тесты на H2 in-memory! (не нужен DbUnit, контейнеры…) 5
6. — За счёт чего достигается то, что заявлено? Собственный слой работы с СУБД — кодогенерация классов доступа к данным — генерация DDL/SQL кода 6
8. Сопоставление типов Integer (32-bit) Floating point (64-bit) String (Unicode) Long string (Unicode) Binary Date/Time Boolean CELESTA INT REAL VARCHAR(n) TEXT BLOB DATETIME BIT Microsoft SQL Server INT FLOAT(53) NVARCHAR(n ) NVARCHAR(MA X) VARBINARY(M AX) DATETIME BIT Oracle NUMBER REAL NVARCHAR2( n) NCLOB BLOB TIMESTAMP NUMBER [check in (0, 1)] PostgreSQL INT4 DOUBLE PRECISION VARCHAR(n) TEXT BYTEA TIMESTAMP BOOL H2 INTEGER DOUBLE VARCHAR(n) CLOB VARBINARY(M AX) TIMESTAMP BOOLEAN 8
9. Кодогенерация SQL 9
10. Модификация структуры «живой» БД 10
11. Подход №1. Database change log На самом деле, не совсем «рефакторинг» и не совсем «source control»! 11 Накапливаемые changesets: «рефакторинг и source control» для БД
12. 12 alter class drop method foo; alter class add method void bar(…) { … }
13. Модификация структуры БД Подход №2. “Configuration management”: идемпотентный DDL не «создай таблицу» а «приведи таблицу к желаемой структуре» 13
14. Настоящий рефакторинг и настоящий source control: ALTER-команды – отстреливают «под капотом» 14
15. • топологическая сортировка по зависимостям, • сверка контрольных сумм, • генерация CREATE и ALTER-команд Синхронизация структуры 15
16. — Да. Например, создание FK или нового NOT NULL-поля без DEFAULT-значения. Но ничего страшного! — Но это не всегда работает? 16
17. Структура Celesta-проекта 17
18. Гранула это… • С точки зрения файловой системы/VCS: – папка /score/foo, – где находится CelestaSQL файл: _foo.sql, – начинающийся с CREATE GRAIN foo VERSION '1.32'; • С точки зрения базы данных: SCHEMA foo • С точки зрения Python: foo package 18
19. Live demo! - Создание структуры БД - Создание проекта на Celesta - Создание и модификация гранулы (таблицы, внешние ключи, обычные представления) 19
20. Написание бизнес-логики 20
21. Написание бизнес-логики • Точка входа: • Идентификатор функции: [имя гранулы].[имя модуля].[имя функции] def run(context, name): print u'Привет, %s' % name 21 Произвольные параметры
22. Live demo! - Hello, world 22
23. Написание бизнес-логики def run(context, comment): orderHeader = OrderHeaderCursor(self.context) orderHeader.setRange('city', 'MSK') orderHeader.tryFirst() orderHeader.comment = (orderHeader.comment + comment) orderHeader.update() Транзакция начинается при входе и фиксируется после выхода. Возможен явный commit. Если возникнет lost update, то будет исключение Создание курсора. Поля курсора = поля таблицы! Выход по необработанному исключению —rollback 23
24. Live demo! - Создание модульных тестов, - Разработка двух процедур через тестирование, - Изменение View на Materialized View 24
25. Как связать с внешним миром? Flute! • Работает как сервис на Windows и Linux • REST-сервисы • Подхват задач из очереди (Redis) • Расписание (CRON) • Циклическое выполнение 25
26. REST-endpoint # coding=utf-8 from flute.mappingbuilder import mapping @mapping('/foo') def processor(context, request, response): # whatever 26
27. Конфигурация Flute <config> <dbconnstring>jdbc:postgresql://127.0.0.1:5432/celesta</dbconnstring> <dbuser>postgres</dbuser> <dbpassword>123</dbpassword> <redishost>localhost</redishost> <redisport>6379</redisport> <scorepath>D:/score2</scorepath> <restport>8888</restport> ... <redisqueue> <queuename>q1</queuename> </redisqueue> <scheduledtask> <schedule>5 * * * *</schedule> <script>foo.module.script</script> </scheduledtask> ... </config> Общие параметры (подключение к БД, порты и т. п.) Источники задач (очереди, расписания и т. п.) 27
28. Ссылки • «Celesta и Flute: Создание бизнес- логики в Java-экосистеме» https://habrahabr.ru/post/335966/ • «Идемпотентность и конвергентность для DDL-скриптов» https://habrahabr.ru/post/337816/ • https://corchestra.ru/wiki/ 28
29. Вопросы? ponomarev@corchestra.ru @inponomarev 29