Максим Грамин — Database as a Code!

В последнее время во все сферы разработки ПО все больше проникает концепция "Everything as a Code" — CI (Jenkins pipeline), инфраструктура (Ansible playbooks), тестирование (сценарии Cucumber и Spock), документация (AsciiDoc(tor)) и многое другое.

Весь этот код, наряду с основным кодом разрабатываемого приложения, так же находится под управлением системы контроля версий, собирается на билд-серверах, участвует в автотестах.

В докладе попробуем показать применимость подхода к разработке и сопровождению БД, под эту схему подходят не только старые-добрые инкрементальные миграции (liquibase, flyway), а также исходный код объектов (baseline), код манипуляции объектами и самим сервером (инстансом) БД.

Кроме того, Максим расскажет о своем проекте c открытым кодом, в котором старается воплотить некоторые описываемые идеи.

Transcript

1. Database as a Code! Грамин Максим @GraminMaksim
2. Disclaimer  Мало Java  Много DB  «Личное мнение на личном опыте»(c) 2
3.  Дизайн  Разработка  Сопровождение  Мониторинг  Тюнинг 3
4. Типичный проект  Несколько СУБД разных видов  Много инстансов БД  Их становится всё больше … 4
5. New Trends and Challenges for DBAs https://www.quest.com/infographic/new-trends-and-challenges-for-dbas8130723/ 5
6. DBAs Face New Challenges: Trend in Database Administration https://www.quest.com/whitepaper/dbas-face-new-challenges-trend-in-database-administration8130482/ 6
7. DBAs Face New Challenges: Trend in Database Administration https://www.quest.com/whitepaper/dbas-face-new-challenges-trend-in-database-administration8130482/ 7
8. DBAs Face New Challenges: Trend in Database Administration https://www.quest.com/whitepaper/dbas-face-new-challenges-trend-in-database-administration8130482/ 8
9. DBAs Face New Challenges: Trend in Database Administration https://www.quest.com/whitepaper/dbas-face-new-challenges-trend-in-database-administration8130482/ 9
11. Управление инфраструктурой  Много серверов  Много ОС’ей  Много софта 11
12. Infrastructure as Code  SCM Ansible, Chef, Puppet, etc  DSL Ansible Playbooks, Chef Recipes  Markets Ansible Galaxy, Chef Supermarket  COMMUNITY! 12
13. Everything as Сode  Continuous integration Jenkins pipeline  Documentation DocBook, LaTeX, AsciiDoc  Network octodns, dnscontrol  etc etc 13
14. А что насчет «Database as Code»? 14
15. «Database as Code» https://speakerdeck.com/tastapod/arent-we-forgetting-someone https://twitter.com/tastapod https://dannorth.net 15
16. https://dzone.com/articles/database-as-code-a-novel-concept 16
17. "Database as Code"? 17
18. Миграторы  Liquibase  Flyway  DbMaintain, dbdeploy, gh-ost, etc 18
19. Pyrseas  Describe db-schema as YAML  Compare with another db-scheme  Generate modifying SQL https://github.com/perseas/Pyrseas 19
20. 2bass - DB schema as code tool  Idempotent DDL scripts  Modify your database schema  Run:  bass init  bass plan  bass apply https://github.com/CourseOrchestra/2bass 20
21. pgbedrock Manage a Postgres:  Cluster's roles  Role memberships  Schema ownership  Privileges https://github.com/Squarespace/pgbedrock 21
22. А что еще конфигурировать кроме схемы БД?  DBA-tasks (start/stop db, etc)  Space Management (create TS, move table, shrink table, etc)  Performance Tuning (set system params, on/off trace, etc)  Security and Auditing (grant/revoke priv, RLS, on/off audit etc)  Metrics (cpu, ram, read/write, connections, etc)  Preventing the problem (fk without indexes, table without stats, etc) 22
23. Ну какой нафик SQL в 2к18-м? 23
24. https://db-engines.com/en/ranking_trend 24
25. SQL in NoSQL 25
26. SQL in NewSQL 26
27. SQL in BigData 27
28. SQL in Streams 28
29. SQL in Clouds 29
30. А что еще конфигурировать кроме схемы БД? 30 Oracle Postgresql
31. The Information Schema is an ANSI-standard Support:  Microsoft SQL Server  MySQL  PostgreSQL  HSQLDB Not support:  Oracle Database  IBM DB2  SQLite  Sybase ASE 31
32. Не только схема данных Oracle:  v$session  v$process  v$bh  user_tables Postgresql:  pg_database  pg_user  pg_stat_activity  pg_stat_replication MySQL:  processlist  partitions  statistics  etc 32
33. В т.ч. и для NoSQL Cassandra:  tables  keyspaces  sessions  hints ClickHouse:  tables  database  processes  merges Cockroach:  tables  schemata  columns  statistics 33
34. Oracle 34
35. Postgresql 35
36. 36 Cassandra
37. > Большинство проблем конфигурирования, администрирования и сопровождения БД можно решить кодом, SQL-кодом … 37
38. Как в этом всем разобраться? 38
39. Сайты со скриптами  dbrnd.com/postgresql-dba-scripts  dbrnd.com/category/mysql-dba-script  orafaq.com/wiki/Scripts  oracle-base.com/dba/scripts  dba-oracle.com/oracle_dba_scripts.htm  red-gate.com/products/dba/sql-scripts-manager/scripts 39
40. Репозитории со скриптами  dataegret/pg-utils Useful DBA tools by PostgreSQL-Consulting.com  pgexperts/pgx_scripts A collection of useful little scripts for database analysis and administration  gwenshap/Oracle-DBA-Scripts Scripts that make my job as a DBA a bit easier 40
42. Идея  «Управляемые» скрипты github.com/sql-boot/sql-boot-postgresql github.com/sql-boot/sql-boot-oracle github.com/sql-boot/sql-boot-clickhouse github.com/v_pooupkin/my-postgresql-conf  REST-интерфейс github.com/sql-boot/sql-boot  Интеграция «со всем» Мониторинг, визуализация данных, безопасность, etc 42
43. Архитектура 43
44. https://github.com/sql-boot/sql-boot-postgresql 44
45. Запуск 45
46. Rest query examples  GET table/persons  DROP table/persons  GET table/bookings/size?select=row_estimate  GET table/bookings/size/limit=10  GET table/bookings/size/limit=10&top=100  GET table/bookings/count?cache=true 46
47. http://…/table/bookings.ticket_flights/size https://github.com/sql-boot/sql-boot-postgresql/blob/master/database/schema/table/README.md#size 47
48. http://…/table/bookings/no_stat https://github.com/sql-boot/sql-boot-postgresql/tree/master/database/schema/table#no_stat В 48
49. http://…/table/bookings/depends https://github.com/sql-boot/sql-boot-postgresql/tree/master/database/schema/table#depends В 49
50. Автотесты 50
52. Maximum integration 52
53. Swagger Или может быть Grafeas …. 53
54. Monitoring «SQL-BOOT» 54
55. «SQL-BOOT» plantuml-rest-service Diagrams  DOT  GraphML  Asciidoctor 55
56. https://github.com/sql-boot/sql-boot-oracle/tree/master/database/schema/table#relations 56
57. https://github.com/sql-boot/sql-boot-postgresql/tree/master/database/schema/table#depends 57
58. «SQL-BOOT» Security 58
59. Chatops «SQL-BOOT» > /db-bot show process on postgres_test > /db-bot show process on oracle_prod > /db-bot analyze persons on postgres_test > /db-bot analyze persons on oracle_prod http 59
60. Пример конфигурации 60
61. ORACLE C* POSTGRESQL «SQL-BOOT» INFLUXDB TELEGRAF Read simple sql-files SQL http://sql-boot-server:8080/process 61
62. Выводы  Конфигурирование БД – это не только миграции схемы  SQL – это тоже код  Интеграция с другими инструментами 63
63. @GraminMaksim github.com/sql-boot/sql-boot mgramin@gmail.com Спасибо за внимание! Вопросы? 64