Web開発を支えるマイグレーションツールについて / sqldef introduction for psql users

Transcript

1. 1.

   Web開発を⽀える マイグレーションツールについて 第11回 PostgreSQLアンカンファレンス@東京

2. 2.

   ⾃⼰紹介 @yudppp 株式会社HRBrain CTO 好きな⾔葉: 冪等性
 嫌いなモノ: 浮動⼩数点の誤差 基本的にWebエンジニア


3. 3.

   ⽬標評価管理クラウド

4. 4.

   HRBrainとは • ⽬標と評価を管理するクラウドSaaSを作って いる会社です。 • リリース開始からもうすぐで3年

5. 5.

   先⽇Buildersconにて
 Row Level Securityは マルチテナントの 銀の弾丸になりうるのか
 という話をしました https://speakerdeck.com/yudppp/row-level-security-is-silver-bullet-for-multitenancy

6. 6.

   概要 • SaaS開発していく上でリリース頻度を⾼く開 発していくには真のマルチテナント(全ての会 社の情報が⼀つのDB)にしていきたいが、セ キュリティ的な不安要素をPostgreSQLの RowLevelSecurityを使って解決した話

7. 7.

   PostgreSQL Conference Japanで この内容とマイグレーションについて話そうとしたら CfP落ちました。。

8. 8.

   現在のリリース頻度 • 週に2回リリース • 毎回ではないがSQLのマイグレーションが頻 繁に必要

9. 9.

   みなさんマイグレーション の管理どうされていますか

10. 10.

    元々のマイグレーション管理 gooseというGo製のToolを利⽤

11. 11.

    起きた問題① Aさん「81_modify_user_birthday_col.sql」 Bさん「81_add_era_table.sql」 Aさん「Merge!」 Bさん「Merge!」 CI 「Test / Deploy 失敗！」

12. 12.

    CIでTest実⾏した瞬間は ⼤丈夫なので Mergeされる前に 検知するのが難しい

13. 13.

    起きた問題② 前提：
 みんなでdev環境⼀つを共有していてfeature ブランチをSlackで告知すれば好きなタイミ ングであげれる運⽤ (本当はfeatureブランチごとdeployしたい)

14. 14.

    起きた問題② Bさん「令和追加した確認するのでdev使い ます。」
 CI 「Deployed!」 Migrationがなぜか呼ばれない。。
 誰かがあげたMigrationがdownされてない

15. 15.

    この運⽤をしていると Migrationを戻すタイミング が難しい

16. 16.

    解決策を探す

17. 17.

    k0kubun/sqldef The easiest idempotent MySQL/PostgreSQL schema management by SQL. This

    is inspired by Ridgepole but using SQL, so there's no need to remember Ruby DSL. 定義したschema.sqlとDB接続した情報を⽐較し ていい感じにALTER⽂を流してくれる Go製なのでbinaryだけで動く
18. 18.

    https://github.com/k0kubun/sqldef

19. 19.

    どうなるか 常にschemaファイルとDBの状態が等しくな るので、上記のような問題は起きない。 もし起きたとしても、schemaファイルが Conflictするので気づける。

20. 20.

    sqldefの内部実装 Vitess(Vitess is a database clustering system for horizontal scaling

    of MySQL)のsqlparser のsourceを拡張して作られている。 information_schema.table_constraintsあた りをSELECTした結果を元にCREATE⽂を Buildしている。
21. 21.

    既知の課題 基本的な構⽂は対応しているが、Vitessから 派⽣したこともありPostgreSQLのあまり使わ れない構⽂が未対応だったりする。(そう例え ばRowLevelSecurityとか) sqldefのPostgreSQLのユーザーがそこまで多 くなさそう。

22. 22.

    まとめ 冪等性が担保された安全な⽣活がしたい。 sqldefをPostgreSQLで使うユーザーを増やし て、より洗礼されたツールになってほしい 今⽇の発表で1⼈でもユーザーが増えたら嬉 しい

23. 23.

    参考資料 •SQLで羃等にDBスキーマ管理ができるツー ル「sqldef」を作った (https:// k0kubun.hatenablog.com/entry/2018/08/ 25/114455) •http://vitess.io/