Web開発を支えるマイグレーションツールについて / sqldef introduction for psql users

第11回 PostgreSQLアンカンファレンス@東京で発表する資料
https://pgunconf.connpass.com/event/155951/

Transcript

1. Web開発を⽀える マイグレーションツールについて 第11回 PostgreSQLアンカンファレンス@東京
2. ⾃⼰紹介 @yudppp 株式会社HRBrain CTO 好きな⾔葉: 冪等性
 嫌いなモノ: 浮動⼩数点の誤差 基本的にWebエンジニア

3. ⽬標評価管理クラウド
4. HRBrainとは • ⽬標と評価を管理するクラウドSaaSを作って いる会社です。 • リリース開始からもうすぐで3年
5. 先⽇Buildersconにて
 Row Level Securityは マルチテナントの 銀の弾丸になりうるのか
 という話をしました https://speakerdeck.com/yudppp/row-level-security-is-silver-bullet-for-multitenancy
6. 概要 • SaaS開発していく上でリリース頻度を⾼く開 発していくには真のマルチテナント(全ての会 社の情報が⼀つのDB)にしていきたいが、セ キュリティ的な不安要素をPostgreSQLの RowLevelSecurityを使って解決した話
7. PostgreSQL Conference Japanで この内容とマイグレーションについて話そうとしたら CfP落ちました。。
8. 現在のリリース頻度 • 週に2回リリース • 毎回ではないがSQLのマイグレーションが頻 繁に必要
9. みなさんマイグレーション の管理どうされていますか
10. 元々のマイグレーション管理 gooseというGo製のToolを利⽤
11. 起きた問題① Aさん「81_modify_user_birthday_col.sql」 Bさん「81_add_era_table.sql」 Aさん「Merge!」 Bさん「Merge!」 CI 「Test / Deploy 失敗！」
12. CIでTest実⾏した瞬間は ⼤丈夫なので Mergeされる前に 検知するのが難しい
13. 起きた問題② 前提：
 みんなでdev環境⼀つを共有していてfeature ブランチをSlackで告知すれば好きなタイミ ングであげれる運⽤ (本当はfeatureブランチごとdeployしたい)
14. 起きた問題② Bさん「令和追加した確認するのでdev使い ます。」
 CI 「Deployed!」 Migrationがなぜか呼ばれない。。
 誰かがあげたMigrationがdownされてない
15. この運⽤をしていると Migrationを戻すタイミング が難しい
16. 解決策を探す
17. k0kubun/sqldef The easiest idempotent MySQL/PostgreSQL schema management by SQL. This is inspired by Ridgepole but using SQL, so there's no need to remember Ruby DSL. 定義したschema.sqlとDB接続した情報を⽐較し ていい感じにALTER⽂を流してくれる Go製なのでbinaryだけで動く
18. https://github.com/k0kubun/sqldef
19. どうなるか 常にschemaファイルとDBの状態が等しくな るので、上記のような問題は起きない。 もし起きたとしても、schemaファイルが Conflictするので気づける。
20. sqldefの内部実装 Vitess(Vitess is a database clustering system for horizontal scaling of MySQL)のsqlparser のsourceを拡張して作られている。 information_schema.table_constraintsあた りをSELECTした結果を元にCREATE⽂を Buildしている。
21. 既知の課題 基本的な構⽂は対応しているが、Vitessから 派⽣したこともありPostgreSQLのあまり使わ れない構⽂が未対応だったりする。(そう例え ばRowLevelSecurityとか) sqldefのPostgreSQLのユーザーがそこまで多 くなさそう。
22. まとめ 冪等性が担保された安全な⽣活がしたい。 sqldefをPostgreSQLで使うユーザーを増やし て、より洗礼されたツールになってほしい 今⽇の発表で1⼈でもユーザーが増えたら嬉 しい
23. 参考資料 •SQLで羃等にDBスキーマ管理ができるツー ル「sqldef」を作った (https:// k0kubun.hatenablog.com/entry/2018/08/ 25/114455) •http://vitess.io/