Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CircleCIとSchemaSpyを使ったMySQLドキュメントの自動生成

Dd5ce24e9cc88d7a491aec105e558d7e?s=47 MATSUURA, yosuke
April 21, 2022
Technology
1
130

 CircleCIとSchemaSpyを使ったMySQLドキュメントの自動生成

2022年4月21日 CircleCIユーザーコミュニティミートアップ#9での発表資料です

Dd5ce24e9cc88d7a491aec105e558d7e?s=128

MATSUURA, yosuke

April 21, 2022
Tweet

More Decks by MATSUURA, yosuke

See All by MATSUURA, yosuke
WebRTC配信システムをAWSからオンプレミスに切り替えている話
Dd5ce24e9cc88d7a491aec105e558d7e?s=48 bateleurx
12
11k
AWS Keymanagement Serviceを知ろう
Dd5ce24e9cc88d7a491aec105e558d7e?s=48 bateleurx
0
220
機密情報をKMS+RDS,S3とParameter Storeを使って保存した話
Dd5ce24e9cc88d7a491aec105e558d7e?s=48 bateleurx
0
2.7k
VAddy導入案内
Dd5ce24e9cc88d7a491aec105e558d7e?s=48 bateleurx
0
190
0から始まるかもしれない固定長整数をINT型に入れたい
Dd5ce24e9cc88d7a491aec105e558d7e?s=48 bateleurx
0
920

Other Decks in Technology

See All in Technology
What's new in Vision
53e2d354b3299d64a54af680865516d5?s=48 satotakeshi
0
190
Camp Digital 2022: tailored advice
8fadc4cc83e533c19a6d13db9d46cb3e?s=48 kyliehavelock
0
140
スクラムのスケールとチームトポロジー / Scaled Scrum and Team Topologies
4dd89003cc8fe9f21d67b0c99b773436?s=48 daiksy
1
420
Custom GitHub Actions by Java
E68f2e8b47dc1769380a1fa8181df3dd?s=48 kazamori
0
280
NFT(非代替性トークン)、DeFi(分散金融) の虚像と実像 / NFT (Non-Fungible Token), DeFi (Decentralized Finance): False and Real Images
847a328633b1df6b11cc2f72430025e6?s=48 ks91
PRO
0
260
Target SDK Versionを上げない Notification runtime permission対応
0c5e92294cc0cfba620641c589db9378?s=48 napplecomputer
0
130
JDK Flight Recorder入門
484571ccba0db66b69dc11761afdd0c4?s=48 chiroito
1
490
雑な攻撃からELBを守る一工夫 ＋おまけ / Know-how to protect servers from miscellaneous attacks
8e8410eb785755ae2cb485f85dbab6e8?s=48 hiroga
0
470
ログ基盤をCloudWatchLogからNewRelic Logs + S3に変えたら 利便性も上がってコストも下がった話
72328eacb3f08064170cfec86b728d2a?s=48 onohiroshi1
0
170
Internet Explorer は Microsoft Edge へ - IE の歩みとこれから -
B8a848a5d23adf51f4f5373da52c2804?s=48 yuhara0928
1
3.5k
多様な成熟度のデータ活用を総合支援するKADOKAWA Connectedのデータ組織について
058dd218ad1491cf904b1105b94fe5a8?s=48 kadokawaconnected
PRO
0
190
Microsoft Build 2022 Recap Party!! Azure のデータ & 分析サービス 注目アップデート / microsoft-build-2022-recap-azure-data-and-analytics
22ac00b36d2057e61ee1c06f0f5dc6cb?s=48 nakazax
0
250

Featured

See All Featured
Imperfection Machines: The Place of Print at Facebook
7c8469ee8c9e594c65c59b919626c08d?s=48 scottboms
253
12k
Six Lessons from altMBA
766b9746b59e6f09e280cd33cf4ed419?s=48 skipperchong
14
1.4k
Side Projects
027d1ebf66cc039a0bd3b55eeadbe75d?s=48 sachag
450
37k
The Web Native Designer (August 2011)
0bce06bd06ee7a2c4f5500f25dcf7f18?s=48 paulrobertlloyd
74
1.9k
Facilitating Awesome Meetings
245cee81a9c424266e5e401d844ea881?s=48 lara
29
4k
Building Flexible Design Systems
91cefdf141106fa10674aae74ce05890?s=48 yeseniaperezcruz
310
34k
Designing Experiences People Love
1b75d89772b7eea1f6c89fbf362607d9?s=48 moore
130
22k
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
E425fe9f170efa0dfaf8ab69d7107418?s=48 aki_i
23
15k
The Success of Rails: Ensuring Growth for the Next 100 Years
C44e1f7e22c3f23cff7bc130871047ef?s=48 eileencodes
10
3.3k
Building an army of robots
5f2da528927a2ec9ba4fec2069cbc958?s=48 kneath
299
40k
Embracing the Ebb and Flow
C9b18d9dff88a9dd2393364c2b3b21bd?s=48 colly
73
3.4k
Typedesign – Prime Four
A0517b08532aec8ab2aae3f65d40ad86?s=48 hannesfritz
33
1.3k

Transcript

  1. CircleCI ユーザーコミュニティ ミートアップ #9 2022年4月21日 CircleCIを使った MySQL DBドキュメント 自動生成

  2. Twitter: 蟒蛇（「ウワバミ」と読みます） @uwabami_garden CI歴 2.5年、うちCircleCI歴 2年 その割に去年から新入社員研修でCICDを担当している 最近会社のCircleCI Serverが3.xに更新されたことで、研修資料が大幅作り直しに なり嬉し泣きしている

    自己紹介

  3. 開発していると、しばしばDBのスキーマを変更することがある DDLは適当に実行すると事故になるので、実行にはフローがある スキーマ変更の運用

  4. DDL作成 チェック 実行 ドキュメント 更新

  5. DDL作成 チェック 実行 ドキュメント 更新 TOIL

  6. スキーマがバージョン管理されていない DDLのチェックとスキーマ定義書の更新がTOILになっている 解決したいフローの課題

  7. スキーマがバージョン管理されていない →マイグレーションツールを導入してGit管理 DDLのチェックとスキーマ定義書の更新がTOILになっている →CircleCIで自動実行 フローの課題

  8. DDL作成 自動チェック 実行 ドキュメント 自動更新

  9. マイグレーション

  10. マイグレーションツールの導入 dbmate(https://github.com/amacneil/dbmate) RDBや開発言語に依存しないSQLベースのマイグレーションツール 導入当初のスキーマを出発地点として、マイグレーションしていく

  11. スキーマチェック

  12. チェック項目は大きく分けて3つに分類される - 業務知識が必要なチェック - ex. 入れたいデータとデータ型が適合しているか - DDLだけで機械的に判別可能なチェック - ex.

    インデックスコメントがあるか - 機械的に判別可能だがDDLだけでは判断できないチェック - ex. インデックスの重複 スキーマチェック項目の分類

  13. チェック項目は大きく分けて3つに分類される - 業務知識が必要なチェック（手動でやる） - ex. 入れたいデータとデータ型が適合しているか - DDLだけで機械的に判別可能なチェック（自動化） - ex.

    インデックスコメントがあるか - 機械的に可能だがDDLだけでは判断できないチェック（自動化） - ex. インデックスの重複 スキーマチェック項目の分類

  14. tbls(https://github.com/k1LoW/tbls) - 「インデックスにコメントをつける」などチェックできる - 本来はDBドキュメントの生成ツール - linterとして使っているが、ER図の自動生成機能などもある DDLだけで機械的に判別可能なチェック

  15. pt-duplicate-key-checker(https://www.percona.com/doc/percona-toolki t/LATEST/pt-duplicate-key-checker.html) - Percona Toolkitに含まれるツール - インデックスの重複を指摘してくれる - 重複インデックスがあっても戻り値は0なので、テストをfailさせた い場合は工夫が必要

    インデックス重複チェック

  16. ドキュメント生成

  17. SchemaSpy(https://schemaspy.org/) - 自動的にテーブル一覧やER図を生成してくれる - tblsでもドキュメント生成はできるが、ArtifactsからHTMLを直接表 示できたほうが都合が良かったので採用 ドキュメントの作成

  18. None
  19. None

  20. CircleCIでの実行フロー

  21. Gitにpush ↓ 初期状態（dbmate導入直前）のスキーマファイルインポート ↓ dbmateでマイグレーション ↓ tbls, pt-duplicate-key-checkerでチェック ↓ SchemaSpyでドキュメント生成

    実行フロー

  22. ArtifactsにあるドキュメントをPRでチェックする mainにマージするとS3にも保存され、CloudFront経由で表示 CloudFront上にあるドキュメントを正として扱う 自動で生成されるので忘れない 生成されたドキュメントの保存

  23. S3を更新するには当然AWS認証が必要 せっかくなのでOIDCを活用したいが、CircleCI Serverにはまだない😢 実運用では涙を飲んでAPIキーを使っていますが、この発表用のデモリポ ジトリではOIDC認証になっています OIDC認証?

  24. SchemaSpy出力: https://schemaspy.venom.blue/ コードサンプル: https://github.com/bateleurX/dbmate_migration Sakila Sample Databaseを例に実際にCIフロー実装とスキーマドキュメン トを生成しています サンプルコードはGNU Affero

    General Public Licenseで公開しています サンプル集

  25. DBドキュメントの更新はCIを使うと便利 DDLレビューも機械的な項目はCIでやろう CircleCI ServerのOIDC対応待ってます まとめ