$30 off During Our Annual Pro Sale. View Details »

CircleCIとSchemaSpyを使ったMySQLドキュメントの自動生成

MATSUURA, yosuke
April 21, 2022
Technology
1
240

 CircleCIとSchemaSpyを使ったMySQLドキュメントの自動生成

2022年4月21日 CircleCIユーザーコミュニティミートアップ#9での発表資料です

MATSUURA, yosuke

April 21, 2022
Tweet

More Decks by MATSUURA, yosuke

See All by MATSUURA, yosuke
WebRTC配信システムをAWSからオンプレミスに切り替えている話
bateleurx
14
11k
AWS Keymanagement Serviceを知ろう
bateleurx
0
260
機密情報をKMS+RDS,S3とParameter Storeを使って保存した話
bateleurx
0
2.8k
VAddy導入案内
bateleurx
0
200
0から始まるかもしれない固定長整数をINT型に入れたい
bateleurx
0
1k

Other Decks in Technology

See All in Technology
アジャイル品質のパターンとメトリクス
washizaki
0
160
Kaggle Days Championship Final 2022 参加報告
dena_tech
PRO
0
410
Souveraineté numérique et logiciel libre: colloque de la SIF 2022
sfermigier
0
260
Microsoft 365 マルチテナント問題と中国テナントから見る Microsoft Purview
seafay
PRO
0
170
APN AWS Top Engineersが語るAWSの最新セキュリティ
cmusudakeisuke
0
810
Headless CMS in LINE
techverse_2022
PRO
0
170
Rook/Cephストレージシステムを開発しながらupstream OSSに成果を還元してきた取り組み
sat
PRO
2
420
Small Tips to use Bun with WebSocket Server and WebAssembly Modules
mganeko
0
2.5k
いにしえのエンプラ情シスが内製化ではなくアーキテクトの「手の内化」を推進した話
minorun365
1
320
テクニカルサポートに影響があったアップデート
uechishingo
0
390
今年やったこと_20年以上続くWebサービスのリプレイス_書いたコード_私がモダンかもと思うPerl
masashi_sutou
0
690
2022/11/24 Java仕様勉強会: Jakarta Servlet
megascus
1
260

Featured

See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
1
290
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
182
15k
Visualization
eitanlees
126
12k
Producing Creativity
orderedlist
PRO
335
37k
Optimizing for Happiness
mojombo
364
64k
Infographics Made Easy
chrislema
234
17k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
349
27k
Art, The Web, and Tiny UX
lynnandtonic
282
18k
The Language of Interfaces
destraynor
148
21k
Unsuck your backbone
ammeep
658
55k
Pencils Down: Stop Designing & Start Developing
hursman
113
10k
Streamline your AJAX requests with AmplifyJS and jQuery
dougneiner
127
8.7k

Transcript

  1. CircleCI ユーザーコミュニティ ミートアップ #9 2022年4月21日 CircleCIを使った MySQL DBドキュメント 自動生成

  2. Twitter: 蟒蛇（「ウワバミ」と読みます） @uwabami_garden CI歴 2.5年、うちCircleCI歴 2年 その割に去年から新入社員研修でCICDを担当している 最近会社のCircleCI Serverが3.xに更新されたことで、研修資料が大幅作り直しに なり嬉し泣きしている

    自己紹介

  3. 開発していると、しばしばDBのスキーマを変更することがある DDLは適当に実行すると事故になるので、実行にはフローがある スキーマ変更の運用

  4. DDL作成 チェック 実行 ドキュメント 更新

  5. DDL作成 チェック 実行 ドキュメント 更新 TOIL

  6. スキーマがバージョン管理されていない DDLのチェックとスキーマ定義書の更新がTOILになっている 解決したいフローの課題

  7. スキーマがバージョン管理されていない →マイグレーションツールを導入してGit管理 DDLのチェックとスキーマ定義書の更新がTOILになっている →CircleCIで自動実行 フローの課題

  8. DDL作成 自動チェック 実行 ドキュメント 自動更新

  9. マイグレーション

  10. マイグレーションツールの導入 dbmate(https://github.com/amacneil/dbmate) RDBや開発言語に依存しないSQLベースのマイグレーションツール 導入当初のスキーマを出発地点として、マイグレーションしていく

  11. スキーマチェック

  12. チェック項目は大きく分けて3つに分類される - 業務知識が必要なチェック - ex. 入れたいデータとデータ型が適合しているか - DDLだけで機械的に判別可能なチェック - ex.

    インデックスコメントがあるか - 機械的に判別可能だがDDLだけでは判断できないチェック - ex. インデックスの重複 スキーマチェック項目の分類

  13. チェック項目は大きく分けて3つに分類される - 業務知識が必要なチェック（手動でやる） - ex. 入れたいデータとデータ型が適合しているか - DDLだけで機械的に判別可能なチェック（自動化） - ex.

    インデックスコメントがあるか - 機械的に可能だがDDLだけでは判断できないチェック（自動化） - ex. インデックスの重複 スキーマチェック項目の分類

  14. tbls(https://github.com/k1LoW/tbls) - 「インデックスにコメントをつける」などチェックできる - 本来はDBドキュメントの生成ツール - linterとして使っているが、ER図の自動生成機能などもある DDLだけで機械的に判別可能なチェック

  15. pt-duplicate-key-checker(https://www.percona.com/doc/percona-toolki t/LATEST/pt-duplicate-key-checker.html) - Percona Toolkitに含まれるツール - インデックスの重複を指摘してくれる - 重複インデックスがあっても戻り値は0なので、テストをfailさせた い場合は工夫が必要

    インデックス重複チェック

  16. ドキュメント生成

  17. SchemaSpy(https://schemaspy.org/) - 自動的にテーブル一覧やER図を生成してくれる - tblsでもドキュメント生成はできるが、ArtifactsからHTMLを直接表 示できたほうが都合が良かったので採用 ドキュメントの作成

  18. None
  19. None

  20. CircleCIでの実行フロー

  21. Gitにpush ↓ 初期状態（dbmate導入直前）のスキーマファイルインポート ↓ dbmateでマイグレーション ↓ tbls, pt-duplicate-key-checkerでチェック ↓ SchemaSpyでドキュメント生成

    実行フロー

  22. ArtifactsにあるドキュメントをPRでチェックする mainにマージするとS3にも保存され、CloudFront経由で表示 CloudFront上にあるドキュメントを正として扱う 自動で生成されるので忘れない 生成されたドキュメントの保存

  23. S3を更新するには当然AWS認証が必要 せっかくなのでOIDCを活用したいが、CircleCI Serverにはまだない😢 実運用では涙を飲んでAPIキーを使っていますが、この発表用のデモリポ ジトリではOIDC認証になっています OIDC認証?

  24. SchemaSpy出力: https://schemaspy.venom.blue/ コードサンプル: https://github.com/bateleurX/dbmate_migration Sakila Sample Databaseを例に実際にCIフロー実装とスキーマドキュメン トを生成しています サンプルコードはGNU Affero

    General Public Licenseで公開しています サンプル集

  25. DBドキュメントの更新はCIを使うと便利 DDLレビューも機械的な項目はCIでやろう CircleCI ServerのOIDC対応待ってます まとめ