spansql で ENUM を使いたかった話

Transcript

1. spansql で ENUM を使いたかった話 Asakusa.go #4 2024.11.08
2. 自己紹介 Sugar Sato (@satoIsSugar) • 2023年 BuySell Technologies入社 • 基盤チーム所属(Portal/Account/Approval) PjM ◦ アソシエイトマネージャー • Go / Angular / Serverless ◦ Go歴: Go 年目くらい • 熱帯植物 ◦ ビカクシダ • 猫 ◦ Lambda (♀ 2才)
3. プロダクト群「バイセルリユースプラットフォーム Cosmos」の開発が進行中 リユースに必要なすべての機能を提供する 「リユースプラットフォーム Cosmos」の開発が進行中です。 Cosmosを活用して、バイセルグループ全体での業務効率改善やデータドリブン経営の深化を目指しています。 リユースプラットフォーム Cosmos 自社開発のリユース特化業務基幹システムでありサービス群の集合体 買取申込 買取・査定 在庫管理 販売 多様なチャネルで収益最大化 CRM -顧客対応- 買取種別に応じた最適なシステム構築 Visit -訪問買取 - Store -店舗買取 - Promas -商材マスタ - Appraisal -専門査定 - Stock -在庫管理 - EXS -販売管理 - Core -会員管理- Portal -データ利用- Pocket -データ基盤- 買取 専門チームによる真贋・査定と連携 査定 申込 効率的な顧客対応 在庫 在庫管理の最適・効率化 販売 データ 各事業プロセスにある データを一元管理 ：基幹システム
4. アジェンダ ENUM を適用してみる 01 spansql を読んでみた 02 まとめ 04 後日談 03
5. ENUM を適用してみる
6. • CloudSpanner 導入 • wrench をマイグレーションツールとして使用 • ENUM をつかってカラムに制約を持たせたい ◦ 参考: ENUM の生成方法 ENUM を使いたかった背景
7. ENUM を使いたかった背景 • 手順 ◦ proto ファイル定義 ◦ pb ファイル生成 ◦ gcloud コマンドで流し込み (DDL + proto ファイル) • くわしいことは CloudSpannerでENUMを使う方法 を参照
8. 準備は整ったので マイグレーション実行！
9. ｽﾞｺｰｰｰｰｰ !!
10. • エラー箇所 ◦ wrench/pkg/spanner/migration.go ▪ LoadMigrations → ddlToStatements • ※マイグレーションに頼らず手動で SQL を実行することはできる failed to parse DDL/DML statements
12. spansql.ParseDDL でこけてる ... spansql ってなんだ？
13. spansql を読んでみた
14. コードを読む前に spansql の概要から
15. • 公式ライブラリ (google-cloud-go) • > spansql is reusable for anything that interacts with Cloud Spanner on a syntactic basis, such as tools for handling Spanner schema (DDL). ◦ google-cloud-go/spanner/spannertest /README.md • リリース予定日遅れがち spansql とは
16. spansql とは • 「spannertest のおまけとして世に出ることになった」ものらしい ◦ > Neither of these packages aims to be performant nor exact replicas of the production Cloud Spanner. ◦ > They are reasonable for building tools, or writing unit or integration tests. ▪ google-cloud-go/spanner/spannertest /README.md
17. そしたら マイグレーション処理の流れをみていく
18. 対象とするクエリは下記 CREATE TABLE
19. マイグレーションの全体像
20. マイグレーションの全体像
21. ParseDDL ~ parseCreateTable
22. ParseDDL ~ parseCreateTable
23. マイグレーションの全体像
24. parseCommaList ~ parseColumnDef
25. マイグレーションの全体像
26. parseType ~ parseBaseOrParameterizedType
27. ところで結局 spansql 以外を使って ENUM 適用したの？
28. 残念ながら見送った
29. • アプリケーション内でチェックをする • SQL 文に CHECK 制約を使う ENUM を使わない場合
30. ENUM は使えなかったけど とりあえず CHECK 制約で回避 🙌
31. 後日談
32. 後日談 • この資料を作ったタイミングで ENUM が使えるように ... ◦ spanner/spansql: support for Protobuf column-types ◦ ENUM を使えるようにするPR ◦ v1.72.0 のリリース待ち • ただソースコード読んだだけになってしまった...w ◦ でも楽しかったのでOKです
33. まとめ
34. まとめ • spansql で ENUM が使えるようになっていた • wrench で詰まったら spansql のコード見ると良さそう • spansql のリリース頻度が体感で若干遅い • spansql に対応していないクエリがある(あった) ◦ ChangeStreams ◦ (対応済み) CREATE PROTO BUNDLE ◦ (対応済み) ENUM
35. 「spansql で ENUM を使いたかった話」 「spansql で ENUM を使えるようになってた話」
36. Thank you
37. 引用 • https://github.com/cloudspannerecosystem/wrench • https://cloud.google.com/spanner/docs/reference/standard-sql/protocol-buffers#create_a_protocol_buffer • https://qiita.com/sgash708/items/6813a68eb91e92ca2227 • https://github.com/googleapis/google-cloud-go/tree/f847c75df3bda9d74257ab68e55ac01191c287fc/spanner • https://github.com/cloudspannerecosystem/wrench • https://x.com/apstndb/status/1833864450287554840 • https://github.com/googleapis/google-cloud-go/issues/10944 • https://github.com/googleapis/google-cloud-go/pull/10945 • https://github.com/googleapis/google-cloud-go/pull/11088 • https://github.com/cloudspannerecosystem/wrench/blob/3a330a06ffd2149a5bf5143d582b5c637554575d/pkg/spanner/migration.go# L120 • https://x.com/apstndb/status/1833864450287554840 • https://github.com/googleapis/google-cloud-go/blob/main/spanner/spannertest/README.md • https://pkg.go.dev/cloud.google.com/go