GoによるSQLクエリテストの取り組み / Using Go to Implement SQL Query Tests

メルペイ加盟店の管理システムを開発しているチームには、複雑な条件を持つBigQueryのSQLクエリがいくつか存在しています。例えば、加盟店管理に関する費用計算などの計算クエリのように、外部環境の変化によって要件が定期的に変更され、マイクロサービス化などのシステム化が難しいクエリがあります。このようなクエリは複雑であるだけでなく、テスタビリティにも問題がありました。そのため、開発者がテストを実施することが困難になっており、クエリの変更を安心して行うことができない状態にありました。
本セッションでは、このような複雑な条件を持つBigQueryのSQLクエリに対して、Goのテストコードとして自動テストを作成した取り組みについてお話します。

The team charged with developing a management system for Merpay merchants deals with SQL queries for BigQuery that have a number of complex requirements. For instance, for calculation queries for such things as calculating costs related to merchant management, the requirements change periodically due to changes in the external environment. As a result, there are some queries for which it is difficult to systemize operations using such things as microservices. The complexity of these kinds of queries has not been the only difficulty we have encountered, either; there were also issues with testability. This made it cumbersome for developers to test their work and did not allow them to feel completely at ease with the query changes that they made.
In this session, we’ll talk about our initiative to create automatic tests as Go test code for working with SQL queries for BigQuery that have a number of complex requirements.

------
Merpay & Mercoin Tech Fest 2023は3日間のオンライン技術カンファレンスです。
IT企業で働くソフトウェアエンジニアおよびメルペイ・メルコインの技術スタックに興味がある方々を対象に2023年8月22日（火）、23日（水）、24日（木）の3日間、開催します。 Merpay & Mercoin Tech Fest は事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りです。

今年のテーマは「Unleash Fintech」。 メルペイ・メルコインのこれまでの技術的な取り組みはもちろん、メルカリグループのFintech事業における新たな挑戦をお伝えします。 セッションでは事業を支える組織・技術・課題などへの試行錯誤やアプローチなど多面的にご紹介予定です。

メルペイ・メルコインが今後どのようにUnleash（解放）していくのか、ぜひ見に来てください。

■イベント関連情報
- 公式ウェブサイト：https://events.merpay.com/techfest-2023/
- 申し込みページ：https://mercari.connpass.com/event/286670/
- Twitterハッシュタグ： #MerpayMercoinTechFest
■リンク集
- メルカリ・メルペイイベント一覧：https://mercari.connpass.com/
- メルカリキャリアサイト：https://careers.mercari.com/
- メルカリエンジニアリングブログ：https://engineering.mercari.com/blog/
- メルカリエンジニア向けTwitterアカウント：https://twitter.com/mercaridevjp
- 株式会社メルペイ：https://jp.merpay.com/

Transcript

1. Session Title Goによる SQLクエリテストの取り組み Yuki Mukasa / @a-r-g-v(batta) Marketplace IDP Team
2. Yuki Mukasa / @a-r-g-v IDP Team所属 2020年に新卒バックエンドエンジニアとしてメルペ イに入社 2023年4月までメルペイ加盟店管理のシステム開 発と運用に従事 現在はメルカリの認証・認可を担う IDPチームに所 属している Backend Engineer @ Marketplace IDP Team
3. アジェンダ • 背景 • 課題 • 解決方法 • デモ • 効果 • 今後の展望
4. 背景 • 複雑な条件を持つBigQuery SQLクエリが存在している ◦ 外部環境により要件が定期的に変更される ◦ システム化が困難 • クエリは複雑さの他に、テスタビリティの問題も抱えていた ◦ 改修契機の開発者テストの実施が困難になっていた ◦ クエリの変更を安心して行えない状態
5. 背景：クエリの複雑性 • 契約条項に基づく複雑な条件 ◦ (例) 審査通過日 、加盟店獲得後の決済情報、決済用QRコードの要否 • 複数のマイクロサービス・データベースへの依存 ◦ 業務ドメインで分割されているサービスを横断参照している ▪ (例) 申し込み、審査、事業者情報、決済、加盟店精算、決済用QR コード配送など • 最長で 600行の数十のクエリが存在している
6. 課題 • クエリに対する開発者テストが煩雑であること ◦ テストデータの投入の煩雑さ ▪ 依存テーブル数や必要テストパターン数の多さ ▪ 手作業の多さ • リグレッションテストスイートが存在しなかったこと ◦ クエリの変更を安心して行えない状態
7. 解決方法 • Go言語でクエリのテストを簡単に書けるようにする方法の作成 ◦ テストコード中でデータを投入・クエリ実行し、結果をアサーションする ◦ 簡単に行うために、これを支援するライブラリを作成 • CIで自動テストを実行しデグレード検知できるようにする
8. 解決方法：クエリテストの動作イメージ Goのテストとしてテストケースを実装する。テストケースごとに以下を実行します。 入力：テスト対象クエリのパス、挿入したいテストデータ 1. テスト対象クエリが依存しているテーブルを抽出し、テスト用データセット配下にテーブル を1件ずつ作成します。 2. テストケースで指定されているテストデータを、テスト用テーブルに挿入 3. 作成したテーブルに使用するように、対象クエリのFROM句を書き換えます。 4. クエリを実行し、期待している結果と同じか確かめます。 5. テストケースのクリーンアップで、作成したテスト用テーブルをすべて削除
9. 解決方法：コード生成でデータ作成支援 • 依存テーブルをGoの構造体として生成する仕組みの作成 ◦ https://github.com/ginokent/bqschema-gen-go を改造 • 同一リポジトリに存在するすべてのSQLファイルを読み、コード生 成を行うコマンドを作成した ◦ クエリが依存しているテーブル一覧を表す構造体 ◦ 各テーブル定義に対応する Goの構造体
10. デモ実演
11. 効果 • テスト実施が容易になり安心してクエリを変更できるように ◦ テストデータのコーディングに型の恩恵 ▪ 誤指定の防止やコード補完 ◦ テーブルテストや共通化による差分テストケース追加の容易化 ▪ 境界値テスト・網羅的なテストがしやすくなった • 開発者テストケースの蓄積によるデグレード検出の自動化
12. 今後の展望 • QAテストケースの置き換えの検討 • クエリテストのケース網羅性可視化 ◦ テストカバレッジなどを算出できるような仕組みの検討 • 投入テストデータの正しさの検討