fake clock microservice -時刻をハックしてテストする方法- / The “Fake Clock” Microservice: How to Hack the Time for Testing

メルペイのあと払いやメルペイスマートマネーでは、請求書を2ヶ月延滞した状態などをテストしたいケースがあります。
現実時間で2ヶ月かけてテストするのは非効率すぎるため、時刻をハックして短時間でテストを終わらせる仕組み(fake clock)を用意しています。複数のマイクロサービスにまたがる場合にどのような課題があるのか、またどのように解決しているのかについて開発者が語ります。

For Merpay deferred payments and Merpay Smart Money, there are cases where our engineers wanted to use invoices that were two months overdue in tests.
Since running tests in real time over a period of two months was too inefficient, the team created a hack that allows them to complete tests in a shorter amount of time by using a mechanism called fake clock.
In this session, the developers discuss the issues they encountered when a test straddled multiple microservices and how they resolved this.

------
Merpay & Mercoin Tech Fest 2023は3日間のオンライン技術カンファレンスです。
IT企業で働くソフトウェアエンジニアおよびメルペイ・メルコインの技術スタックに興味がある方々を対象に2023年8月22日（火）、23日（水）、24日（木）の3日間、開催します。 Merpay & Mercoin Tech Fest は事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りです。

今年のテーマは「Unleash Fintech」。 メルペイ・メルコインのこれまでの技術的な取り組みはもちろん、メルカリグループのFintech事業における新たな挑戦をお伝えします。 セッションでは事業を支える組織・技術・課題などへの試行錯誤やアプローチなど多面的にご紹介予定です。

メルペイ・メルコインが今後どのようにUnleash（解放）していくのか、ぜひ見に来てください。

■イベント関連情報
- 公式ウェブサイト：https://events.merpay.com/techfest-2023/
- 申し込みページ：https://mercari.connpass.com/event/286670/
- Twitterハッシュタグ： #MerpayMercoinTechFest
■リンク集
- メルカリ・メルペイイベント一覧：https://mercari.connpass.com/
- メルカリキャリアサイト：https://careers.mercari.com/
- メルカリエンジニアリングブログ：https://engineering.mercari.com/blog/
- メルカリエンジニア向けTwitterアカウント：https://twitter.com/mercaridevjp
- 株式会社メルペイ：https://jp.merpay.com/

Transcript

1. Session Title fake clock microservice 〜時刻をハックしてテストする方法〜 vvakame / Hiraku Nakano / Hiroyuki Tanaka
2. vvakame Solutionsチームで働くねこ大好きエンジニ ア。GoとかGraphQLとかが得意。今回は社 内ツール作成第一人者（自称）として fakeclock改善に乗り出した。 Merpay Solutions Team Hiraku Nakano Merpay Credit Design Team 2021年1月にメルペイに入社。 Credit Design チームのバックエンドエンジニアとして、日々 信用を創造してなめらかな社会を創ってい る。 Merpay Credit Design Team Hiroyuki Tanaka 2015年メルカリ入社。メルペイでは銀行接 続、NFC決済など色々な microserviceの Tech Leadを経て、今はCredit Designチーム のバックエンドエンジニアとして従事。
3. ご質問をお待ちしております！ 本セッションはリアルタイムに実施しています。 YouTubeのチャットに投稿するか、 X（Twitter）のハッシュタグ #MerpayMercoinTechFest を ご利用ください。
4. 時刻とテストの問題について解説 01 fake clock serviceについて 02 このセッションの構成 03 トークセッション
5. 金融領域にありがちなライフサイクル ※メルペイのあと払いの例 どのようにテストするか？
6. よくあるテスト方法 • システム時刻を8/1に変更 ◦ 購入をテスト • システム時刻を9/1に変更 ◦ 請求バッチをテスト • システム時刻を10/1に変更 ◦ 延滞バッチをテスト ◦ 延滞後の支払いをテスト • ...
7. これまでの時刻操作機能 ビジネスロジック上の「現在時刻」を環境単位で変更する機能を、各マ イクロサービスで実装。時刻操作APIをテスト環境限定で開放する • debug.SetNow("2022-08-01") ◦ 購入をテスト • debug.SetNow("2022-09-01") ◦ 請求バッチをテスト • debug.SetNow("2022-10-01") ◦ 延滞バッチをテスト
8. 01. 時刻操作したいマイクロサービスが複数ある a. マイクロサービスは協調動作する場合が多い 02. デバッグが大変 03. 環境を専有し、並列にテストしづらい 既存の時刻操作の問題点
9. 複数マイクロサービスがある問題 • ビジネスロジックに関係するマイクロサービスすべてに対してそれ ぞれ時刻操作が必要 ◦ 「時刻設定忘れ」のミスが起きがち • みんな再実装しているのも無駄 A service B service C service SetNow() SetNow() SetNow()
10. デバッグが大変 「時刻設定忘れ」「時刻ズレ」は不可解な挙動を引き起こす 「時間停止状態」ならではのバグ • 同じ時刻に2件snapshotレコードを保存しようとしてエラーになるな ど 本番では発生し得ない事象のデバッグに追われる
11. 環境を専有する 環境自体の時刻を固定化してしまうため、設定を分割するために 複数のマイクロサービス環境を用意しているが、無駄が多い • システム時刻を8/1に変更 ◦ 購入をテスト • システム時刻を9/1に変更 ◦ 請求バッチをテスト • システム時刻を10/1に変更 ◦ 延滞バッチをテスト ◦ 延滞後の支払いをテスト • ... A service B service C service • システム時刻を8/1に変更 ◦ 購入をテスト • システム時刻を9/1に変更 ◦ 請求バッチをテスト • システム時刻を10/1に変更 ◦ 延滞バッチをテスト ◦ 延滞後の支払いをテスト • ... A service B service C service Aさんがテストする環境 Bさんがテストする環境
12. 一度の操作で各マイクロサービスの時刻を変更したい 01 環境ごとではなく、リクエストごとに時刻操作をしたい 02 手軽に時刻を操作したい 03 求めているもの
13. 時刻を固定した環境を複製する 01 メタデータとして伝播させる 02 時刻操作用のマイクロサービスを作る 03 検討案
14. 時刻を固定した環境を複製する 必要なタイミングでマイクロサービス群を複製してしまう Pros • 状態が本番環境に近い Cons • 環境立ち上げに数分かかるので、手軽にテストができない
15. メタデータとして伝播させる gRPCやHTTP, PubSubのメタデータで時刻設定を含めておく その時刻でビジネスロジックを動作させる 下流のサービスへのリクエストでも設定を伝播させていく ✅時刻設定がリクエスト単位になり、1つの環境をシェアして並列テスト ができる service A service B service C service D PubSub E {"now": "2023-07-01"}
16. メタデータ案で問題視された点 • 伝播がどうしても止まってしまう箇所があった ◦ 例: 社外システム • ルート上のどこかにメタデータの伝播の未実装があると、 動作がおかしくなる service A service B service C service D 社外システム Z {"now": "2023-07-01"} メタデータハンドリング 未実装 コールバックが 真の現在時刻で返ってくる
17. 時刻操作をユーザー単位にする 管理用サービスを作る 各サービスは処理中のuser_idに対応する時刻設定をfakeclock serviceから取得する fakeclock service service A service B service D service C SetNow($user_id, "2023-07-01")
18. fakeclock service案 Pros ✅ テストがユーザー単位のため、別ユーザーを使えば並列性は確保 できる ✅ 外部システムが系に入っていても、時刻を強制的に復元できる ✅ サービス毎の実装を共通化する効果 ✅ 未実装サービスがあっても、導入済みサービスは恩恵がある Cons 😇 本番環境と構成が違う 😇 新たなサービス運用 (テスト環境限定のSPOF)
19. fakeclock導入の現状 導入、難しい！ 最初から導入していれば… 実はこれから各マイクロサービスへ導入していくフェーズです。 運用が開始されてからの知見はまた後日共有したい。 SDKはできてる + 設定用MS(user-tkool)は稼働している + パイロット のMSにコード上の変更はできたが検証工数が…
20. 質問の確認 • YouTube, SNS のコメントを一回確認します！ • #MerpayMercoinTechFest
21. パネルディスカッション
22. パネルディスカッション (テーマ) • 今どこまで進んでいるのか • 導入時のQAどうするのか問題 • グループ全体から見た位置づけ • 時刻操作あるあるトーク ◦ OS時刻ずらしすぎてtokenが失効して通信できなくなる • マイクロサービスとe2eテスト • ここがすごいよ新fakeclockサービス