MTC2018 - Listing Service: モノリスからマイクロサービスへ

Speaker: 森國 泰平

メルカリで現在進められているマイクロサービス化の1つとして出品機能のマイクロサービス化があります。
PHP & モノリスのコードを可能な限り互換性を保ちながらGo & マイクロサービスに移植するにあたり、どのように開発を進めているのかを紹介します。

Transcript

1. Listing Service: モノリスからマイクロサービスへ 森國 泰平 Software Engineer (Backend)
2. Software Engineer Backend Taihei Morikuni
3. Listing Service: モノリスからマイクロサービスへ
4. Listing Service • メルカリへの出品機能を担当するマイクロサービス • モノリス(PHP)からマイクロサービス(Go)に移行する 最初のプロジェクト • 現在は1つのHTTPエンドポイントを対象として開発中 • 他のマイクロサービスとの通信はgRPC
5. マイクロサービス化の戦略 APIの互換性を保ちつつ サービスを分割 チームとして独立した開 発を可能にする • マイクロサービス化の目的はコードの分割で はなくスケール可能な組織にすること • APIの互換性を保つことでCanary Release を 可能にしリスクを低下させる
6. • 出品に関連があるロジックのみを移植 • 一部はPHPに残したままWebhookで連携 Listing Serviceの戦術 • 既存のAPIに対するアプリの自動テスト • QAチームによる手動確認 • AQAチームによるテストツール(開発中) APIの互換性を保ちつつ サービスを分割 チームとして独立した開 発を可能にする
7. マイクロサービス化の課題 GCPからSakuraの MySQLへ接続 機能追加・修正への追従 トランザクションの分割 PHP例外の互換性
8. GCPからSakuraのMySQLへ接続 • マイクロサービス化が完了するまではPHPとDBを共有 • セキュリティ的にMySQLのポートを外部公開したくない 課題 対策 • SQL on gRPCのサービスとGoのライブラリを開発 ◦ 基本的なCRUDのみ対応しJoinやTransactionは非対応
9. GCPからSakuraのMySQLへの接続 message SelectRequest { repeated string columns = 1; string table = 2; Where where = 3; ... } message SelectResponse { repeated Row rows = 1; int64 count = 2; }
10. GCPからSakuraのMySQLへの接続 req := Select("id", "name", "age"). From("users"). Where(Eq("lang", "ja"), And(Gt("age", "18"))). OrderBy(ASC("created_at")). ToRequest() err := dbClient.Select(ctx, &user, req)
11. トランザクションの分割 • 商品・配送情報・分析用データなどの更新が1つのトランザク ションに含められていた 課題 対策 • 商品データはItem Service(Sakura)がトランザクション処理 • お客様の目に触れるデータはできるだけリクエスト内で処理 • 内部データはCloud PubSubを使い非同期の結果整合性に
12. function listing() { $db->begin(); $item->save(); $photo->save(); $shipping->save(); $analysis->save(); $db->commit(); } トランザクションの分割 → トランザクション: 商品を出品したのになかったら不自然 → 同期: 商品の画像がなかったら不自然 → 非同期: 売れるまで配送されない → 非同期: 分析用データはお客様に見えない
13. 機能追加・修正への追従 • 出品はメルカリのコアな機能の1つなのでPHPからGoへの移行 中にも機能の追加や修正が行われる 課題 対策 • PHPのリポジトリに変更追跡用ブランチを作り、Goに移行した コードを削除 ◦ 変更が行われればMergeするときにConflictする ◦ 全てのコードが消えたら完了
14. 機能追加・修正への追従 function do_something() { if (is_x()) { return 1; } return hello(); } func DoSomething() int { }
15. function do_something() { if (is_x()) { return 1; } return hello(); } 機能追加・修正への追従 func DoSomething() int { if IsX() { return 1 } }
16. 機能追加・修正への追従 function do_something() { if (is_x()) { return 1; } return hello(); } func DoSomething() int { if IsX() { return 1 } return Hello() }
17. 機能追加・修正への追従 function do_something() { if (is_x() || is_y()) { return 1; } return hello(); } func DoSomething() int { if IsX() || IsY() { return 1 } return Hello() } Merge conflict !!
18. 機能追加・修正への追従 function do_something() { if (is_x() || is_y()) { return 1; } additional_process(); return hello(); } func DoSomething() int { if IsX() || IsY(){ return 1 } AdditionalProcess() return Hello() } Not migrated !!
19. PHP例外の互換性 • APIのレスポンスにエラーコードとしてPHPの例外名が含まれて いる ◦ クライアントはPHPの例外名を使用している ◦ GoからもPHPの例外名を返す必要がある • 例外の種類毎にレスポンスのJSONが一部異なる • マイクロサービス化によって例外も各サービスに分散 ◦ 各サービスがPHPの例外との互換性を保つ必要がある 課題
20. PHP例外の互換性 対策 • PHPの例外との互換性を保つためのGoの共有ライブラリを開 発 • エラーに対応するPHPの例外情報をgRPCのStatus.detailsに 付与 • PHP互換のHTTPエンドポイントでは例外情報を取り出し、レス ポンスのJSONを直接生成
21. PHP例外の互換性 // gRPC Server func DoSomething(ctx context.Context, r *pb.Request) (*pb.Response, error) { ... if err != nil { s, err := exception.WithException(codes.NotFound, exception.NotFoundException) return nil, s.Err() } }
22. PHP例外の互換性 // PHP compatible HTTP Server func HTTPServer(r http.ResponseWriter, r *http.Requeset) { res, err := client.DoSomething(ctx, &pb.Request{}) if err != nil { e, isException, err := exception.FromError(err) body, err := exception.ToJSON(e) r.Write(body) } }
23. マイクロサービス化の課題 GCPからSakuraの MySQLへ接続 機能追加・修正への追従 トランザクションの分割 PHP例外の互換性
24. まとめ • 長期的な課題を解決できるように(& 負債を生まないように)意識 してマイクロサービス化を進めている • モノリス(PHP)からマイクロサービス(Go)に移行する最初のプロ ジェクトなので資産が整ってなくて大変な部分は多い • 正解がない中ひたすら正しさを求める楽しさがある ◦ 俺が信じる設計を信じろ！