3ヶ月で20万行を消すためにやったこと

Transcript

1. 3ヶ月で20万行を消すためにやったこと PHP Conference Fukuoka 2019 @naopr

2. @naopr • Backend Engineer of CSTool Team ◦ CSTool =

   CS用管理ツール • Love ☗

3. メルカリと福岡 仙台 ・お問い合わせ返信 ・商品・コメント等の監 視 福岡 ・コールセンター ・開発拠点 東京 ・本社

   ・アプリ開発

4. メルカリとPHP • メルカリのAPIはPHPで書かれている！ • モノリス→マイクロサービスへ移行中 ◦ PHPからGoへ ◦ 既存のAPIのふるまいを変えずに各サービスにブレークダウン中 ◦

   MTC2018 - Mercari API: from Monolithic to Microservices

5. 3ヶ月で20万行を消す ためにやったこと

6. アジェンダ • 不要コードを削除するメリット • メルカリで実際に行ったコード削除 ◦ どのようにコードを削除したのか ◦ 結果 •

   まとめ

7. 不要コードを削除するメリット • コードの複雑度の低下 ◦ 行数の削減 ◦ 循環的複雑度の低下 ◦ トランザクションの複雑度の低下 •

   システムの高速化 ◦ レスポンスタイム ◦ CIの実行時間

8. メルカリで実際に行った コード削除

9. コード削除の手法 機能単位 API単位

10. コード削除の手法 機能単位 API単位 今回はこちらのお話

11. API単位でコードを削除するステップ 不要なAPIをリストアップする プロジェクトチームを作る コードを削除する 1 2 3

12. 不要なAPIをリストアップする (1/3) 1. 直近アクセスのないAPIを抽出する a. BigQueryに保存しているアクセスログとPHPのAPI定義を突き合わせる b. 1ヶ月アクセスのないものを抽出する 2. 使われているものと使われていないものに分類する

    a. ひたすらコードを読む b. `git blame` で開発者を見つけて聞く c. そのAPIに関する開発チケットを読む
13. None

14. 不要なAPIをリストアップする (2/3)

15. 不要なAPIをリストアップする (3/3) • 抽出されたAPI（526個） ◦ 別リージョンでのみ使われていたAPI i. メルカリでは元々全リージョン同一リポジトリだった ◦ どこからも呼び出されていないAPI

    ◦ 呼び出し元が既に使われていないAPI • 抽出されたが削除NGになったAPI（156個） ◦ 直近アクセスがないだけで使用されているAPI 526 - 156 = 370 個が削除対象

16. メルカリで不要API削除のために行ったステップ 不要なAPI群をリストアップする プロジェクトチームを作る コードを削除する 1 2 3

17. プロジェクトチームを作る (1/3) • 一緒にコード削除をやってくれる仲間を探す ◦ バックエンドエンジニア x 7 ◦ フロントエンドエンジニア

    x 1 ◦ QAエンジニア x 1 • 削除手順を決める ◦ APIリストをどう管理するか ◦ どのようにQAを行うか

18. プロジェクトチームを作る (2/3) • 仲間探しについて ◦ 370個のAPIを1人で消すのは物理的にも精神的にも無理 ◦ 気が向いたときにやってくれるくらいのゆるい同士を募る ◦ チーム・部署横断でチームを作るのでキックオフをする

    ◦ タフなプロジェクトになるのでの力も借りる

19. プロジェクトチームを作る (3/3) • API管理シート アサイン欄が空のものを選んで ステータス欄とアサイン欄を更新 メモ欄で難易度と雰囲気を感じとる 好きな時に好きなAPIを消せる

20. メルカリで不要API削除のために行ったステップ 不要なAPI群をリストアップする プロジェクトチームを作る コードを削除する 1 2 3

21. コードを削除する (1/2) • 再度直近のアクセスログをチェックする ◦ リストを作ってから消すまでにタイムラグがあるため • Controllerを起点に再帰的に消す ◦ `git

    grep` をひたすら叩く ◦ IDEのシンボルサーチも役に立つ ◦ Controller, Service, Exception, Entity, DB table, DB schema, test, etc… ◦ 中途半端に残すと後の混乱の種になるので徹底的に消す ▪ ただしリファクタはスコープが大きくなりすぎるのでほどほどに

22. コードを削除する (2/2) • 「デグレリスクが怖いです…」 ◦ 単体テストと結合テストがある程度書かれている前提 ◦ メルカリはテストが充実しているので思い切って削除できた ▪ 新機能実装時に必ずテストを書く文化

    ▪ QAチームによる自動e2eテストもある ◦ クリティカルな機能をさわった場合にはQAエンジニアにマニュアルのテストも お願いした ◦ 複雑度が高すぎるAPIは消さない判断もアリ

23. 結果

24. 結果サマリー • 349個のAPIを削除 ◦ 3ヶ月で20万行 • Reverted 9 PRs ◦

    DBテーブルを削除したら別のサービスで使っていた ◦ 使われていたAPIを誤って消してしまい大量のエラーが発生 ◦ 突っ込んだ話はAsk the Speakerや懇親会でぜひ

25. まとめ

26. コード削除は難しい（だがやる価値がある） • 地道にコードを読み、わからなければ詳しいエンジニアに聞くべし • 一人でやるのは無理。チームを作るべし • アクセスログのチェックはしつこいくらいにやるべし • DBテーブルを消す時は他サービスへの影響をチェックすべし •

    ストレスのたまる作業なので適宜ガス抜きをすべし ぜひ、みなさんのチームでも少しずつコード削除を始めてみてください

27. Let’s delete codes!