保育・教育施設の業務省力化を提供する Webサービスの改善と技術的負債解消への取り組みーマイクロサービスへの挑戦ー

2023年2月10日岡村謙杜 Chavdar Dimitrov 保育・教育施設の業務省力化を提供する Webサービスの改善と技術的負債解消への取り組みーマイクロサービスへの挑戦ー

2 ブルガリア出身、沖縄の大学を卒業後に東京の人事関連SaaS会社に入社。主にバックエンドの開発を担当。安全なリリースと快適な開発環境の構築に関心があります。 Chavdar Dimitrov チャブダール　ディミトロフ 2021.08 コドモンに開発エンジニアとして入社
　　　　　マイクロサービス化に携わる経歴自己紹介

3 経歴プロダクト開発チームにて、バックエンド、フロントエンド問わず開発に携わる。Kotlinとチーム開発とオカメインコが好き。自己紹介岡村謙杜おかむらけんと 2021.05
コドモンに開発エンジニアとして入社 2021.10 プロダクト開発チームのマネージャーになる

4 Mission

5 すべての先生に子どもと向き合う時間と心のゆとりをこんなプロダクトを開発していますメインプロダクトは、保育・教育施設職員の業務を支援するWebアプリケーション。保護者と施設のやり取りを支えるモバイルアプリケーションや、施設職員向けモバイル版アプリケーション、外部サービスと連携するAPIなども開発しています。

6 はじめに

7 本題に入る前に

8 昨年のシステム稼働状況について

9 2022年4月から半年ほどシステム稼働が不安定な状況が時折発生してしまいました

10 安定稼働にもつながるマイクロサービスアーキテクチャ化について本日は話します

11 本日話す内容 1 2 3 なぜマイクロサービスアーキテクチャへ移行しているか • 取り組んでいる理由 • 移行戦略
実際にどんな感じでやっているのか • 開発の進め方(XP) • 事例紹介：資料管理サービスの移行やってみての感想・学びこれからについて 4

12 本日話す内容 1 なぜマイクロサービスアーキテクチャへ移行しているか • 取り組んでいる理由 • 移行戦略実際にどんな感じでやっているのか •
開発の進め方(XP) • 事例紹介：資料管理サービスの移行やってみての感想・学びこれからについて 2 3 4

15 CONFIDENTIAL - © 2022 CoDMON Inc. 15 なぜマイクロサービスアーキテクチャへ移行しているかコドモンは2015年にリリースされ、
現在は 13,000以上の施設にご利用いただいています

16 CONFIDENTIAL - © 2022 CoDMON Inc. 16 なぜマイクロサービスアーキテクチャへ移行しているかリリース当初から2020年までは
「早くたくさん機能を作る」ことを目標にしていました

17 CONFIDENTIAL - © 2022 CoDMON Inc. 17 なぜマイクロサービスアーキテクチャへ移行しているかその結果...
「早くたくさん機能を作る」ことを目標にしていた

18 CONFIDENTIAL - © 2022 CoDMON Inc. 18 なぜマイクロサービスアーキテクチャへ移行しているか •
Aを修正したら関係ないと考えていたBに影響が出る • 複数ブランチ運用による複雑度の増加 • リリース後に1箇所不具合が見つかると、全てがロールバックされてしまう • リリース調整のチーム間コミュニケーションの増加 • どこか1箇所で問題が発生すると、システム全体に波及してしまう

Aを修正したら関係ないと考えていたBに影響が出る • 複数ブランチ運用による複雑度の増加 • リリース後に1箇所不具合が見つかると、全てがロールバックされてしまう • リリース調整のチーム間コミュニケーションの増加 • どこか1箇所で問題が発生すると、システム全体に波及してしまう安定してユーザーに価値を届け続けることが難しい状態に

Aを修正したら関係ないと考えていたBに影響が出る • 複数ブランチ運用による複雑度の増加 • リリース後に1箇所不具合が見つかると、全てがロールバックされてしまう • リリース調整のチーム間コミュニケーションの増加 • どこか1箇所で問題が発生すると、システム全体に波及してしまう安定してユーザーに価値を届け続けることが難しい状態に開発チームの機動力低下

21 CONFIDENTIAL - © 2022 CoDMON Inc. 21 なぜマイクロサービスアーキテクチャへ移行しているか「ユーザに安定して素早く価値を届け続ける」
「早くたくさん機能を作る」

「早くたくさん機能を作る」

23 CONFIDENTIAL - © 2022 CoDMON Inc. 23 なぜマイクロサービスアーキテクチャへ移行しているかマイクロサービスの利点
• 独立してデプロイ可能 • 耐障害性の向上 • 特定箇所のみスケール可能 • チームの自律性向上 • 技術選定の機会を得られる

24 CONFIDENTIAL - © 2022 CoDMON Inc. 24 なぜマイクロサービスアーキテクチャへ移行しているかマイクロサービスの利点
• 独立してデプロイ可能 • 耐障害性の向上 • 特定箇所のみスケール可能 • チームの自律性向上 • 技術選定の機会を得られる「ユーザーに安定して素早く価値を届け続ける」

27 CONFIDENTIAL - © 2022 CoDMON Inc. 27 なぜマイクロサービスアーキテクチャへ移行しているか「ユーザーに安定して素早く価値を届け続けられるようになる」
ことはわかっているけれど・・・

28 CONFIDENTIAL - © 2022 CoDMON Inc. 28 なぜマイクロサービスアーキテクチャへ移行しているかマイクロサービスアーキテクチャへの移行に
会社として取り組むのは初めての挑戦社内にナレッジも溜まっていない経験者も少ないどれくらい時間かかるかも予想しづらい「ユーザに安定して素早く価値を届け続ける」ことが実現できる可能性があることはわかっているでも、

会社として取り組むのは初めての挑戦社内にナレッジも溜まっていない経験者も少ないどれくらい時間かかるかも予想しづらい全体の戦略を立てるために不確実性を減らす必要があった

34 CONFIDENTIAL - © 2022 CoDMON Inc. 34 なぜマイクロサービスアーキテクチャへ移行しているかビジネス視点
・新規ユーザー獲得に繋がる・契約維持に繋がる・プロダクトの活用速度が上がる・重大なトラブルを防止できる etc. 技術視点・ドメイン複雑度・他サービスとの依存度・データ移行の必要性・スケーリングの必要度合い etc. ✖ 改修可能性を上げることで事業成長につながるか改修難易度と移行難易度

35 CONFIDENTIAL - © 2022 CoDMON Inc. 35 なぜマイクロサービスアーキテクチャへ移行しているか分解しやすく
分解によるメリットも大きいところから

36 CONFIDENTIAL - © 2022 CoDMON Inc. 36 なぜマイクロサービスアーキテクチャへ移行しているかまず最初に
コンテキストマップを作成しました

38 CONFIDENTIAL - © 2022 CoDMON Inc. 38 なぜマイクロサービスアーキテクチャへ移行しているか資料
シフト

39 CONFIDENTIAL - © 2022 CoDMON Inc. 39 なぜマイクロサービスアーキテクチャへ移行しているかドメイン複雑度
モバイルリリースデータ移行他サービス依存度シフト高無無低資料低有有低

シフト管理 2021年リリース

シフト管理 2021年リリース資料管理 2022年リリース

44 本日話す内容なぜマイクロサービスアーキテクチャへ移行しているか • 取り組んでいる理由 • 移行戦略実際にどんな感じでやっているのか • 開発の進め方(XP)
• 事例紹介：資料管理サービスの移行やってみての感想・学びこれからについて 3 4 1 2

46 開発の進め方 1 開発手法開発サイクルブランチ戦略 2 1 3 1
3

47 開発の進め方 1 開発手法開発サイクルブランチ戦略 1 1 3 2

48 CONFIDENTIAL - © 2022 CoDMON Inc. 48 実際にどんな感じでやっているのか：開発の進め方システムのアーキテクチャだけでなく、
開発手法でもユーザーに安定して価値を届け続けることにアプローチしたかった

49 CONFIDENTIAL - © 2022 CoDMON Inc. 49 実際にどんな感じでやっているのか：開発の進め方エクストリームプログラミング(XP)を
取り入れながら行いました

50 CONFIDENTIAL - © 2022 CoDMON Inc. 50 実際にどんな感じでやっているのか：開発の進め方プラクティス
人間性　経済性　相互利益自己相似性　改善　ふりかえり　流れ　機会冗長性　失敗　品質ベイビーステップ責任の引き受け多様性チーム全体　計画ゲーム小さなリリース　受け入れテスト共同所有　持続可能なペースメタファー継続的インテグレーションテスト駆動開発　ペアプログラミングリファクタリング　シンプルな設計価値コミュニケーションシンプリシティフィードバック勇気リスペクト原則

51 CONFIDENTIAL - © 2022 CoDMON Inc. 51 実際にどんな感じでやっているのか：開発の進め方 Robert
C.Martin (著), 角征典 (翻訳), 角谷信太郎 (翻訳) 「Clean Agile　基本に立ち戻れ」KADOKAWA 47ページ

C.Martin (著), 角征典 (翻訳), 角谷信太郎 (翻訳) 「Clean Agile　基本に立ち戻れ」KADOKAWA 47ページ • 全てのプラクティスを取り入れる • 守破離の守を大切にする “一度にひとつだけのプラクティスを選んでも改善は見られるだろう。だが、組み合わせて使うようになれば、劇的な改善が見られるはずだ。プラクティスの相互作用が、その効果を増幅させるのである。” Kent Beck, Cynthia Andres, 角征典(訳) 「エクストリーム・プログラミング」オーム社 34 ページ

54 開発の進め方開発手法開発サイクルブランチ戦略 2 1 3

55 CONFIDENTIAL - © 2022 CoDMON Inc. 55 実際にどんな感じでやっているのか：開発の進め方ユーザーストーリーの
受け入れ条件について認識を合わせるペアでTDDを実践しながら進めるリモートリポジトリにPush ローカルでテストが通ることを確認受け入れテストを記述 CI上でテスト実行ステージング環境で確認サイクルを回し続ける本番環境にデプロイ

56 CONFIDENTIAL - © 2022 CoDMON Inc. 56 実際にどんな感じでやっているのか：開発の進め方ユーザーストーリーの
受け入れ条件について認識を合わせるペアでTDDを実践しながら進めるリモートリポジトリにPush ローカルでテストが通ることを確認受け入れテストを記述 CI上でテスト実行ステージング環境で確認サイクルを回し続ける本番環境にデプロイ

57 開発の進め方開発手法開発サイクルブランチ戦略 1 3 3 2

60 CONFIDENTIAL - © 2022 CoDMON Inc. 60 実際にどんな感じでやっているのか：開発の進め方 •
開発する時の運用がシンプルに ◦ コンフリクトを早めに検知できる(修正も小さい) ◦ Mainブランチをpullしてくればよいという状況が作れるトランクベース開発によるメリット

61 CONFIDENTIAL - © 2022 CoDMON Inc. 61 実際にどんな感じでやっているのか：開発の進め方トランクベース開発
ペアプログラミング常にソースコードがレビューされているテスト駆動開発コードがシンプルでテストが存在している受け入れテストストーリー毎の受け入れ条件を定義している継続的インテグレーション頻繁に統合し、テストが通るか確認している

63 CONFIDENTIAL - © 2022 CoDMON Inc. 63 実際にどんな感じでやっているのか：事例紹介資料管理サービス
保護者向けサービス施設向けサービス

64 CONFIDENTIAL - © 2022 CoDMON Inc. 64 実際にどんな感じでやっているのか：事例紹介 EC2
保護者向けサービス Amazon Aurora モノリス EC2 施設向けサービス Amazon S3

保護者向けサービス Amazon Aurora モノリス EC2 施設向けサービス Amazon Aurora 新サービス ECS Fargate 資料管理サービス Amazon S3 Amazon S3 Amazon S3 Amazon CloudFront

保護者向けサービス Amazon Aurora モノリス EC2 施設向けサービス Amazon Aurora 新サービス ECS Fargate 資料管理サービス AWS Fargate Amazon SQS Publisher Subscriber データ同期バッチ Amazon S3 Amazon S3 Amazon S3 AWS Fargate Amazon CloudFront

69 CONFIDENTIAL - © 2022 CoDMON Inc. 69 実際にどんな感じでやっているのか：事例紹介バックエンド
Kotlin 扱うドメインを型で表現できる初導入ではあるが、メンバーの経験があった E2Eテスト Gauge + Playwright 仕様をマークダウン形式で表現できる Chrome + FireFox + Safariのテストができる CI/CD GitHub Actions インフラ ECS 容易にスケールできる Dockerとの相性フロントエンド Nuxt.js 社内にナレッジが溜まっていたフロントで新しい技術を取り入れるのはリスクが高いと判断技術スタック

71 CONFIDENTIAL - © 2022 CoDMON Inc. 71 実際にどんな感じでやっているのか：事例紹介 •
現行システムと疎結合にしたい • ビッグバンリリースを避けたい • リプレイス後のプロダクトは容易に運用できるように • 今回はAPI・DB・フロントを切り出しましたリプレイスのアプローチ

72 CONFIDENTIAL - © 2022 CoDMON Inc. 72 実際にどんな感じでやっているのか：事例紹介リプレイスのアプローチ
リリースしてからユーザーに数年使っていただいていたため、何が真に求められるかが解像度高くわかっていた

73 CONFIDENTIAL - © 2022 CoDMON Inc. 73 実際にどんな感じでやっているのか：事例紹介 APIとDBのみを移行する選択肢もありましたが、資料サービスに関して
は変えたい仕様があり、このタイミングで変えたほうがリプレイス後に変えるより効率的だと判断しました。リプレイスのアプローチリリースしてからユーザーに数年使っていただいていたため、何が真に求められるかが解像度高くわかっていた

74 CONFIDENTIAL - © 2022 CoDMON Inc. 74 実際にどんな感じでやっているのか：事例紹介 Strangler
pattern

75 CONFIDENTIAL - © 2022 CoDMON Inc. 75 実際にどんな感じでやっているのか：事例紹介 Strangler
patternとは • 移行対象のサービスを稼働させつつ、横で代行となるサービスを構築する • 並行稼働しながら徐々に新サービスに切り替える https://microservices.io/patterns/refactoring/strangler-application.html

最初から本番環境へ小さくリリースすることができるトラフィックを切り替えるまで影響がない Strangler patternのメリット

カナリアリリース徐々に実際のユーザーにリリースできる Strangler patternのメリット

フェイルセーフ新規サービスで問題が発覚したら、旧サービスにすぐにロールバックできる Strangler patternのメリット

データマイグレーション • 施設向けサービス • 保護者アプリ

ストック型のサービス、蓄積された過去の資料を閲覧・編集できる必要があるデータマイグレーションが必要な理由

ストック型のサービス、蓄積された過去の資料を閲覧・編集できる必要がある • 過去の資料は旧データベースを見るという選択肢もあったが、サービスの関係は疎結合にしたかったデータマイグレーションが必要な理由

保護者向けサービス Amazon Aurora モノリス EC2 施設向けサービス Amazon S3 Amazon Aurora 新サービス ECS Fargate 資料管理サービス Amazon S3 Amazon S3 Amazon CloudFront

保護者向けサービス Amazon Aurora モノリス EC2 施設向けサービス Amazon Aurora 新サービス ECS Fargate 資料管理サービス Amazon S3 Amazon S3 Amazon S3 Amazon CloudFront

保護者向けサービス Amazon Aurora モノリス EC2 施設向けサービス AWS Fargate Amazon SQS Publisher Subscriber データ同期バッチ Amazon S3 AWS Fargate Amazon Aurora 新サービス ECS Fargate 資料管理サービス Amazon S3 Amazon S3 Amazon CloudFront

91 CONFIDENTIAL - © 2022 CoDMON Inc. 91 実際にどんな感じでやっているのか：事例紹介 Amazon
Aurora 新サービス ECS Fargate 資料管理サービス Amazon S3 Amazon S3 EC2 保護者向けサービス Amazon Aurora モノリス EC2 施設向けサービス AWS Fargate Amazon SQS Publisher Subscriber データ同期バッチ Amazon S3 AWS Fargate Amazon CloudFront

93 CONFIDENTIAL - © 2022 CoDMON Inc. 93 実際にどんな感じでやっているのか：事例紹介テストの概要
自動テスト（Gauge）+手動テストで移行バッチを担保するテスト観点自動テスト • 移行したデータがS3やDBに入っているか • 資料の状態の組み合わせなど網羅的に確認 • 移行失敗によるロールバックの確認手動テスト • データ移行前後の表示崩れがないかを確認 • 移行バッチ実行による負荷のテスト • 各種設定の確認(SQS,Datadog(log)など)

94 CONFIDENTIAL - © 2022 CoDMON Inc. 94 実際にどんな感じでやっているのか：事例紹介自動テスト実行構成(ローカル)
Amazon SQS Amazon S3 Spring Batch 旧DB 新DB 旧新

アプリのリリースと独立できる同期状態にして嬉しかったこと

アプリのリリースと独立できる • システムをメンテナンスモードにする必要がない同期状態にして嬉しかったこと

アプリのリリースと独立できる • システムをメンテナンスモードにする必要がない • 旧サービスと新サービスの並行稼働が可能になった同期状態にして嬉しかったこと

保護者向けサービス Amazon Aurora モノリス EC2 施設向けサービス Amazon S3 移行前 Amazon Aurora 新サービス ECS Fargate 資料管理サービス Amazon S3 Amazon S3 Amazon CloudFront

Aurora 新サービス ECS Fargate 資料管理サービス Amazon S3 Amazon S3 EC2 保護者向けサービス Amazon Aurora モノリス EC2 施設向けサービス Amazon S3 移行後 Amazon CloudFront

フィーチャーフラグ社内ユーザーのみが見えるようにし、本番に継続的にデプロイしていく施設向けサービス並行稼働

フィーチャーフラグ社内ユーザーのみが見えるようにし、本番に継続的にデプロイしていく施設向けサービス並行稼働 featureName hoge fuga

カナリアリリース失敗したとしても小さく失敗するように施設向けサービス並行稼働

カナリアリリース失敗したとしても小さく失敗するように施設向けサービス並行稼働 betaFacilities 1 2

Aurora 新サービス ECS Fargate 資料管理サービス Amazon S3 Amazon S3 EC2 保護者向けサービス Amazon Aurora モノリス EC2 施設向けサービス Amazon S3 移行前 Amazon CloudFront モバイルアプリ

Aurora 新サービス ECS Fargate 資料管理サービス Amazon S3 Amazon S3 Amazon Aurora モノリス Amazon S3 移行後 Amazon CloudFront EC2 保護者向けサービス EC2 施設向けサービスモバイルアプリ

フィーチャーフラグフィーチャーフラグを利用し、アプリリリースを行わずにロールバックできるように • フェイルセーフ新画面でエラーが発生した際は、旧画面を見れるように • 段階リリース AppleとAndroidの機能を利用して実施安全なリリースに向けて

フェイルセーフ ◦ 500エラーが発生した時にそれをユーザーに知らせ、旧画面への遷移を用意安全なリリースに向けて

データマイグレーション並行運用できるようにデータ同期を行った。網羅性の高い自動テストがあることで、不具合修正や細かな仕様変更に対し、回帰的なテストが行えた • 施設向けサービス常時同期でデータ移行をしていたため、新旧サービスを並行稼働させることができ、一気に移行するということを回避したカナリアリリースを行い、少しずつ適応施設を増やしていった • 保護者アプリフィーチャーフラグ・フェイルセーフ・段階リリースを利用し、安全を担保した状態でリリースまとめ

Aを修正したら関係ないと考えていたBに影響が出る　 • 複数ブランチ運用による複雑度の増加　 • リリース後に１箇所デグレが起きると全てが戻ってしまう　 • リリース調整のチーム間コミュニケーションの増加　 • どこか一箇所に問題があると、システム全体に波及してしまう　

Aを修正したら関係ないと考えていたBに影響が出る　→影響は資料サービス内に閉じている • 複数ブランチ運用による複雑度の増加　→トランクベース開発による複雑度の低下 • リリース後に１箇所デグレが起きると全てが戻ってしまう　→他のサービスの影響を受けない • リリース調整のチーム間コミュニケーションの増加　→独立してデプロイできる • どこか一箇所に問題があると、システム全体に波及してしまう　→資料サービス内だけに閉じており、他の影響も受けない

121 CONFIDENTIAL - © 2022 CoDMON Inc. 121 やってみての感想・学び •
XP導入による恩恵資料サービスは安全に素早くリリースができる状態になった。ペアプログラミングにより属人化がなくなり、メンバーそれぞれが得意分野で力を発揮しつつ、他の分野においても成長できた。 • 自動テストを初期から入れたので安全に進めることができたテスト作成に時間を投資し続けることについては、強い気持ちが必要。途中で書かないほうが早いのではと感じる時が来たりする。 (今はチームメンバ全員が書いて良かったと思っています） • 既存サービスとの関わりが難しい既存サービスの仕様や制約の調査を行うことが大切。リプレイスがユーザーの業務に影響を与えないように、トラブルがあった場合もすぐに切り戻せる体制を作っておく。 • 初動の加速が重要初めて作成する基盤が多かったこともあり、プロジェクト完了に8ヶ月間を費やした。今回の経験を蓄えたイネイブリングチームを作ることで、次回以降の初動を早めていきたい。

128 CONFIDENTIAL - © 2022 CoDMON Inc. 128 これからについて •
複雑なトランザクションの管理 • マイクロサービス間の連携自動テスト(CDC) • 初動の高速化(イネイブリングチーム) • リプレイスの複線化

130 ちなみに

マイクロサービスだけでなく、モノリスのリファクタリングやモジュラーモノリス化も進めていますそのために

133 CONFIDENTIAL - © 2022 CoDMON Inc. 133 なぜマイクロサービスアーキテクチャへ移行しているか https://tech.codmon.com/ent
ry/2022/06/28/134446 https://speakerdeck.com/co dmoninc/ji-shu-de-fu-zhai-ni xiang-kihe-isok-keruzi-shi-h asukirufu-noguang-garinimox i-garuhua

134 コドモン採用ページ開発ブログコドモンでは一緒に働きたい仲間を募集しています！

135 ご清聴ありがとうございました！

保育・教育施設の業務省力化を提供する Webサービスの改善と技術的負債解消への取り組み ー ...

保育・教育施設の業務省力化を提供する Webサービスの改善と技術的負債解消への取り組み ー マイクロサービスへの挑戦 ー

More Decks by コドモン開発チーム

Featured

Transcript

保育・教育施設の業務省力化を提供する Webサービスの改善と技術的負債解消への取り組みー ...

保育・教育施設の業務省力化を提供する Webサービスの改善と技術的負債解消への取り組みーマイクロサービスへの挑戦ー