menu基盤チームによるGoogle Cloudの活用事例~Application Integration, Cloud Tasks編~

https://sake-game.connpass.com/event/333486/

Transcript

1. menu基盤チームによる Google Cloudの活用事例 ~Application Integration, Cloud Tasks編~ 1
2. 自己紹介：秋山諒次郎（あきやまりょうじろう） ・今年1月中途入社 ・バックエンド/インフラエンジニア ・基盤チーム ・最近の関心: 決済システム
3. 1:全国33都道府県でデリバリーサービス展開 2:KDDI社との資本業務提携 3:フードだけでなく、「クイックコマース 領域」のサービスとしてNo1を目指す
4. 配達員様 店舗様 注文者様 注文する 配 達 す る 受 け 渡 す 店舗・配達員・ユーザーのスリーマッチングモデル
5. １．Application Integrationの活用 ２．Cloud Tasksの活用 Contents
6. ©MENU.INC Application Integrationの活用
7. Application Integrationとは １．Cloud Cloudが提供する iPaaS 　　（integration Platform as a Service） ２．異なるプラットフォーム間のデータ連携 ３．ノーコード / ローコード
8. Application Integrationとは 外部App Application Integration データマッピング 条件分岐 JavaScript 実行 Pub/Sub Cloud Scheduler REST API 外部App Pub/Sub Cloud Scheduler REST API Cloud SQL Workflows
9. Application Integration UI
10. 背景 ・CSで受けたユーザー問い合わせ起因の処理を 　スムーズに実行したい ・SFA/CRMツールから内部リソースへの処理実行を 　トリガーしたい ・素早く開発したい
11. 背景 SFA/CRM Tool GKE Google Cloud ユーザー問い合わせ
12. やったこと SFA/CRM Tool Application Integration データマッピング トリガー 認証プロファイル pub/sub GKE Google Cloud
13. Application Integrationを使ってみて ・認証周りを簡単に設定できたので素早く開発できた ・認証プロファイルを設定、接続タスクで紐づけるのみ ・認証プロファイルは一度作成すれば再利用できる
14. Application Integrationを使ってみて ・データマッピングが直感的 ・マッピング関数の充実
15. Application Integrationを使ってみて ・Google Workspace アプリとの連携 ・バックオフィス業務にも活用できそう
16. ©MENU.INC Cloud Tasksの活用
17. 自己紹介：石倉 佳文（いしくら よしふみ） ・23卒新卒入社 ・基盤チーム ・バックエンド/インフラエンジニア ・関心のある技術 Go, k8s, o11y, 仮想化
18. 背景 ・外部の企業のシステムからmenuに商品を登録するために　使 用するAPIがある ・こちらのAPIの商品画像をアップロードする部分で負荷の　部分 で問題があった ・こちらのAPIを一定のスループットを保ちながら安定させ　る必 要があった
19. 課題 ・商品画像のアップロードで課題 ・非同期で処理していたが、特に流量の制限をしていなかっ　たの でたくさんイベントが発行されると後続のサーバーに　負荷がかか る（スケールが間に合わない） ・画像のアップロードする処理が短期間で同時に走ってしまうと　 Cloud Natのポートが枯渇する問題が発生した
20. 要件 ・画像のアップロードの速度はそこまで求められていない（夜　中に 実行して朝完了していればOK） ・スパイクするようなリクエストがきても緩やかに安定して完　了させ たい ・過剰スケールなどをしないようにイベント流量を制御できる　ような 状態にしておきたい
21. 改善前の構成 簡略図
22. やったこと ・画像をアップロードするサーバーをVPCの外に出した　（ポート 枯渇の解消） ・画像をアップロードするサーバーをGCEからCloud Runに　変 更した（より柔軟にスケールできる） ・Cloud Tasksを導入した（イベントの流量を調整できる）
23. Cloud Tasksとは ・Google Cloudが提供している非同期タスクを実行するこ　との できるフルマネージドサービス ・タスクという単位でキューに実行したい処理をためる ・キューにためたタスクの実行タイミングが柔軟に調整でき　る ・リトライする機構が標準である
24. Cloud TasksとPub/Subの比較 ・Cloud Tasksはパブリッシャー側で制御することが目的 ・具体的な配信スケジュールの決定 ・配信レート ・リトライなど Cloud Tasks か Pub/Sub かの選択
25. Cloud TasksとPub/Subの比較 ・PubSubはパブリッシャーとサブスクライバーの分離が　 　目 的 ・パブリッシャーはサブスクライバーのことを気にする必　要がな い ・パブリッシャーに対して複数のサブスクライバーという　構成を 取れるので、イベント駆動なアーキテクチャなどと　親和性が高く 拡張性の高い構成を作りやすい Cloud Tasks か Pub/Sub かの選択
26. Cloud TasksとPub/Subの併用 ・Pub/Subはイベント駆動型のアーキテクチャに適している ・大量のメッセージ配信を得意としている ・Cloud TasksはHTTPリクエストのバッファリングや柔軟な　流通 量の制御などに適している 組み合わせることでPub/Subでイベント駆動なアーキテクチャを 実現しつつ、Cloud Tasksで処理をバッファリングすることでシンプ ルな構成で拡張性や高負荷への柔軟性の高い構成を実現できる https://cloud.google.com/blog/ja/products/serverless/buffer-http-requests-with-cloud-tasks
27. タスクの作成方法 ・Create Taskメソッド ・タスク単位でのルーティングが必要な場合など複雑な非同 　　 期処理を行いたい時に使用する ・Buffer Taskメソッド ・すぐに実行する必要のないHTTPリクエストをキューに　　　 バッファリングして適切なタイミングで実行する ・キューレベルのルーティングが必要 ・クライアントライブラリ(SDK)の提供はない ※アクセス 　　 トー クンの取得の実装は自分で行なった
28. タスクの作成方法 ・今回はスパイクするような高負荷をバッファリングして緩　やかに 処理したいのでBuffer Taskメソッドが適切 https://cloud.google.com/tasks/docs/creating-http-target-tasks?hl=ja
29. 改善後の構成 簡略図
30. Cloud Tasksを使ってみて良かったこと ・インフラのレイヤーで調整することができる → アプリケーション側で調整する必要がないので実装コ 　　 ストがかからない → 目標実行完了時間などと動作を見合わせてあとから調 　　 整しやすい → 配信レートとは別に最大同時実行数を設定することが　　 できスケールする最大値を固定することができ制御し　　 やす かった
31. Cloud Tasksを使ってみて良かったこと ・標準で柔軟なリトライ機構 → Cloud Runで一時的なエラーが発生してもリトライし　 てくれる
32. Cloud Tasksを使ってみて良かったこと ・Cloud Tasks側の負荷を気にしなくていい → タスクをたくさん作っても詰まることなく安定した動　　 作 だった
33. menuのサービスを支える仲間を募集中です！！！ 採⽤情報はこちら！