Tweet
Tweet

Slide 1

Slide 1 text

menu基盤チームによる Google Cloudの活用事例 ~Application Integration, Cloud Tasks編~ 1

Slide 2

Slide 2 text

自己紹介：秋山諒次郎（あきやまりょうじろう） ・今年1月中途入社 ・バックエンド/インフラエンジニア ・基盤チーム ・最近の関心: 決済システム

Slide 3

Slide 3 text

1:全国33都道府県でデリバリーサービス展開 2:KDDI社との資本業務提携 3:フードだけでなく、「クイックコマース 領域」のサービスとしてNo1を目指す

Slide 4

Slide 4 text

配達員様 店舗様 注文者様 注文する 配 達 す る 受 け 渡 す 店舗・配達員・ユーザーのスリーマッチングモデル

Slide 5

Slide 5 text

１．Application Integrationの活用 ２．Cloud Tasksの活用 Contents

Slide 6

Slide 6 text

©MENU.INC Application Integrationの活用

Slide 7

Slide 7 text

Application Integrationとは １．Cloud Cloudが提供する iPaaS 　　（integration Platform as a Service） ２．異なるプラットフォーム間のデータ連携 ３．ノーコード / ローコード

Slide 8

Slide 8 text

Application Integrationとは 外部App Application Integration データマッピング 条件分岐 JavaScript 実行 Pub/Sub Cloud Scheduler REST API 外部App Pub/Sub Cloud Scheduler REST API Cloud SQL Workflows

Slide 9

Slide 9 text

Application Integration UI

Slide 10

Slide 10 text

背景 ・CSで受けたユーザー問い合わせ起因の処理を 　スムーズに実行したい ・SFA/CRMツールから内部リソースへの処理実行を 　トリガーしたい ・素早く開発したい

Slide 11

Slide 11 text

背景 SFA/CRM Tool GKE Google Cloud ユーザー問い合わせ

Slide 12

Slide 12 text

やったこと SFA/CRM Tool Application Integration データマッピング トリガー 認証プロファイル pub/sub GKE Google Cloud

Slide 13

Slide 13 text

Application Integrationを使ってみて ・認証周りを簡単に設定できたので素早く開発できた ・認証プロファイルを設定、接続タスクで紐づけるのみ ・認証プロファイルは一度作成すれば再利用できる

Slide 14

Slide 14 text

Application Integrationを使ってみて ・データマッピングが直感的 ・マッピング関数の充実

Slide 15

Slide 15 text

Application Integrationを使ってみて ・Google Workspace アプリとの連携 ・バックオフィス業務にも活用できそう

Slide 16

Slide 16 text

©MENU.INC Cloud Tasksの活用

Slide 17

Slide 17 text

自己紹介：石倉 佳文（いしくら よしふみ） ・23卒新卒入社 ・基盤チーム ・バックエンド/インフラエンジニア ・関心のある技術 Go, k8s, o11y, 仮想化

Slide 18

Slide 18 text

背景 ・外部の企業のシステムからmenuに商品を登録するために　使 用するAPIがある ・こちらのAPIの商品画像をアップロードする部分で負荷の　部分 で問題があった ・こちらのAPIを一定のスループットを保ちながら安定させ　る必 要があった

Slide 19

Slide 19 text

課題 ・商品画像のアップロードで課題 ・非同期で処理していたが、特に流量の制限をしていなかっ　たの でたくさんイベントが発行されると後続のサーバーに　負荷がかか る（スケールが間に合わない） ・画像のアップロードする処理が短期間で同時に走ってしまうと　 Cloud Natのポートが枯渇する問題が発生した

Slide 20

Slide 20 text

要件 ・画像のアップロードの速度はそこまで求められていない（夜　中に 実行して朝完了していればOK） ・スパイクするようなリクエストがきても緩やかに安定して完　了させ たい ・過剰スケールなどをしないようにイベント流量を制御できる　ような 状態にしておきたい

Slide 21

Slide 21 text

改善前の構成 簡略図

Slide 22

Slide 22 text

やったこと ・画像をアップロードするサーバーをVPCの外に出した　（ポート 枯渇の解消） ・画像をアップロードするサーバーをGCEからCloud Runに　変 更した（より柔軟にスケールできる） ・Cloud Tasksを導入した（イベントの流量を調整できる）

Slide 23

Slide 23 text

Cloud Tasksとは ・Google Cloudが提供している非同期タスクを実行するこ　との できるフルマネージドサービス ・タスクという単位でキューに実行したい処理をためる ・キューにためたタスクの実行タイミングが柔軟に調整でき　る ・リトライする機構が標準である

Slide 24

Slide 24 text

Cloud TasksとPub/Subの比較 ・Cloud Tasksはパブリッシャー側で制御することが目的 ・具体的な配信スケジュールの決定 ・配信レート ・リトライなど Cloud Tasks か Pub/Sub かの選択

Slide 25

Slide 25 text

Cloud TasksとPub/Subの比較 ・PubSubはパブリッシャーとサブスクライバーの分離が　 　目 的 ・パブリッシャーはサブスクライバーのことを気にする必　要がな い ・パブリッシャーに対して複数のサブスクライバーという　構成を 取れるので、イベント駆動なアーキテクチャなどと　親和性が高く 拡張性の高い構成を作りやすい Cloud Tasks か Pub/Sub かの選択

Slide 26

Slide 26 text

Cloud TasksとPub/Subの併用 ・Pub/Subはイベント駆動型のアーキテクチャに適している ・大量のメッセージ配信を得意としている ・Cloud TasksはHTTPリクエストのバッファリングや柔軟な　流通 量の制御などに適している 組み合わせることでPub/Subでイベント駆動なアーキテクチャを 実現しつつ、Cloud Tasksで処理をバッファリングすることでシンプ ルな構成で拡張性や高負荷への柔軟性の高い構成を実現できる https://cloud.google.com/blog/ja/products/serverless/buffer-http-requests-with-cloud-tasks

Slide 27

Slide 27 text

タスクの作成方法 ・Create Taskメソッド ・タスク単位でのルーティングが必要な場合など複雑な非同 　　 期処理を行いたい時に使用する ・Buffer Taskメソッド ・すぐに実行する必要のないHTTPリクエストをキューに　　　 バッファリングして適切なタイミングで実行する ・キューレベルのルーティングが必要 ・クライアントライブラリ(SDK)の提供はない ※アクセス 　　 トー クンの取得の実装は自分で行なった

Slide 28

Slide 28 text

タスクの作成方法 ・今回はスパイクするような高負荷をバッファリングして緩　やかに 処理したいのでBuffer Taskメソッドが適切 https://cloud.google.com/tasks/docs/creating-http-target-tasks?hl=ja

Slide 29

Slide 29 text

改善後の構成 簡略図

Slide 30

Slide 30 text

Cloud Tasksを使ってみて良かったこと ・インフラのレイヤーで調整することができる → アプリケーション側で調整する必要がないので実装コ 　　 ストがかからない → 目標実行完了時間などと動作を見合わせてあとから調 　　 整しやすい → 配信レートとは別に最大同時実行数を設定することが　　 できスケールする最大値を固定することができ制御し　　 やす かった

Slide 31

Slide 31 text

Cloud Tasksを使ってみて良かったこと ・標準で柔軟なリトライ機構 → Cloud Runで一時的なエラーが発生してもリトライし　 てくれる

Slide 32

Slide 32 text

Cloud Tasksを使ってみて良かったこと ・Cloud Tasks側の負荷を気にしなくていい → タスクをたくさん作っても詰まることなく安定した動　　 作 だった

Slide 33

Slide 33 text

menuのサービスを支える仲間を募集中です！！！ 採⽤情報はこちら！