Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SaaSサービス運用歴17年のキャリアから見た システム障害リスクへの実践とリアル
Search
katsuya uehara
February 13, 2022
0
15
SaaSサービス運用歴17年のキャリアから見た システム障害リスクへの実践とリアル
事業継続性とかの観点も入れつつ、システム障害の話をDX通信社様のセミナーで実施した内容です
katsuya uehara
February 13, 2022
Tweet
Share
More Decks by katsuya uehara
See All by katsuya uehara
[DevelopersSummit2025] 20年のSaaSプロダクト開発から学んだ、生き残るためのエンジニアリング
katsuya_uehara
0
1.5k
[AWSDevDay2023] The anti pattern (ジ・アンチパターン)
katsuya_uehara
0
7
[VerticaUnity]700億件のリアルタイム分析の実現と運用の実態
katsuya_uehara
0
3
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Site-Speed That Sticks
csswizardry
10
770
Visualization
eitanlees
146
16k
Automating Front-end Workflow
addyosmani
1370
200k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
770
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Gamification - CAS2011
davidbonilla
81
5.4k
Music & Morning Musume
bryan
46
6.7k
Code Review Best Practice
trishagee
69
19k
Transcript
© YRGLM Inc. SaaSサービス運用歴17年のキャリアから見た システム障害リスクへの実践とリアル 2022.01.13 株式会社イルグルム
© YRGLM Inc. 2 0. 紹介 1. 対象サービスの概要ついて 2. システム障害に対する備え
• システム障害に対する費用対効果を考える • 検知と対応 3. システム障害の事例 • 実例紹介 • 実例から学んだこと • 今後の課題 ・広告の効果測定・アドテク ・アドエビスとは? ・自己紹介 ・会社紹介 アジェンダ
© YRGLM Inc. 3 その他 上原 賢也 2006年 日本発ECオープンプラットフォーム「EC-CUBE」の開発 2009年
広告運用「THREe」のインフラ基盤の設計・構築 2012年 全社の品質管理・インフラの導入・運用をメインで実施 2015年 ベトナム子会社へ出向し、オフショア開発拠点の立ち上げ 2019年 日本に帰国し、主にインフラ面から基盤戦略全般を担当 業務の傍らロックオフ ベトナム渡航中は大学の講師も務める 基本的に何でも屋さんです 略歴 自己紹介 UEHARA Katsuya
© YRGLM Inc. 4 会社概要 株式会社イルグルム YRGLM Inc. 【大阪本社】 大阪府大阪市北区梅田2-4-9
ブリーゼタワー13F 【東京本社】 東京都千代田区有楽町2-2-1 X-PRESS有楽町12F 【子会社】 株式会社イーシーキューブ(大阪市北区) 【子会社】 株式会社スプー(東京都千代田区) 【子会社】 株式会社トピカ(東京都新宿区) 【子会社】 YRGLM VIETNAM COMPANY LIMITED(ベトナム社会主義共和国) 設立 2001年6月4日 代表者 代表取締役 岩田 進 事業内容 マーケティングDX支援サービスの提供 広告効果測定プラットフォーム「アドエビス」 運用型広告レポート自動作成ツール「アドレポ」 広告代理店向けクラウド案件管理ツール「アドナレッジ」 マーケティングソリューション特化型マッチングプラット フォーム「アドフープ」 EC特化型CX向上プラットフォーム「eZCX」 ECオープンプラットフォーム「EC-CUBE」 東京証券取引所マザーズ上場(3690)
© YRGLM Inc. 5 広告効果測定ツール売上シェアNO.1「アドエビス」
© YRGLM Inc. 6 広告効果測定? アドテク?
© YRGLM Inc. 7 アドテクノロジー メディア 広告を表示する領域を提供 広告配信 メディアに、場合によってはあるロジック に従って広告を配信
効果計測 配信された広告がどの程度の効果、収益を 上げたのかを評価 略称 アドテク、アドテック、など
© YRGLM Inc. 8 8 Gunosy MERY 広告配信 サービス Google
LINE Meta (Facebook) Hatena キュレーション サービス 広告代理店 および ツールベンダ GMO ツールベンダ 出典:https://www.underworks.co.jp/download/wp-chaosmap- 2021/
© YRGLM Inc. 9 アドテクとは? アドテク業界で生き残るためには 技術革新に加え、 システムに高い信頼性が求められる
© YRGLM Inc. 10 アドエビスとは マーケティングの今
© YRGLM Inc. 11 計測 広告効果測定 アクセス解析 View計測 LPO クリック計測/SEO計測
経路分析 動画広告 記事広告 ディスプレイ 広告 コンテンツ マーケティング 純広告 自然検索 アフィリエイト 広告 リスティング 広告 リターゲティン グ広告 ダイレクト SNS LP TOP コンテンツ デジタルマーケティングに必要な”あらゆる機能”をワンパッケージで提供 CV 活用 外部連携 BI/レポーティング MR/CRM/SFA 広告配信/運用管理 リサーチ/モニター 3rd Party Data EC/通販支援ツール TV/オフライン施策 分析 レポーティング 施策軸 ユーザー軸 デモグラフィック カスタマージャーニー 分析 チャネル別集計 アトリビューション 分析 アドエビスはあらゆるマーケティングの効果をメディア・デバイス・代理店を横断して測定、 マーケティング活動の成果最大化をサポートするサービスです。 「アドエビス」が提供する3つのソリューション
© YRGLM Inc. 12 アドテクとは? システム構成図 (取得・集計・見せる) ログ ファイル 計測
サーバ 全行動履歴データ リアルタイム分析・ 閲覧用 ※数百億レコード 全行動履歴データ 検査/加工/集計 ※数百億レコード ログ ファイル 計測 サーバ … 全行動履歴取得 ※広告閲覧/広告クリック/検索流入/ サイト閲覧/コンバージョンetc… 計測対象 ユーザー 計測対象 ユーザー DWH RDB 集計データ閲覧用 ※数百万レコード アドエビス 管理画面 アドエビス ご契約者様 APIデータ 提供 外部データ 取り込み 全アクセス の横断分析 分析シ ステム Kinesis streme
© YRGLM Inc. 13 システム障害への備え 費用対効果を考える
© YRGLM Inc. 14 アドテクとは? 投資対効果 出典:https://bcblog.sios.jp/drbd-what-is-disasterrecovery/
© YRGLM Inc. 15 アドテクとは? 教科書にのっとった 事業継続性の整理…の前に
© YRGLM Inc. 16 アドテクとは? 各サービスのリスク対策の 大枠方針の合意を得る ログ ファイル 計測
サーバ 全行動履歴データ リアルタイム分析・ 閲覧用 ※数百億レコード 全行動履歴データ 検査/加工/集計 ※数百億レコード ログ ファイル 計測 サーバ … 全行動履歴取得 ※広告閲覧/広告クリック/検索流入/ サイト閲覧/コンバージョンetc… 計測対象 ユーザー 計測対象 ユーザー DWH RDB 集計データ閲覧用 ※数百万レコード アドエビス 管理画面 アドエビス ご契約者様 APIデータ 提供 外部データ 取り込み 全アクセス の横断分析 分析シ ステム Kinesis streme 地域障害対応 復旧:◦◦時間 DC障害対応 復旧:◦◦時間 片系障害対応 復旧:◦◦時間
© YRGLM Inc. 17 アドテクとは? 投資コストの合意 例)売上対比のコスト率 ※数値はダミーデータです 4.3% 4.5%
4.3% 4.2% 4.6% 2.5% 2.2% 2.7% 2.5% 2.3% 3.0% 3.1% 3.5% 4.2% 3.5% 4.7% 4.2% 4.0% 4.2% 4.1% 4.1% 4.4% 4.3% 4.3% 4.3% 4.5% 4.3% 4.2% 4.6% 2.5% 2.2% 2.7% 2.5% 2.3% 3.0% 3.1% 4.1% 4.6% 4.5% 5.5% 4.3% 4.4% 3.8% 3.6% 4.2% 4.5% 4.0% 3.1% 0.0% 1.0% 2.0% 3.0% 4.0% 5.0% 6.0% 0 50,000 100,000 150,000 200,000 250,000 300,000 ②売上高(実績) ③原価率(予測) ④原価率(実績)
© YRGLM Inc. 18 アドテクとは? まとめ • リスクと投資コストを大きな枠で合意をとる • 守るべきことを抽象化して合意をとる
• 大枠の投資方針に基づき戦略を具体化する
© YRGLM Inc. 19 システム障害の事例
© YRGLM Inc. 20 アドテクとは? CDNを利用した広告画像配信障害 広告画像 配信CDN WEBサイト閲覧 ユーザー
画像保存 ストレージ WEBサイト閲覧 ユーザー
© YRGLM Inc. 21 アドテクとは? CDNを利用した広告画像配信障害 広告画像 配信CDN WEBサイト閲覧 ユーザー
画像保存 ストレージ WEBサイト閲覧 ユーザー × ※一部顧客のみ接続できないなど検知が困難 ※クラウド提供業者の情報提供では間に合わない ※そもそも別件ではクラウド業者の管理画面にも入れない。という事例もありました
© YRGLM Inc. 22 アドテクとは? 東日本大震災時の電力不足 ログ ファイル 計測 サーバ
ログ ファイル 計測 サーバ クラウド業者A :北海道 計測対象 ユーザー 計測対象 ユーザー クラウド業者B :東京
© YRGLM Inc. 23 アドテクとは? 東日本大震災時の電力不足 ログ ファイル 計測 サーバ
ログ ファイル 計測 サーバ クラウド業者A :北海道 計測対象 ユーザー 計測対象 ユーザー クラウド業者B :東京 × 電力不足で データセンターが 数十時間後に停止する アナウンス クラウド業者A :別拠点 別拠点に環境移行を計画 ※マルチリージョン、マルチクラウドだったため実害はなし ※しかし、システマチックな検知は不可能で業者や政府発表などの情報を収集
© YRGLM Inc. 24 障害検知と対処
© YRGLM Inc. 25 アドテクとは? クラウド障害の検知と対応 (外形監視) サービス 提供拠点 外部拠点
(別サービ ス)
© YRGLM Inc. 26 アドテクとは? 傾向監視 各拠点のデータ取得量等の前日・当日の前後時間と比 較して異常がないか観測
© YRGLM Inc. 27 アドテクとは? 外部情報 出典:https://search.yahoo.co.jp/realtime 出典:https://status.aws.amazon.com/
© YRGLM Inc. 28 アドテクとは? 障害対応体制 上記各種監視システムからメール・チャットツー ルなどに送信し対応チームが確認 顧客影響がある場合は 社内外へ速やかに通知
出典:https://hotei.ebis.ne.jp/ 出典:slack画面より
© YRGLM Inc. 29 アドテクとは? まとめ • 拠点障害、災害、クラウド障害は必ず起こる (今回は一例です。。。) •
検知は多角的に行う必要がある • しかし有事の情報収集に課題感・・・
© YRGLM Inc. 30 今後の課題
© YRGLM Inc. 31 アドテクとは? 今後の課題 • SLO等の顧客への開示内容の整理 • 顧客への障害通知の自動化
• 外部要因による確かな情報筋からの検知仕組
© YRGLM Inc. 32 アドテクとは? 最後に 今回は泥臭い現場の話をさせて戴きましたが我々も 常に試行錯誤中です。 周知の話も多かったと思いますが、日々最前線で 戦っておられる皆様に少しでも参考になれば幸いです。
© YRGLM Inc. 33 ご清聴 ありがとうございました
© YRGLM Inc.
© YRGLM Inc. 35 Appendix