Slide 1

Slide 1 text

© DMM.com CONFIDENTIAL 認証・会員情報プラットフォームの 今までとこれから プラットフォーム事業本部 メンバーシップサービス部 アカウントサービスチーム  今井哲史 2019/12/12 ver1.0

Slide 2

Slide 2 text

© DMM.com 自己紹介 ・名前:今井 哲史(いまい あきひと) ・所属:プラットフォーム事業本部      アカウントサービスチーム ・役割:プロダクトオーナー ・入社: 年 月(中途) ・通称:いまいける ・志 :金沢から世界へ

Slide 3

Slide 3 text

© DMM.com 今日お話する内容 1. チームやプロダクトの紹介 2. 私たちがやっている障害時の対応 3. プロダクトの今後

Slide 4

Slide 4 text

© DMM.com チーム プロダクトの紹介

Slide 5

Slide 5 text

© DMM.com チーム紹介 プラットフォーム事業本部 メンバーシップサービス部 アカウントサービスチーム ( )

Slide 6

Slide 6 text

© DMM.com チーム紹介 DMMサイトでの会員の認証と会員情報に関連する プロダクトを開発・運用・保守するチーム PO、SM、開発メンバー11名体制 ※オーシャンズ11 ※平均年齢30歳前後

Slide 7

Slide 7 text

© DMM.com ミッション 「安心・安全・シームレスに利用できる      認証・会員情報サービスを提供する」  ことをミッションにプロダクトの価値向上に務める

Slide 8

Slide 8 text

© DMM.com プロダクトの紹介 DMMサイトでの会員の認証と会員情報に関連するプロダクト

Slide 9

Slide 9 text

© DMM.com 認証基盤 - やパスワードなど、認証情報を取り扱うプロダクト - アカウントの登録やログインなどの機能を提供 プロダクト紹介

Slide 10

Slide 10 text

© DMM.com 会員情報基盤 - アカウントに紐付いた会員情報を大切に管理しているプロ ダクト - 名前やメールアドレス、住所や電話番号などの情報を提供 プロダクト紹介

Slide 11

Slide 11 text

© DMM.com プロダクト紹介 私たちが持っている基盤が利用できない ログインできない!会員登録できない!会員情報が取得できない! のほとんどのサービスが使えない 売上や機会損失

Slide 12

Slide 12 text

© DMM.com プロダクト紹介 重要なプロダクト(基盤)です! 何を言いたいかというと

Slide 13

Slide 13 text

© DMM.com 理想は止まらない基盤を提供する

Slide 14

Slide 14 text

© DMM.com 止まらないように 障害が起こらないようにしていても 障害は起こるもの ですが 現実は

Slide 15

Slide 15 text

© DMM.com 障害が起こりにくいようにすること 影響範囲を小さくすること 障害が起こってもすぐに復旧することができること 信頼性向上のためには

Slide 16

Slide 16 text

© DMM.com 障害が起こりにくいようにすること 影響範囲を小さくすること 障害が起こってもすぐに復旧することができること チームが現在行っている障害対応の話をしたいと思います。 にもある、 を高める取り組みの一例 ※詳しくは を検索

Slide 17

Slide 17 text

© DMM.com 障害時の対応

Slide 18

Slide 18 text

© DMM.com ちょっと前までは

Slide 19

Slide 19 text

© DMM.com 障害時の対応(以前) 障害発生から復旧まで めちゃめちゃ時間かかってました

Slide 20

Slide 20 text

© DMM.com 障害時の対応(以前 ダメポイント①) 障害 ユーザー が気づく サポートへ 連絡 担当者へ 連絡 担当者対応 復旧 検知は基本的にユーザーからの問い合わせベース 障害発生から検知までに時間かかっていた

Slide 21

Slide 21 text

© DMM.com 障害時の対応(以前 ダメポイント②) 担当者対応 担当者の対応も本番サーバに でログインし、 コマンド駆使して、サーバ状態や大量のログから調査! 調査も更に時間がかかっていた

Slide 22

Slide 22 text

© DMM.com 障害時の対応(以前 ダメポイント③) 担当者へ 連絡 担当者対応 復旧 休日時など担当者が外出中の場合は 更に長期化 担当者 外出中 会社や家に 移動 担当者対応

Slide 23

Slide 23 text

© DMM.com 現在はというと

Slide 24

Slide 24 text

© DMM.com 障害時の対応(現在 ①) インシデント 障害 担当者対応 CloudWatchやdatadog等のモニタリングサービスを利用し、アプリケー ションのパフォーマンス異常やエラーを検知

Slide 25

Slide 25 text

© DMM.com 障害 ユーザー が気づく サポートへ 連絡 担当者へ 連絡 担当者対応 復旧 障害時の対応(現在 ①) 検知までの時間が大幅に短縮! 障害が起きたことを通知するだけでなく、 障害が起きる前に危険性を検知!

Slide 26

Slide 26 text

© DMM.com 障害時の対応(現在 ①)   注意  過剰な通知は 「負担になる」 「重要なアラートを見落とす」 適切な通知になるようにしましょう!

Slide 27

Slide 27 text

© DMM.com 障害時の対応(現在 ②) 担当者対応 今まで でログインしてサーバ状態を確認していましたが によるモニタリング 異常箇所を特定できるように目的ごとにダッ シュボード化。 いち早く特定できるようにしています。

Slide 28

Slide 28 text

© DMM.com 障害時の対応(現在 ②) 担当者対応 によるログデータ解析 ログ収集:Fluentd ログ集積:Elasticsearch ログ解析:Kibana 複数のサーバにまたがる様々なログを容易 に検索・分析が可能に! 今まで でログインしてサーバ状態を確認していましたが

Slide 29

Slide 29 text

© DMM.com 障害時の対応(現在 ②) を活用して、作業効率化! 担当者対応

Slide 30

Slide 30 text

© DMM.com 障害時の対応(現在 ②) 担当者対応 インシデントや障害時の対応として、 を活用して、作業効率化 /コマンド名 xxx yyy コマンド実行 結果をSlackに返す

Slide 31

Slide 31 text

© DMM.com 障害時の対応(現在 ②) 担当者対応 を活用した インシデントや障害時の例 スモークテスト( ) テストを実行させ、異常があれば失敗になり、失敗箇所の ログが通知され原因箇所を絞り込みやすく

Slide 32

Slide 32 text

© DMM.com 障害時の対応(現在 ②) 担当者対応 を活用した インシデントや障害時の例 メンテナンス設定( ) デプロイ( ) 特定のリビジョンに巻き戻すのもSlackから コマンド1発 メンテナンス表示への切り替えもSlackから コマンド1発

Slide 33

Slide 33 text

© DMM.com 障害時の対応(現在 ②) 担当者対応 を活用した インシデントや障害時の例 障害連絡( ) 対応リスト表示( ) 確認項目をリスト化して表示し、誰が何を確認するか(した か)、Chatベースで共有して、効率よく対応。 障害連絡もテンプレート化して、文章を考える手間 なくすぐに報告。

Slide 34

Slide 34 text

© DMM.com 障害時の対応(現在 ②) オートスケールもSlackから可能。 イベントのスケジュールに合わせたスケーリングも コマンド一行で終了。 オートスケール設定( )

Slide 35

Slide 35 text

© DMM.com 障害時の対応(現在 ②) 担当者対応 を活用した インシデントや障害時の例 その他、Slackbotのカスタマイズレスポンスを活用して、 サーバー情報やdatadogのダッシュボードへのリンク、 エラーコードなど忘れたり、覚えてなくてもキーワードを 打つだけで、レスポンスさせている。 Chatの中で出来るので共有もしやすい。

Slide 36

Slide 36 text

© DMM.com 障害時の対応(現在 ③) 担当者対応 休日の外出中に受けた場合は出社したり、家に戻ったり でしたが の活用で 上で大概のことが実行可能! 復旧までの時間を短縮!

Slide 37

Slide 37 text

© DMM.com 障害時の対応(まとめ) 問題が発生してもすぐに復旧できる取り組み ・検知できるようにしましょう ・通知は過剰にならないよう適切にしましょう ・ などを利用して、原因を早期に見つけられるようにしましょう ・ を活用して、効率化しましょう ・ が無くても対応できるようにしましょう

Slide 38

Slide 38 text

© DMM.com プロダクトの今後

Slide 39

Slide 39 text

© DMM.com プロダクトの今後 現在、チームとしては以下のことに取り組んでいます。 (多要素認証) マルチセッション 多言語による国際化対応 古のシステムからの脱却 SaaS導入検討 etc..

Slide 40

Slide 40 text

© DMM.com プロダクトの今後 は今後 年で のサービスを目指しています そして、 のサービスは多種多様です

Slide 41

Slide 41 text

© DMM.com プロダクトの今後 今後、生まれる多種多様なサービスと アカウントで連携させること そのためにはサービスがプラットフォームと 容易に(シームレスに)連携できるように なっていなくてはなりません

Slide 42

Slide 42 text

© DMM.com プロダクトの今後 会員数と売上は密接です。 会員数と売上の相関

Slide 43

Slide 43 text

© DMM.com プロダクトの今後 会員登録が面倒 。ログインが面倒 。 ⇒ 離脱 、 、 などの 様々なデバイスでの認証が手間 ⇒ 離脱

Slide 44

Slide 44 text

© DMM.com プロダクトの今後 離脱ユーザーをコンバージョンさせること ユーザーがシームレスに利用できるようにすること ソーシャル連携や生体認証といった 様々な登録・認証手段を提供していく

Slide 45

Slide 45 text

© DMM.com プロダクトの今後 サービスがシームレスに アカウントと 連携できるようにする ユーザーがシームレスに認証 できるようにする

Slide 46

Slide 46 text

© DMM.com ご静聴 ありがとうございました