サーバレスアプリケーションの監視・運用

ServerlessConf Tokyo 2018 の登壇資料です。

https://gs2.io/

Transcript

1. サーバレスアプリケーションの監視・運⽤ Game Server Services 株式会社 代表取締役社⻑CEO 丹⽻ ⼀智
2. ⾃⼰紹介 Game Server Services, Inc. https://gs2.io 丹⽻ ⼀智（にわ かずとも） Game Server Services 株式会社 代表取締役社⻑ CEO 2006年 株式会社セガ⼊社 携帯電話向けゲームおよびサーバ開発業務に従事 2009年 任天堂株式会社⼊社 ニンテンドー3DSのOS/SDK開発や、 ゲームサーバの開発・運⽤業務に従事 2016年 Game Server Services 株式会社 設⽴
3. Game Server Services とは？ フルサーバレスアーキテクチャ(FaaS)でモバイルゲーム向けの汎⽤ ゲームサーバを開発・提供。 各社がゲームサーバを開発している現状に疑問を感じ、あらゆるゲー ムに使える汎⽤ゲームサーバを提供することをミッションとし、ゲー ムサーバ界の Unity を⽬指して開発中。 Game Server Services, Inc. https://gs2.io next
4. Game Server Services とは？ 設⽴2年というヒヨッコスタートアップですが、今年3⽉に DeNA / KLab らから資⾦調達を実施。 Game Server Services, Inc. https://gs2.io 主な採⽤事例 私、茄⼦で⾶びます（usaya株式会社） Google Play にてシミュレーションカテゴリでどうぶつの森に続く2位 サーバレスアーキテクチャのおかげで無障害でサービス提供中
5. サーバレスアプリの監視とは？ Game Server Services, Inc. https://gs2.io
6. 従来のインフラ監視 Game Server Services, Inc. https://gs2.io Load Average CPU Usage Memory Usage Disk IO :
7. サーバレスでは気にしなくていいこと サーバレスアーキテクチャにおいては CPU使⽤率やメモリ使⽤ 率は監視する必要がありません。 Game Server Services, Inc. https://gs2.io Load Average CPU Usage Memory Usage Disk IO :
8. じゃ、何もしなくていい？ 何もしなくていいか。というとそんなことはありません。 サーバーレスでもサービスがちゃんと提供出来ているのかは監視 する必要があります。 または、意図しない状態が発⽣したときに、フルマネージドサー ビスの問題なのか、⾃分のアプリケーションの問題なのか切り分 けられる指標が必要です。 Game Server Services, Inc. https://gs2.io サービスは正しく動いてる？ どのコンポーネントが異常？
9. 必要となる監視 サービス監視 サービスが正しく提供出来ているか判断する指標 コンポーネント監視 サービスを構成するコンポーネントが 正しく動作しているか判断出来る指標 Game Server Services, Inc. https://gs2.io
10. サービス監視 Game Server Services, Inc. https://gs2.io 例: Steam では 同時ログイン数を 記録している ログイン数が急激に減少 ↓ 何らかの異常が発⽣
11. コンポーネント監視 キャパシティ管理または上限緩和の必要な項⽬ ・Lambda の同時実⾏数 ・API Gateway への Request/sec ・DynamoDB のキャパシティ使⽤率 障害発⽣時に障害点を特定するための項⽬ ・API Gateway の応答時間 ・Lambda の応答時間 ・DynamoDB の応答時間 Game Server Services, Inc. https://gs2.io
12. GS2 ではどうしているか？ Game Server Services, Inc. https://gs2.io
13. 課題 Game Server Services, Inc. https://gs2.io GS2 は AWS/GCP のハイブリッド構成 それぞれ CloudWatch / Stackdriver とツールが異なる
14. 課題 Game Server Services, Inc. https://gs2.io AWS /GCP で提供される 視覚化⽅法が ”折れ線グラフ” 中⼼で メトリックによっては不適切
15. どうしているか Game Server Services, Inc. https://gs2.io GS2 では を採⽤ ⼤型ディスプレイに表⽰して いつでも⾒られる状態に
16. Game Server Services, Inc. https://gs2.io
17. Game Server Services, Inc. https://gs2.io
18. ダッシュボードの構成 Game Server Services, Inc. https://gs2.io
19. Game Server Services, Inc. https://gs2.io
20. 基本メトリック • 秒間アクセス数 • サービス利⽤者起因のエラー数 • GS2起因のエラー数 • 想定外の例外発⽣数 • Google App Engine のクォーターリミット到達数 Game Server Services, Inc. https://gs2.io
21. Game Server Services, Inc. https://gs2.io
22. サービスパフォーマンス • API Gateway がレスポンスした時間 • Lambda がレスポンスした時間 • Lambdaで実⾏するコードがレスポンスした時間 • 認証/認可検証にかかった時間 • DynamoDB のIOにかかった時間 Game Server Services, Inc. https://gs2.io
23. Game Server Services, Inc. https://gs2.io
24. キャパシティ監視 • DynamoDB で最もキャパシティを消費しているテーブルの使⽤ 率 • Lambda の同時実⾏数のアカウント上限値に対する使⽤率 • Lambda/DynamoDB のスロットル発⽣回数 Game Server Services, Inc. https://gs2.io
25. Game Server Services, Inc. https://gs2.io
26. アラームの状態 • アラームが全てOKな状態か？ • アラームが出てるとすればどのカテゴリか？ Game Server Services, Inc. https://gs2.io
27. Game Server Services, Inc. https://gs2.io
28. 直近4時間のAPIコール数 • 点線は1週間前の同時間帯のグラフ • 直線は直近4時間におけるトレンド • 今現在どの程度のアクセスがあるかを可視化 Game Server Services, Inc. https://gs2.io
29. Game Server Services, Inc. https://gs2.io
30. 直近4時間のAPIランキング • 利⽤されているマイクロサービスランキング • レスポンスタイムのワーストランキング Game Server Services, Inc. https://gs2.io
31. Game Server Services, Inc. https://gs2.io
32. Game Server Services, Inc. https://gs2.io 直近1週間のAPIコール数 • 点線は1週間前の同時間帯のグラフ • 直線は直近1週間におけるトレンド • 前⽇・先週と⽐べてどのくらい変化があるかを可視化
33. Game Server Services, Inc. https://gs2.io
34. Game Server Services, Inc. https://gs2.io • 点線は1ヶ⽉前の同時間帯のグラフ • 直線は直近1ヶ⽉間におけるトレンド • 跳ね上がっているのはクライアントの実装ミスによってビジー ループが発⽣していた箇所。Datadog があったおかげですぐに 検出して対応が出来た 直近1ヶ⽉間のAPIコール数
35. Game Server Services, Inc. https://gs2.io
36. Game Server Services, Inc. https://gs2.io • サービスの提供にかかっているインフラコストの可視化 • 異常な増え⽅をしていないかを視覚化 インフラコスト
37. Game Server Services, Inc. https://gs2.io
38. Game Server Services, Inc. https://gs2.io • サービス提供による売り上げの視覚化 売り上げ
39. ダッシュボードの作り⽅ Game Server Services, Inc. https://gs2.io
40. プラグインのインストール • AWS や GCP、Slack といったメジャーなプロダクトには⼤体プ ラグインが存在する Game Server Services, Inc. https://gs2.io
41. Game Server Services, Inc. https://gs2.io プラグインの設定 • AWS アカウントと AssumeRole に使⽤するロールの設定 • どのサービスのメトリックを収集するかを設定 • 収集したメトリックに付与するタグを設定
42. Game Server Services, Inc. https://gs2.io ダッシュボードの作成 • ダッシュボードメニューから新規作成を選択
43. Game Server Services, Inc. https://gs2.io コンポーネントの追加 • ドラッグ＆ドロップでコンポーネントを追加 • コンポーネントには種類がある • 折れ線グラフ • 積み上げグラフ • 数値 • ランキング • ログ ：
44. Game Server Services, Inc. https://gs2.io メトリックの設定 • レンダリングするデータソースを設定 • Select や GroupBy といった設定も可能 • 移動平均やトレンドといったフィルタを適⽤することも可能
45. 異常を検出するには Game Server Services, Inc. https://gs2.io
46. Game Server Services, Inc. https://gs2.io メトリックの設定 • 値の範囲でダッシュボードに表⽰する⾊を設定可能 • 異常値になったときには⾊が変わるようにすることで、すぐに 異常であることを認識出来るように
47. Game Server Services, Inc. https://gs2.io アラームの設定 • 値が異常値になった時にメールやSlackに通知可能 • CloudWatch や Stackdriver にも同様の機能があるが、データを 加⼯したり、多くの指標を使ってアラームを設定可能
48. 異常を調査するには Game Server Services, Inc. https://gs2.io
49. 想定外の例外が検出！！！ Game Server Services, Inc. https://gs2.io ログが⾒たい…
50. 想定外の例外が検出！！！ Game Server Services, Inc. https://gs2.io どのマイクロサービスで起こってるんだ？ このマイクロサービスのアカウントどれだっけ？
51. ログが… Game Server Services, Inc. https://gs2.io Lambda が実⾏されたコンテナ毎に分かれてる
52. ログが… Game Server Services, Inc. https://gs2.io もぅﾏﾁﾞ無理。 ﾘｽｶしょ・・・
53. Datadog Logs Game Server Services, Inc. https://gs2.io 全てのアカウント/プロジェクトのログを集約 フィルタリングも爆速
54. Game Server Services, Inc. https://gs2.io Datadog Logs マイクロサービスで絞り込んだり
55. Game Server Services, Inc. https://gs2.io Datadog Logs Lambda ファンクションで絞り込んだり
56. Game Server Services, Inc. https://gs2.io Datadog Logs レスポンス時のステータスコードで絞り込んだり
57. Game Server Services, Inc. https://gs2.io Datadog Logs ⽬的のログを⾒つけたら レコードを選ぶと詳細が⾒られる
58. Game Server Services, Inc. https://gs2.io Datadog Logs リクエストの内容や レスポンスの内容が⾒られる
59. ダッシュボードとの連携 Game Server Services, Inc. https://gs2.io ダッシュボードからログに⾶ぶことも可能
60. ログの取り込み⽅ Game Server Services, Inc. https://gs2.io TCPでDatadogのサーバに繋いで流し込む 以上！
61. ピタゴラ装置を もっと視覚化してほしい… Game Server Services, Inc. https://gs2.io
62. Game Server Services, Inc. https://gs2.io サービスマップ • ファンクションの関係を視覚化 • 類似サービスの Stackdriver Trace や X-Ray よりいけてる ビュー
63. Game Server Services, Inc. https://gs2.io サービスマップ • ファンクションの関係を視覚化 • 類似サービスの Stackdriver Trace や X-Ray よりいけてる ビュー
64. Game Server Services, Inc. https://gs2.io サービスマップ • ノードを選択すると、より細かい情報にアクセス可能
65. Game Server Services, Inc. https://gs2.io サービスマップ • ノードを選択すると、より細かい情報にアクセス可能
66. プラットフォーマーが提供するサービスとは異なり アカウントを超えた動向もみれる といいなあ Game Server Services, Inc. https://gs2.io
67. ……… Game Server Services, Inc. https://gs2.io
68. 残念ながら サービスマップはサーバレスから使えません （エージェントのインストールが必要） Game Server Services, Inc. https://gs2.io
69. みんなで Datadog に要望をだそう！ Game Server Services, Inc. https://gs2.io
70. Game Server Services では仲間を募集中 裁量労働制 年収792万円 （⽉額66万円・みなし残業20時間込み・賞与無し）+ ストックオプション https://gs2.io/recruit.html Game Server Services, Inc. https://gs2.io