敵対的SRE: 300個のジョブをAIチーム全員で支える技術

by Ryo Kitagawa

Slide 1

Slide 1 text

敵対的SRE: 300個のジョブをAIチーム全員で支える技術エムスリー株式会社北川亮 1

Slide 2

Slide 2 text

自己紹介 ● 北川亮 ● エムスリー株式会社 AI・機械学習チーム所属 SRE ● 京都オフィス所属 ● Vim/Go/Kubernetesが好き 2

Slide 3

Slide 3 text

自己紹介 ● 北川亮 ● エムスリー株式会社 AI・機械学習チーム所属 SRE ● 京都オフィス所属 ● Vim/Go/Kubernetesが好きチーム所属のSRE というEmbedded SREという立場 3

Slide 4

Slide 4 text

(※) 2023年10月時点日本の医師のエムスリー会員率エムスリーが事業展開している国の数エムスリーが占める全世界で医師会員の割合全世界で医師会員合計 17 カ国 (※) 50 %以上 (※) 650 万人以上 (※) 90 %以上エムスリーが展開する医療従事者向け情報サイト「m3.com」は32万人を突破、日本の医師の9割以上が会員。(※) 日本の医師の9割が登録するエムスリーのサービスグローバルでも医師の5割以上が会員、医療業界に根付く事業基盤圧倒的な医療データへのアクセス容易性を活かしたAI開発 4

Slide 5

Slide 5 text

エムスリーのプロダクトに根ざしたAI技術活用事例 ToB・ToC・グローバルプロダクトにも展開医療の疑問に医師が答えるAskDoctors 検索エンジン開発海外版m3.comの記事やQuizのレコメンド AIチームメンバーがUS出張開始シェアNo.1のクラウド電子カルテ病名入力補完APIの開発医療業界のビッグデータを活用マーケティング向けデータ分析医療画像やウェアラブルデバイスデータを活用医療業界のAI活用を推進 5

Slide 6

Slide 6 text

アジェンダ 1. 敵対的SREとは 2. 実例1: アラートに付加情報をのせる 3. 実例2: 成功を監視する 4. 実例3: 必要な監視に絞る 5. まとめ 6

Slide 7

Slide 7 text

敵対的SREとは 7

Slide 8

Slide 8 text

敵対的SREとは？ SRE チームメンバー監視を生成良い監視かフィードバック 8

Slide 9

Slide 9 text

敵対的SREとは？ SRE チームメンバー監視を生成良い監視かフィードバック 9

Slide 10

Slide 10 text

敵対的生成ネットワーク生成器識別器 GAN(Generative Adversarial Network)と呼ばれる深層学習アーキテクチャデータを生成生成されたものか判定 10

Slide 11

Slide 11 text

敵対的生成ネットワーク画像生成などで良く使われる偽 or 真 11

Slide 12

Slide 12 text

敵対的生成ネットワーク生成器識別器 GAN(Generative Adversarial Network)と呼ばれる深層学習アーキテクチャデータを生成生成されたものか判定正しいデータの特徴を学習納得させるデータを学習 12

Slide 13

Slide 13 text

良い学習のためにはバランスが重要生成器識別器生成したデータが良いかどうかをフィードバック出来ない 13

Slide 14

Slide 14 text

GANを応用した敵対的SREとは？ SRE チームメンバー監視を生成良い監視の特徴を学習納得させる監視を生成 14 良い監視体制を目指すフィードバック

Slide 15

Slide 15 text

GANを応用した敵対的SREとは？ SRE チームメンバー監視を生成良い監視の特徴を学習納得させる監視を生成 15 良い監視体制を目指すフィードバック

Slide 16

Slide 16 text

チームメンバー ● 2024年8月現在で14人 ● プロダクト数が50個ほど ○ 定期ジョブは約300個 ● 各メンバーが自身のプロダクトを運用している ○ もちろん手が回らない場合はサポートなどを行う ● SRE自身もプロダクト開発をしている 16

Slide 17

Slide 17 text

GANを応用した敵対的SREとは？ SRE チームメンバー監視を生成良い監視の特徴を学習納得させる監視を生成 17 フィードバック

Slide 18

Slide 18 text

SRE ● AI・機械学習チームに所属するSRE ○ メンバーの中の7人がSREタスクを行っている ● チームの開発基盤の作成から監視の作成まで行う 18

Slide 19

Slide 19 text

フィードバック GANを応用した敵対的SREとは？ SRE チームメンバー監視を生成良い監視の特徴を学習納得させる監視を生成ここが大事 19

Slide 20

Slide 20 text

何故、メンバーからのフィードバックが大事か？ ● 監視とは運用を効果的にするためにサポートするものである ● 実際に良いかどうか判断するのは運用者 ○ SREが良かれと思って監視を作っても効果は分からない 20

Slide 21

Slide 21 text

ここまでのまとめ ● 敵対的SRE: SREとメンバーが互いに学習しながら監視を安定させる ● 良い監視を学習するためにはメンバーからのフィードバックが重要 ● エムスリーAI・機械学習チームは敵対的SREを通して、14人で50個のプロダクトを運用している 21

Slide 22

Slide 22 text

実例の紹介 22

Slide 23

Slide 23 text

当初の（良くある）アラート Kubernetes Jobが落ちたら通知 23

Slide 24

Slide 24 text

当初の（良くある）アラート Kubernetes Jobが落ちたら通知 Cloud Logging エラーログを確認 24

Slide 25

Slide 25 text

単に落ちただけじゃなく、何故落ちたかまで知りたい SRE チームメンバー情報量を増やしたい単純なアラートを生成 25

Slide 26

Slide 26 text

改善内容 ● PythonのTraceback文のような決まった定型文をエラーと共に通知した ○ Cloud Logging対応することによって、severityなどの統一も得られた効果 ● 徐々にジョブが増えていく中で、原因探索時間が短くなった Kubernetes 改善1: アラートに付加情報を加える Jobが落ちたら通知 26

Slide 27

Slide 27 text

学び: より情報量が多いアラートが良いアラートである SRE チームメンバー情報量が多いほど良いアラート Pythonの Stacktrace が良い付加情報になりそう 27

Slide 28

Slide 28 text

実例2: 成功を監視する 28

Slide 29

Slide 29 text

ジョブの終了が遅いアラートが欲しい AI・機械学習チーム別チームジョブジョブ BigQuery 10:00に取り込み 9:30に完了 29

Slide 30

Slide 30 text

ジョブの終了が遅いアラートが欲しい AI・機械学習チーム別チームジョブジョブ BigQuery 10:30に完了 10:00に取り込み徐々にデータ量が増えていくなど 30

Slide 31

Slide 31 text

ジョブの終了が遅いアラートが欲しい AI・機械学習チーム別チームジョブジョブ BigQuery 10:30に完了 10:00に取り込み必要なデータが存在しなくてエラー 31

Slide 32

Slide 32 text

ジョブの終了が遅いアラートが欲しい AI・機械学習チーム別チームジョブジョブ BigQuery 10:30に完了従来のアラートでは気付けないエラー 10:00に取り込み 32

Slide 33

Slide 33 text

ジョブの終了が遅いアラートが欲しい SRE チームメンバー落ちたという情報はエラーの一部に過ぎない成功を監視したいエラー情報を通知 33

Slide 34

Slide 34 text

改善内容 ● 何時までにBigQueryにデータ連携すれば成功かを定義 ● 成功しなかったものを通知得られた効果 ● 今までに発見出来なかった遅くなっていたジョブを検知改善２: 成功を監視する BigQuery table更新が間に合わなければアラート 34

Slide 35

Slide 35 text

学び: 成功を定義して監視をするのが重要 SRE チームメンバーアウトプットを監視しないといけないテーブルの作成時間がジョブの SLOである 35

Slide 36

Slide 36 text

実例3: 必要な監視に絞る 36

Slide 37

Slide 37 text

アラート多すぎ問題 ● 2024年現在チームで定期的に動くジョブは約300個 ● 5分毎に動くジョブも3ヶ月に1度動くジョブも同じアラート Jobが落ちたら通知 Kubernetes 37

Slide 38

Slide 38 text

対応が必要なアラートだけが欲しい SRE チームメンバー対応が必要なアラートに絞りたいエラー等もすべて同様に通知 38

Slide 39

Slide 39 text

対応が必要なアラートとは？ ● 実例２でSLOを定義してそれを監視するのが良いことを学習した 39

Slide 40

Slide 40 text

各ジョブのSLOを考えてみる 5分に一回動くジョブ 40 10:00 10:05 10:10

Slide 41

Slide 41 text

各ジョブのSLOを考えてみる失敗する 41 5分に一回動くジョブ 10:00 10:05 10:10 10:15

Slide 42

Slide 42 text

各ジョブのSLOを考えてみる次成功すればOK 42 5分に一回動くジョブ 10:00 10:05 10:10 10:15 10:20

Slide 43

Slide 43 text

各ジョブのSLOを考えてみるずっと失敗しているならアウト 43 5分に一回動くジョブ 10:00 10:05 10:10 10:15 10:20

Slide 44

Slide 44 text

各ジョブのSLOを考えてみる 3ヶ月に一回動くジョブ１回でも失敗したらアウト 44

Slide 45

Slide 45 text

各ジョブのSLOを考えてみる ● 5分に一回動くジョブ → 30分の間に1度以上成功すればOK ● 3ヶ月に一回動くジョブ → 3ヶ月に1度成功すればOK 45

Slide 46

Slide 46 text

各ジョブのSLOを考えてみる ● 5分に一回動くジョブ → 30分の間に1度以上成功すればOK ● 3ヶ月に一回動くジョブ → 3ヶ月に1度成功すればOK ジョブごとに◯時までに一度成功しているかを監視すれば良い 46

Slide 47

Slide 47 text

Kubernetes 必要な監視に絞る ● すべてのジョブにSLOを定義して通知 SLOを満たさなければ通知 47

Slide 48

Slide 48 text

Kubernetes 必要な監視に絞る ● すべてのジョブにSLOを定義して通知 → 今までのエラーは付加情報として SLOを満たさなければ通知 48

Slide 49

Slide 49 text

必要な監視に絞る改善内容 ● 成功監視を全ジョブに広げて通知を行った ● 今までの失敗アラートは付加情報として別チャンネルに得られた効果 ● アラートが対応が必要なものだけに絞られた ● 事例1・2で学んだ付加情報や成功監視が出来ている状態 49

Slide 50

Slide 50 text

学び: 行動につながるアラートだけを最低限に SRE チームメンバージョブの特徴によって SLOは異なる行動につながるものだけをアラートする 50

Slide 51

Slide 51 text

まとめ ● 敵対的SRE: SREとメンバーが互いに学習しながら監視を安定させる ● 一方的に監視を作成するのはアンチパターン（本当の敵になってしまう） ● チームで学んだこと ○ 重要なのはSLOを定義し、それを補助するアラートを作成すること ○ SLO監視が行動につながるアラートになる ○ それ以外のメトリクスは補助のために利用してもよい 51

Slide 52

Slide 52 text

ちょっと雑談 ● 行動につながるアラートだけに絞るために1週間ノーアラートで焼き肉チャレンジを行った ● 目的 ○ チーム全体の運用コストを最低限に ○ 全サービスのSLOを見直すモチベーションに ● CfPを出した(2024/6/25)時点では最長6日と8時間 52

Slide 53

Slide 53 text

ちょっと雑談 ● 行動につながるアラートだけに絞るために1週間ノーアラートで焼き肉チャレンジを行った ● 目的 ○ チーム全体の運用コストを最低限に ○ 全サービスのSLOを見直すモチベーションに ● CfPを出した(2024/6/25)時点では最長6日と8時間なんと出した当日に達成 🎉🎉🎉 53

Slide 54

Slide 54 text

エンジニア採用ページ https://jobs.m3.com/engineer/ プロダクト紹介ページ https://jobs.m3.com/product/ エムスリーテックブログ https://www.m3tech.blog/ エムスリーをもっと詳しく 54 社員インタビュー https://www.wantedly.com/companies/m3_inc VPoE登壇資料 fukabori.fm https://fukabori.fm/episode/59 https://fukabori.fm/episode/60 Connpass公式グループ https://m3-engineer.connpass.com/ エンジニア公式Twitter(X) https://twitter.com/m3_engin eering エンジニア公式YouTube https://www.youtube.com/channel /UC_DkAOcwgmtQnJLDctci4rQ

Slide 55

Slide 55 text

https://jobs.m3.com/engineer/ カジュアル面談・応募はこちらプロダクトの内容、技術的な内容どちらでも気になった場合は気軽にご応募ください！