【SRE-NEXT 2024】内製化を見据えた効果的なSRE支援のアプローチ / SRE support approach

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright © 3-shake, Inc. All Rights Reserved. 自己紹介 ❏ 某 SIer で業務系アプリケーションの保守運用や Devops 推進、金融機関向けのクラウドアプリケーションの保守運用を経験したのちスリーシェイクにジョイン ❏ スリーシェイクではお客様環境の EKS 改善や Google Cloud 上のシステムの SRE 支援を行っている ❏ 趣味はサウナ、旅行、サッカー観戦（町田ゼルビア推し） kojake_300 株式会社スリーシェイク Sreake 事業部 2

Slide 3

Slide 3 text

Copyright © 3-shake, Inc. All Rights Reserved. 会社紹介 SRE/DevOps SecOps BizOps HR ・SRE総合支援からセキュリティ対策を全方位支援・Geminiを用いた生成 AIの活用支援・ワンストップで脆弱性診断を行うセキュリティ対策SaaS ・クラウド型 ETL/データパイプラインSaaSの決定版・あらゆるSaaSをノーコードで連携・ハイスキルフリーランスエンジニア紹介エージェント IT内製化 / 高度化クラウドネイティブ化モダナイゼーション ITアジリティ向上 3

Slide 4

Slide 4 text

Copyright © 3-shake, Inc. All Rights Reserved. Sreake紹介 SRE/DevOps内製化支援クラウドネイティブアプリケーション開発支援 GenAI基盤構築支援・AWS, Google Cloud クラウドネイティブ支援（Kubernetesに強み）・AWS, Google Cloud SRE/DevOps内製化支援・CCoE立ち上げ支援・Platform Engineering支援データモダナイゼーション支援・パイロットアプリケーション開発支援・モダナイゼーション支援・バックエンド開発支援（ Go, Python, TypeScript）・フロントエンド開発支援（ Vue, React）・BigQuery/Dataplexメインのデータ基盤構築支援・BI（Looker）構築をフルスタックで支援・Snowflakeメインのデータ基盤構築支援・DBRE支援（Spanner/AlloyDB）・NewSQL（TiDB, YugabyteDB）支援・VertexAIシリーズ構築運用内製化支援・外部SaaS連携支援・Gemini API導入支援・AICoE立ち上げ支援・SRELLMの提供 4

Slide 5

Slide 5 text

Copyright © 3-shake, Inc. All Rights Reserved. 5 5 アセスメント SRE組織化／ CCoE組織化支援 SRE導入支援監視基盤導入・Logging ・Monitoring ・APM SLI / SLO導入内製化・自走支援運用体制整備・インシデント対応・管理・効果的なアラート CICD / 構成管理・IaC化・デプロイ自動化・コード / 脆弱性チェック APのコンテナ化パフォーマンス分析・分散トレーシング・カオスエンジニアリング Platform Engineering支援戦略設計構築・運用改善 SREの概念に基づき運用改善、プラットフォーム整備、エンジニアリング内製化を支援 Sreake紹介

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright © 3-shake, Inc. All Rights Reserved. Sreake流 SREロードマップ（自分たちがSREを始めるケース） SRE チームの定義組織にあった SRE を定義しよう SRE の開始まずは小さく。効果が最大限に出るところからコツコツと始めよう SRE実践 Toil 削減 (自動化推進) SLI・SLO の設定 SRE の発展と継続 SREの文化が浸透する Error Budget を元に業務をコントロールしていく 10

Slide 11

Slide 11 text

Copyright © 3-shake, Inc. All Rights Reserved. Sreake流 SREロードマップ SRE チームの定義組織にあった SRE を定義しよう SRE の開始まずは小さく。効果が最大限に出るところからコツコツと始めよう SRE実践 Toil 削減 (自動化推進) SLI・SLO の設定 SRE の発展と継続 SREの文化が浸透する Error Budget を元に業務をコントロールしていく SREロードマップを踏まえ、 Sreake流のSRE支援を軸としたロードマップはどのような定義になるか？ 11

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Copyright © 3-shake, Inc. All Rights Reserved. SRE支援として主導するステップのアプローチあなたらしく SRE（公開用） SREエンタープライズロードマップ ➢ 自分たちの信頼性の確保 ○ 小さく始めて効果が大きいところから着手し、存在意義を明確に示す。 ○ リスクとしてある程度の失敗を受け入れるプラクティスが存在するが、リスクを明らかにした上で極力失敗に終わらないように作業する。 ○ 中長期の目標を定め、期待値をコントロールする。 ➢ タスク推進 ○ クライアントが手一杯の時は、まずはクライアントが本来の業務に注力出来るようなタスクから始める。 ○ 何をするにもドキュメントを作成しておく。 ➢ 在り方 ○ なるべくシステム全体に首を突っ込む。何でも屋としてのSREは本来のロールから逸脱してしまうが、他の仕事に繋がる可能性があるためアンテナは常に張っておく。自分のスキルレベルや優先度の高いタスクの有無、工数などを加味してバランスを保ちつつ存在感をアピールする。 19

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright © 3-shake, Inc. All Rights Reserved. 知識についての前提暗黙知 ● 経験や直感に基づく、言葉や文章で明確に表現することが難しい知識。 ● 主観的であり、個人の感覚的なものであるため他者に共有し辛い。 ● 暗黙知にはノウハウのような技術的側面と、メンタルモデルのような認知的側面がある。 ● 同じ体験 / 感覚を共有する必要があるため、同期的な知識の移転となる。　　形式知 ● 文章や図表などの形式で表現される知識。 ● 客観的 / 論理的であり、他者に共有し易い。 ● 非同期的に知識を移転出来る。知識創造企業 (新装版) - 野中　郁次郎著／竹内　弘高著／梅本　勝博訳「暗黙知」と「形式知」の意味や具体例とは？形式知化する「ナレッジマネジメント」のポイントや企業事例も紹介 23

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Copyright © 3-shake, Inc. All Rights Reserved. 知識創造企業 (新装版) - 野中　郁次郎著／竹内　弘高著／梅本　勝博訳 SECIモデルとは? 必要な4つのステップと創出すべき環境知識創造のためのプロセス：SECIモデル共同化（Socialization）表出化（Externalization）内面化（Internalization）連結化（Combination）暗黙知暗黙知暗黙知形式知形式知形式知形式知暗黙知 25

Slide 26

Slide 26 text

Copyright © 3-shake, Inc. All Rights Reserved. 知識創造のためのプロセス：SECIモデル共同化（Socialization）表出化（Externalization）内面化（Internalization）連結化（Combination）暗黙知暗黙知暗黙知形式知形式知形式知形式知暗黙知・共同化は、経験を共有することに　よって、技術やメンタルモデルなどの　暗黙知を移転するステップのこと。・直接的な経験の他、観察や模倣なども　含まれる。 26

Slide 27

Slide 27 text

Copyright © 3-shake, Inc. All Rights Reserved. 知識創造のためのプロセス：SECIモデル共同化（Socialization）表出化（Externalization）内面化（Internalization）連結化（Combination）暗黙知暗黙知暗黙知形式知形式知形式知形式知暗黙知・表出化は、個人の暗黙知を言語などの形　式的なものに変換するステップのこと。・主観的 / 直感的な共同化と違い、客観的 / 　論理的に伝えることが可能である。 27

Slide 28

Slide 28 text

Copyright © 3-shake, Inc. All Rights Reserved. 知識創造のためのプロセス：SECIモデル共同化（Socialization）表出化（Externalization）内面化（Internalization）連結化（Combination）暗黙知暗黙知暗黙知形式知形式知形式知形式知暗黙知・連結化は、表出化で生み出した形式知同　士を組み合わせ、新たな形式知を創造す　るステップのこと。 28

Slide 29

Slide 29 text

Copyright © 3-shake, Inc. All Rights Reserved. 知識創造のためのプロセス：SECIモデル共同化（Socialization）表出化（Externalization）内面化（Internalization）連結化（Combination）暗黙知暗黙知暗黙知形式知形式知形式知形式知暗黙知・内面化は、今までの形式知を自身の暗黙　知へと変換させるステップのこと。・実践を通じて暗黙知を体得する。 29

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Copyright © 3-shake, Inc. All Rights Reserved. SECIモデルをSRE支援ロードマップに当てはめる共同化（Socialization）表出化（Externalization）内面化（Internalization）連結化（Combination）暗黙知暗黙知暗黙知形式知形式知形式知形式知暗黙知　SREの実演　　SREの実践　　SREの発展　　SREの知識移転　 31

Slide 32

Slide 32 text

Copyright © 3-shake, Inc. All Rights Reserved. SECIモデルの各ステップに対するアプローチ共同化（Socialization）表出化（Externalization）内面化（Internalization）連結化（Combination）暗黙知暗黙知暗黙知形式知形式知形式知形式知暗黙知・設計書、マニュアルなどを　作成する・勉強会、ハンズオンの開催・モブプログラミング・モブオペレーション・チャットやMTGから何かを感じ取ってもらう・雑談、ランチ会、飲み会(?) ・ナレッジデータベースで　ドキュメントをより体系的な　ものにブラッシュアップする・ナレッジデータベースを読み　込み自分なりに解釈し理解を　深めてもらう・実際にタスクを実施　してもらう 32

Slide 33

Slide 33 text

Copyright © 3-shake, Inc. All Rights Reserved. SECIモデルの各ステップに対するアプローチ共同化（Socialization）表出化（Externalization）内面化（Internalization）連結化（Combination）暗黙知暗黙知暗黙知形式知形式知形式知形式知暗黙知・設計書、マニュアルなどを　作成する・勉強会などのオンラインMTG　を録画する・モブプログラミング・モブオペレーション・チャットやMTGから何かを感じ取ってもらう・勉強会、ハンズオンの開催・雑談、ランチ会、飲み会(?) ・ナレッジデータベースで　ドキュメントをより体系的な　ものにブラッシュアップする・ナレッジデータベースを読み　込み自分なりに解釈し理解を　深めてもらう・実際にタスクを実施　してもらう 33 クライアントに、どのようにタスクを実施してもらうか？

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Copyright © 3-shake, Inc. All Rights Reserved. SLⅡ リーダーシップを念頭に実施を支援する多指示的行動少多少援助的行動コーチ型インタラクティブにクライアントとコミュニケーションし、目標を設定し一緒にタスクを推進する教示型不慣れなタスクに対し、具体的な手順や方法を提示しタスクを管理する援助型クライアント主導でタスクを推進してもらい、適宜アドバイスを行ってより自信がつくようサポートする委任型基本はノータッチであり、気になる事があれば発言する SREの組織類型におけるリーダーシップの考察新1分間リーダーシップ - ケン・ブランチャード著/パトリシア・ジガーミ著/ドリア・ジガーミ著/田辺　希久子訳 35

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Copyright © 3-shake, Inc. All Rights Reserved. SREに大事な心構えを考察 SREに大事な心構えシステム他人自分 ● ステークホルダーと協力 / 尊重しながら円滑にコミュニケーションする ● リーダーシップ、オーナーシップを持つ ● エンドユーザ目線の信頼性を改善の軸にする ● 効果が大きい部分から小さく始める ● etc… ● インフラのみならず、アプリやDB、セキュリティなど幅広い分野に興味を持つ ● カオスや変化を楽しみ、ワクワクする心を持つ 37 あなたらしく SRE（公開用）

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Copyright © 3-shake, Inc. All Rights Reserved. SREに大事な心構えで特に重要を考える要素 SREに大事な心構えシステム他人自分 ● ステークホルダーと協力 / 尊重しながら円滑にコミュニケーションする ● リーダーシップ、オーナーシップを持つ ● エンドユーザ目線の信頼性を改善の軸にする ● 効果が大きい部分から小さく始める ● etc… ● インフラのみならず、アプリやDB、セキュリティなど幅広い分野に興味を持つ ● カオスや変化を楽しみ、ワクワクする心を持つ 39 あなたらしく SRE（公開用） SREでの大事な心構えを伝えると共に、自分がそれを体現しなければ真に伝わらない。大事なのは、自分自身が楽しみながらSREをやること。そして、クライアントが楽しくSREを出来るように土台を作って上げることも大事。

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Copyright © 3-shake, Inc. All Rights Reserved. SECIモデルとオブザーバビリティを無理やり照らし合わせてみる共同化（Socialization）表出化（Externalization）内面化（Internalization）連結化（Combination）暗黙知暗黙知暗黙知形式知形式知形式知形式知暗黙知・オブザーバビリティを　導入し、システムの内部を　明らかにしていく・過去の障害や自分の経験　から、有用なテレメトリに　なりそうなものを頭出しする・テレメトリを組み合わせた　　ダッシュボードを作成する・テレメトリに対し閾値を定め　アラートやリカバリ手順書　などを作成する・ダッシュボードからシステム　の内部状態を理解してもらう・アラートが発生した時にリカ　バリ手順書をベースに対応し　てもらう 45

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Copyright © 3-shake, Inc. All Rights Reserved. Google Cloudでオブザーバビリティ実践へ 52 SreakeではGoogle Cloudを利用しているクライアントも多く、 Google Cloudでオブザーバビリティを導入/実践するケースも多数あります。なので、Google Cloudでのオブザーバビリティサービスを使った実践方法を少し紹介します。ちなみに、SreakeではGoogle Cloudのリセールも行っています

Slide 53

Slide 53 text

Copyright © 3-shake, Inc. All Rights Reserved. Google Cloud オブザーバビリティサービス一覧 Cloud Trace Cloud Proﬁler GMP(※1) ログ Cloud Monitoring Cloud Logging BigQuery Error Reporting Network Intelligence Center Network Topology / Performance Dashboard Cloud Monitoring GKE Dataplane V2 Observability Cloud Service Mesh GKE Dataplane V2 Observability 収集可視化アラート 53 メトリクストレースプロファイルトラフィック (※2) ※1：Google Cloud Managed Service for Prometheusの略 ※2：一般的なテレメトリには含まれないが、　　 Google Cloudのサービスを紹介する上で外せないため追加

Slide 54

Slide 54 text

Copyright © 3-shake, Inc. All Rights Reserved. Google Cloud オブザーバビリティサービス一覧 Cloud Trace Cloud Proﬁler GMP(※1) ログ Cloud Monitoring Cloud Logging BigQuery Error Reporting Network Intelligence Center Network Topology / Performance Dashboard Cloud Monitoring GKE Dataplane V2 Observability Cloud Service Mesh GKE Dataplane V2 Observability 収集可視化アラート 54 メトリクストレースプロファイルトラフィック (※2) ※1：Google Cloud Managed Service for Prometheus ※2：一般的なテレメトリには含まれないが、　　 Google Cloudのサービスを紹介する上で外せないため追加おすすめのオブザーバビリティサービスを紹介！

Slide 55

Slide 55 text

Copyright © 3-shake, Inc. All Rights Reserved. ➢ Prometheusの悩み ○ Prometheusにより、アプリケーション独自のメトリクスを可視化することが出来る。 ○ しかし、Prometheusをセルフマネージドで管理しようとすると冗長構成の検討や定期的なアップデートなど、運用負荷が高くなることがボトルネックとしてあげられる。 ➢ GMPとは ○ Prometheusのマネージドサービスであり、収集したメトリクスをCloud Monitoringで表示、さらにPromQLでのクエリも可能。 ○ GKEではマネージドコレクションがデフォルトで有効となっており、PodMonitoringリソースをデプロイするだけでメトリクス収集と可視化が可能となる。 ➢ GMPによるオブザーバビリティの拡張 ○ Google Cloudがデフォルトで用意しているメトリクスはインフラ寄りのものが多く、それだけではシステムの内部を明らかにした状態とは言えない。 ○ アプリケーションのメトリクスも可視化することで、システムを多角的にキャプチャ出来る。 Google Managed Service for Prometheus(GMP) 55 Google Cloud Managed Service for Prometheus

Slide 56

Slide 56 text

Copyright © 3-shake, Inc. All Rights Reserved. ➢ Cloud Profilerとは ○ Cloud Profiler は、本番環境のアプリケーションから CPU 使用率やメモリ割り当てなどの情報を継続的に収集する、オーバーヘッドの少ないプロファイラ。 ○ なんと料金は無料。 ➢ Cloud Profilerによるオブザーバビリティの拡張 ○ Cloud Profilerはアプリケーションの各プロセスのCPU使用率などを可視化出来るため、どの処理にパフォーマンスボトルネックがあるのかを判断することに適している。 ○ GMPと組み合わせて使用することで、システムの内部状態をより明らかに出来る。 ○ さらに、無料であるため金銭的な費用対効果を考慮する必要がないため、Google Cloud 上でシステムを構築する際は念頭に入れておくべきサービスとなる。 Cloud Profiler 56 Cloud Profiler Cloud Profiler 利用料金

Slide 57

Slide 57 text

Copyright © 3-shake, Inc. All Rights Reserved. GKE Dataplane V2 Observability 57 ➢ GKEの悩み ○ マイクロサービス間の通信情報が明らかになっていと、マイクロサービスの全体像の解読が困難になり、インシデントが発生しても属人性の高い対応となってしまう。 ○ そのため、マイクロサービス間のトラフィックの全体像をグラフィカルに可視化するサービスを導入することが保守性を高める鍵となる。 ➢ GKE Dataplane V2 Observabilityとは ○ GKE Dataplane V2で有効に出来る機能で、Hubble UIによるトラフィックの可視化や、トラフィックメトリクスを取得することが可能である。 ○ 従来ではCloud Service Mesh(旧Anthos Service Mesh)でIstioを導入する必要があったため、トラフィックの可視化関連だけの機能を使いたい場合はToo Muchであった。 ➢ GKE Dataplane V2 Observabilityによるオブザーバビリティの拡張 ○ トラフィックからシステムの全体像を把握する際にはHubble UIを利用し、加えて各API のパフォーマンスを確認したい場合はCloud Trace等の分散トレーシングを利用すると、多角的にパフォーマンスやトラフィックをキャプチャ出来る。GKE Dataplane V2 のオブザーバビリティについて