SRE NEXT 2022 2022-05-15 14:15〜15:00 Track A 非ITの事業会社にSREと言わずにSREを持ち込んだ #srenext
非ITの事業会社にSREと言わずにSREを持ち込んだSRE NEXT 2022, 2022-05-15Toshiaki BabaTwitter: @netmarkjp株式会社X-Tech 5 取締役CTOhttps://x-tech5.co.jp/株式会社iCARE技術顧問(インフラ)https://dev.icare.jpn.com/tech_adv/
View Slide
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだお断り2事実ベースのお話ですが、諸般の事情で意図的にフィルタすることがあります
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだことのおこり3不安なことがあって、、、運用、インフラ、クラウドに詳しいばばさん、助けてもらえませんか、、、
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ自己紹介馬場俊彰(ばばとしあき) Twitter: @netmarkjp株式会社X-Tech 5 取締役 CTO、株式会社iCARE技術顧問(インフラ)電気通信大学人間コミュニケーション学科(2004年卒)→社会人(SCC→ハートビーツ→X-Tech 5)→産業技術大学院大学(AIIT)情報アーキテクチャ専攻(2011年卒)主な守備範囲:Webシステムのインフラ・ミドルウェア全般、モニタリング、チューニング、プログラミング(Python、Go)4Amazon著者ページ https://www.amazon.co.jp/%E9%A6%AC%E5%A0%B4-%E4%BF%8A%E5%BD%B0/e/B004Y4SUBY
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだむかしむかし あるところに...5
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ状況● 過去に別案件でお世話になった方からご連絡● いま携わっている、事業会社の業務システムで不安なことがある・フルリニューアル・クラウド化→切り替え失敗を経て、1年越しの繁忙期リベンジ・いろいろあって、開発会社の移管を行う→改めて本番利用するにあたり運用や監視全般が不安→開発担当者(社)移管に伴うクラウド関連のノウハウとりこぼしも不安→開発担当者(社)/インフラ担当者(社)の守備範囲の隙間埋めも不安※エスアールイーのエの字も出てない 6
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んださくせん7● まずは成果を出すための構造を整える● 少しずつでも継続的に進捗を出すためにOODAループを回す● 専門家として全体を俯瞰するが、抑えるポイントはユーザ視点・業務視点で重要なポイントから手を付ける情報流通プラットフォーム知識 関係性成果(実益)変化の激しいWebの世界でコンスタントに局面局面で勝つ方法論「OODAループ」https://speakerdeck.com/netmarkjp/bian-hua-falseji-siiwebfalseshi-jie-dekonsutantoniju-mian-ju-mian-desheng-tufang-fa-lun-oodarupu想定した"成果のために必要な構造"
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ0ヶ月目(プロジェクト参画前)まずはプラットフォーム整備● キックオフミーティングをする● コミュニケーション基盤を決める(チャット、チケット)● ドキュメント基盤を決める(Wiki、ファイル)● 定例会スケジュールを決める→ツールはSlackとBacklogが定番SEE ALSO:Webエンジニアのための監視システム実装ガイド8情報流通プラットフォーム知識 関係性成果(実益)
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ1ヶ月目システムとステークホルダーに詳しくなり、仲良くなる→リテラシを高め、会話に参加できるようになる● いまあるドキュメントを読む○ しっかり:目的・概要・アーキテクチャデザイン意図・外部連携箇所・業務的に重要な処理○ 参考程度に:詳細設計、ER図、xx一覧など、実装レベルのドキュメント。CIで自動生成されるものは信用できるが、それ以外は参考程度にする● AWS Management Consoleを見て利用しているコンポーネントを把握する● ソースコードを見ておおまかな動作や処理内容を把握する並行して、チャットや定例会を通じて積極的にコミュニケーションし、ステークホルダーのスタンスやポリシー、実現力の程度(期待値)を把握する9情報流通プラットフォーム知識 関係性成果(実益)
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ1ヶ月経過後の状況● コードを書いてロジックを修正する範囲では問題なく・不安なく移管できた● 繁忙期の本番運用に対する自信/不安はまちまち● 各ステークホルダーに対する双方向の期待値が噛み合っていない○ 開発/インフラ担当者(社)は「わかる範囲でやるべきことはやっている」○ 業務視点・ユーザ視点での "やるべきこと" は不明なまま● 新たに最優先で対処すべき課題が発覚○ 負荷テストはしていない。スペックアップはするつもり○ クラウド利用費用が予算に対して4倍かかっている10情報流通プラットフォーム知識 関係性成果(実益)
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ1ヶ月経過後のアクション● 対応の優先順位を決定○ コスト最適化、パフォーマンス最適化、モニタリング、インベントリ管理などのテーマの中から優先順位を決定○ コストがあまりにもだったのでコスト最適化からに決定● 優先順に従って順次対応○ 解決までのアプローチの道筋を示し、実際に回してみせる○ 週次でOODAを回す○ 定例会までに調査(Observe)、考察(Orient)、判断指針提示、判断の提案○ 定例会で判断(Decide)○ 次回定例会までに実行(Action)○ →毎週10+ページのレポート 11情報流通プラットフォーム知識 関係性成果(実益)
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ例:AWSコスト最適化の週タイトル(ファイル名):コスト削減検討の会話元ネタ● 現状のコストについておさらい○ 何月にいくらだった、どう推移してきた...● いままでやってきたコスト関連の作業を時系列でおさらい○ a月b日にスペックアップ...● AWSの費用特性をおさらい○ インスタンスサイズが倍になると費用も倍。RDSクラスタだと倍×台数なので影響がデカい○ キャパシティ調整には垂直スケーリングと水平スケーリングがあって...● アプローチのポリシーをおさらい○ 削除漏れみたいな明らかに無駄なものを削るのはやるとして、いちばんデカいところから順にアプローチすべき...● アプローチとして考えられるアイデアをつらつらと挙げる○ 例:RDSインスタンスサイズを下げる→月xx円程度の削減可能性あり。その際のネックはCPU利用率。CPU利用率が高い理由はSELECT ...というクエリで、このクエリはyyyテーブルのzzz列にインデックスを張ると改善可能性あり。スペックダウンによりメモリ容量も減るがデータ量がnMBなのでリスクは低い● データ集12
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ2ヶ月目以降● 定例会をリードして、OODAを回す○ わたしたちはチームが離陸するためのカタパルト的な役割● テーマごとに、まず考え方を示し、やって見せ→任せ● 迅速・確実を志向するとソフトウェアエンジニアリングで課題解決するのがスマートだというのを示していく(「手作業を避けよう」という声かけが通りやすい場合もあり)● 各テーマ、3周目くらいから各担当者(社)にお任せできるようになった● 「ばばさんがやっている取り組みって一般に何て言うんですか?」→「最近はSREって呼ばれてます」13情報流通プラットフォーム知識 関係性成果(実益)
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだめでたし めでたし14
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ振り返り:さくせん15● まずは成果を出すための構造を整える● 少しずつでも継続的に進捗を出すためにOODAループを回す● 専門家として全体を俯瞰するが、抑えるポイントはユーザ視点・業務視点で重要なポイントから手を付ける情報流通プラットフォーム知識 関係性成果(実益)変化の激しいWebの世界でコンスタントに局面局面で勝つ方法論「OODAループ」https://speakerdeck.com/netmarkjp/bian-hua-falseji-siiwebfalseshi-jie-dekonsutantoniju-mian-ju-mian-desheng-tufang-fa-lun-oodarupu想定した"成果のために必要な構造"👍👍👍
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ振り返り:幸運だったこと● 良好な関係性が築けた● OODAループが回せた○ 移管後の体制はHRTを満たしていた(Humility / Respect / Trust)○ 改善が歓迎される状況だった(各位が危機的状況を自覚していた)○ 開発担当者(社)、インフラ担当者(社)ともに実現力があった○ 決裁権を持つ上席がプロジェクトに参加し都度判断していた○ ユーザ視点・業務観点で優先度や影響について会話できた○ 事業会社としてプロダクトを管掌し推進せねばならないという意識があった16
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ振り返り:学び● 成果を出す構造が整っていると、全員が能力を発揮しやすい● OODAを回すと変化が起きる。つまり改善が進捗する● ユーザにとってだいじなことから順番に押さえていくとスムーズ● OODAを素早く回したり、ユーザにとってのシステム価値を高め、それを少人数で継続的に実現しようとすると、自然とSREのプラクティスに近づいていく○ 状態を観測しメトリクスをもとにデータで物事を判断する○ ソフトウェアエンジニアリングを活用する、Toilを削減する自分的good point● テーマごとに考え方を示して、まずやってみせて、次に伴走した● 正しくやることより課題解決が進捗することを重視した 17情報流通プラットフォーム知識 関係性成果(実益)
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだどうして? どうして?18
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ成果に至る構造:外観● 良好な関係性は土台であり前提条件○ 不足の場合は充足させるのが最優先○ 個人レベル:HRT、自主自立、自責利他、責任感、情熱○ 相互:相性の良さ、許容範囲● 成果が次の期待や良好な関係性を作る○ サイクル● 成果は目に見えるなにか○ 状態や変化の認知・解釈、次の行動● (短期的には)進捗はすべてを癒す○ 即物的な感じがするけどそういうもの 19良好な関係性期待成果
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ成果に至る構造:遷移20成果良好な関係性期待振る舞い 心情施策分析 課題発見知見データ
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだSREって言わなくても力強くやるべきことをやっていれば自然とSREになることがある21
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだSRE本の原義との対比SRE本の定義をざっくり抽出すると● ソフトウェアエンジニアリングを用いてサービス運用を再定義すること● それを組織的に強力に支援することの2点。後者にまで自然となるか、というと少しジャンプが必要な場合が多いかな...後者に踏み込む場合は他社の人事制度・組織運営を参考にするニーズが大きいので、SREというキーワードをうまく使うと効果的。22
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ想定QA23
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだSREという単語を登場させなかったのはなぜ?→誤解を避ける、印象論を避ける、自転車置き場の議論を避ける● ワーディングからくる期待値があったり、要否がわかれたり● 特に「ワーディングを正確に理解することのプライオリティが低い」ステークホルダーには単に負担になり、しかし誤解を招きやすくなる● キーワードを使って期待値や方向性をすりあわせられるとよいのだけれども、実際のところDivercityがテーマになるくらいなので明確な内容や期待値を表せる言葉ではなくなっているんだと思う● ほしいのはドリルじゃなくて穴という話に似ている● SREという考え方やプラクティスは高速道路なので活用したいが、免許練習中のひとを高速道路に放り込まれても困っちゃうだけ24
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだどこから手をつけたらよいでしょうか?最近の鉄板は● Monitoring● Performance● Security● Developer eXperience(開発環境、CI/CDなど)だけど、鉄板プラクティスよりも、観察とインタビューを重視したほうがよいと思います。25
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだうまくいったのは結局のところ幸運だっただけじゃない?仰るとおりそうかもしれません。事例や経験を集めると、幸運じゃなかったときにどうしたらいい感じになるか、あるいは撤退すべきか、判断材料になっていいなと思います。みんなシェアして!26
SRE NEXT 2022 非ITの事業会社にSREと言わずにSREを持ち込んだ手が回らないんだけど...【宣伝】X-Tech 5ではSREaaS(SRE as a Service)をご提供しています。CTOクラスからエンジニアまで、組織課題・広報・採用・マーケ・エンジニアリングなどなど、コンサルティング・アドバイザリ・エンジニアリングなど幅広く対応しています。Contact - 株式会社X-Tech 5(株式会社クロステックファイブ)https://x-tech5.co.jp/contact_form/※株式会社X-Tech 5はSRENEXT2022のシルバースポンサーです27