Metabaseを使ったコスト可視化とコスト最適化への道 / sre-cost-visualization

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Copyright © OPTiM Corp. All Right Reserved. 4  SRE : Site Reliability Engineering (サイト信頼性エンジニア) の略称 • システムの信頼性確保のためにアレコレするエンジニア  よくあるSREの形 • Pure SRE • プロダクト運用に責任を持つ専任チームで、開発チームとは分かれている • プロダクトの信頼性を向上させるためなら、ソースコードの改修なども行う • Embedded SRE • 職能横断型の開発チームのメンバーとして組み込まれている • SRE Center of Practice • 特定のプロダクトに限定せず、横串でプロダクトの信頼性向上を推進する • ライブラリやツールの提供を行う • Rebranded SRE • 今まで運用、DevOps、プラットフォームチームと呼ばれていたものがSREと名前を変えたもの • インフラ、ツール、プラットフォームのサポートをメインに行い、アプリケーションには積極的には関わらない SREとは

Slide 5

Slide 5 text

Copyright © OPTiM Corp. All Right Reserved. 5  OPTiMでは SRE Center of Practice の体制を取っている  プロダクトの価値を「早く」「安く」「安心」の３軸で安定的に提供できるようにする 1. プロダクトの状態を可視化 2. プロダクトが満たすレベルの基準づくり 3. やり方の標準化・共通化 4. プロダクト横串で改善を行う 5. SREマインドを根付かせる  現在OPTiM SRE内で取り組んでいること • サービス品質標準化/可視化 • インフラ/運用コスト最適化 ★今日のスコープ • 構成管理強化/リリース改善 SREとは

Slide 6

Slide 6 text

Copyright © OPTiM Corp. All Right Reserved. 6  開発・運用者全体で売上とコストを皆が確認できる状態でない • コストに関しては全員が閲覧できる状態にしたい • 人によってかかっているコストが確認できるかどうかの状態がバラバラでややこしい • 改善しなきゃいけないと思っても、そのたびに毎回調査して、分析してと時間がかかる  現状のコストを可視化し、コスト最適化への動機に繋げられる状態を作りたい • 各種コストデータとプロジェクト情報が紐づいて確認できるようにしたい • 例えば `CloudIoTOS_Q2_保守運用` のようなプロジェクトとコストデータを紐づける必要があるコスト可視化と最適化への課題/動機

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright © OPTiM Corp. All Right Reserved. 8  PowerBIの利用 • Microsoft社製のBIツール • Excelをデータソースとして利用可能 • とりあえず、現状を可視化してみようということで、プロトタイプ的に利用してみた • UI的にはそれなりに良かったが、運用を続けるのは辛い+全体で確認するには料金の問題があったので正式採用は見送りコスト可視化最初期

Slide 9

Slide 9 text

Copyright © OPTiM Corp. All Right Reserved. 9  Metabase + MySQLでの可視化 • OSSのBIツール • データソースはMySQL以外も色々豊富にある • Metabaseをちょっと触ってみた感じグラフ化も簡単かつフィルターできて良かったので採用 • RedashやKibanaなども検討しましたが、立ち上げも簡単で、シンプルかつ直感的で良い • グラフの作成にはSQLを利用し、作成 • 一応、SQL書けない人向けにもクエリビルダー的なやつがあるのでそちらの利用もできる • SQL内で変数利用ができる (フィルターで活用) - SELECT * FROM table_name WHERE {{ product_name }} のように記載することで利用可能 - フィルターにはそのまま文字列を入力してもらうこともできるし、格納されているデータを選択してフィルターもできる - これを利用して、ダッシュボード上で部署別や利用サービス別にフィルターすることが可能 • 社内のスタッフであれば閲覧可能にした • 今までは特定の管理層や運用者以外では簡単にコスト情報を確認することはできなかった現在

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright © OPTiM Corp. All Right Reserved. 14  データ構造について • 各利用サービスのデータとプロジェクトを紐づける必要がある • 現在プロジェクトのデータはTeamspiritという工数管理サービス上で管理している - 人件費はTeamspiritのデータのみで算出可能 • プロジェクトデータと利用サービスのデータを紐づける中間テーブルを作成 - 利用サービスのアカウントとプロジェクトデータを関連づける • 全てを同一グラフ上で比較できるように、共通化したViewを作成しているデータ構造

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright © OPTiM Corp. All Right Reserved. 16  利用サービスとプロダクトに紐づく人件費の情報が、OPTiMの社員であれば簡単に確認できるようになった  保守運用人件費が、大まかにはわかるようになってきたため、各チームに分析を依頼し、問題があるのかないのかについて確認をしてもらっている • コスト最適化活動を各チームで進めるきっかけ作りを行っている  毎月ダッシュボードのグラフ状況からコスト状況レポートを作成し、全体にコスト状況を意識してもらう活動を始めている • その月にどんな削減対応が行われたか、現状の課題は何かと言った内容を記載している • また、インフラ費用と保守運用人件費を部署別に詳細を記載している可視化した結果

Slide 17

Slide 17 text

Copyright © OPTiM Corp. All Right Reserved. 17  インフラの大部分として、AWSにかかっている料金が大きいことが示せている • 各利用サービスをより詳細に分析できるように別途グラフを用意し、各インフラの担当にここを改善していこうという話を持っていけている  最適化を進めるための土壌が出来上がってきたので、いよいよ実際に各種対応を進めていく段階可視化した結果例: サーバーの利用度合いに対してコストから見てもオーバースペック気味なので、見直していきましょう等

Slide 18

Slide 18 text

Copyright © OPTiM Corp. All Right Reserved. 18  コスト可視化はできたので、今後は実際にコストの改善をすすめるため、各チームと相談しつつ進める予定 • 各チームで行った改善は水平展開を行う • 複数プロダクトで共通インフラを利用している所があり、そこの作業工数を各プロダクトとどう結びつけられるのかが難しいので影響のバランスをみつつ検討していく  可視化ダッシュボード自体については、自動化がまだまだできていない部分があるので、こちらの改善をすすめる • 請求API周りがないサービスやプロジェクトとの紐付け部分をどうするか等 • Reserved instanceなどの一時的に先払いするコストをどう表現するかも検討が必要  今後Metabaseより良いものや、Metabaseでは実現できないが対応したい内容がある等が判明したらMetabaseから乗り換える可能性はある • 現状はリアルタイムなコスト可視化ではなく月次別のコスト可視化なので、需要しだいでは乗り換えの可能性あり今後について

Slide 19

Slide 19 text

Copyright © OPTiM Corp. All Right Reserved. 19  まず何かを改善したいのであれば、計測をできるように全て可視化していくことが重要 • 可視化した内容はいつでも誰でも確認できるようにしておくことで、スピーディな情報共有が可能になる • 可視化した結果から分析して、分析結果を元に改善を進める • 継続的に分析を勧め、効果がきちんと出ているか観察をするまとめ SREとして、まずはプロダクトに関わるあらゆる事を可視化していきましょう

Slide 20

Slide 20 text