Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第123回 雲勉【オンライン】Lookerによる運用分析
Search
iret.kumoben
December 21, 2023
Technology
0
210
第123回 雲勉【オンライン】Lookerによる運用分析
下記、勉強会での資料です。
https://youtu.be/BNxtT2biRm4
iret.kumoben
December 21, 2023
Tweet
Share
More Decks by iret.kumoben
See All by iret.kumoben
第167回 雲勉 エージェント開発を加速する Agent Development Kit 入門
iret
1
24
第166回 雲勉 コードを読んで理解する AWS Amplify Gen2 Backend
iret
0
28
第165回 雲勉 Google Agentspace について
iret
0
24
第164回 雲勉 Agent Development Kit と MCP Toolbox for Databases で MCP 連携してみた
iret
1
44
第163回 雲勉 CircleCIで複数リポジトリ間のパイプラインを連携する
iret
1
35
第162回 雲勉 比較して学ぶ AWS Amplify Gen 2
iret
0
49
第161回 雲勉 Amazon Kinesis Data Streams と Amazon Data Firehose を使ってみよう
iret
0
47
第160回 雲勉 それ、AWS Step Functions で置き換えれん?
iret
0
73
第159回 雲勉 Amazon Bedrock でブラウザを操作する AI エージェントを作ってみた
iret
0
84
Other Decks in Technology
See All in Technology
AWS テクニカルサポートとエンドカスタマーの中間地点から見えるより良いサポートの活用方法
kazzpapa3
2
610
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
5
4.5k
モバイル界のMCPを考える
naoto33
0
360
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
2
250
KubeCon + CloudNativeCon Japan 2025 Recap by CA
ponkio_o
PRO
0
250
AWS Organizations 新機能!マルチパーティ承認の紹介
yhana
1
220
ビズリーチが挑む メトリクスを活用した技術的負債の解消 / dev-productivity-con2025
visional_engineering_and_design
0
130
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
220
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
130
OpenHands🤲にContributeしてみた
kotauchisunsun
1
500
事業成長の裏側:エンジニア組織と開発生産性の進化 / 20250703 Rinto Ikenoue
shift_evolve
PRO
1
240
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
370
Featured
See All Featured
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
680
Gamification - CAS2011
davidbonilla
81
5.3k
Writing Fast Ruby
sferik
628
62k
Designing for humans not robots
tammielis
253
25k
Agile that works and the tools we love
rasmusluckow
329
21k
Into the Great Unknown - MozCon
thekraken
39
1.9k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Statistics for Hackers
jakevdp
799
220k
Code Review Best Practice
trishagee
69
18k
The Invisible Side of Design
smashingmag
300
51k
Transcript
第123回 雲勉【オンライン】 Lookerによる運⽤分析
話すこと 2 • 自己紹介(所属、PR) • Lookerについて(座学) ◦ Lookerとは ◦ Lookerでよく使う機能
◦ HelpやTips ◦ Looker APIの紹介(応用的な使い方を紹介) • 活用事例(事例紹介) ◦ 最近携わったこと ◦ 運用分析プラットフォームとは(構成も含めて解説) ◦ Lookerを導入したあとの構成 ◦ Lookerの導入理由(簡単に) ◦ New Relic FutureStack Tokyo 2023 • まとめ
経歴含め自己紹介 3 経歴 • 2022年10月~現在 アイレット株式会社 ◦ Multi Cloud Developer
• (2016年~2022年9月)某通信キャリアの子会社 ◦ ITスペシャリスト github,zenn,Qiita,X(旧Twitter),@ymd65536
PR 4 2022/8/31 発売 2023/9/2 発売 コンピュータ・IT部門で1位 アプリケーション部門で1位 Amazon ベストセラー獲得
5 Lookerについて(座学)
Lookerとは 6 統合されたビジネス インテリジェンス プラットフォーム! Google が提供するデータ可視化プラットフォーム ほぼすべてのデータソースを元に可視化を提供するところがポイント!
Lookerでよく使う機能 7 さまざまな機能がありますが、よく利用する機能にフォーカスして紹介! 今回紹介する機能 • LookMLプロジェクト • SQL Runner •
Explore +アルファで「難しいな」と思ったポイントを一つ紹介 https://cloud.google.com/looker?hl=ja
8 SQLのバージョン管理ができていない before LookMLプロジェクトでSQLに対するバージョン管理を導 入 after LookMLプロジェクト SQLをプロジェクト毎に保存することでバージョン管理ができる! SQLの変更管理が可能となる。 プロジェクト単位で管理できるのでSQLの再利用性が高まる。
Point
LookML(Looker Modeling Language)とは 9 Looker独自のクエリ管理言語 LookML は、Looker Modeling Language の略です。セマンティック
データモデルを作成するため に Looker で使用される言語です。LookML を使用して、SQL データベース内のディメンション 、集計、計算、およびデータの関係を記述できます。 公式:LookMLの紹介 | Looker | Google Cloud LookerでSQLを実行するときはLookMLを活用する。 SQLを実行するときはLookMLの文法(ディメンションやメジャーなど)を覚える必要がある。 LookMLではデータモデル(以下、View)を作成できる、 Point
ディメンションやメジャーとは 10 系列と計測値のこと ディメンションは系列のこと メジャーは計測値(表計算でいうところのCountやSum関数などで取得した数値) Point ディメンション メジャー 系列 計測値
※系列:特定の項目を指す。時間ならば時系列
11 Amazon Athena SQL Runner Looker SQL Runner Lookerの接続先にスクラッチで書いたSQLを実行できる機能です。 ex)
SQL Runner を活用してAmazon Athenaのクエリを実行! →現行の分析環境と同じ結果を取得できるため、精度が非常に高く、Lookerに依存しない。 実行 結果取得 既存のSQL資産を活用してクエリを実行できます。 ※Amazon AthenaとLookerのJDBC接続が必要です。 Point
12 Explore SQL Runnerで作成できない可視化に対応できる。定義されたLookMLをViewとして閲覧できる。 SQL Runnerの欠点 SQLで定義したカラム情報は全てディメンションとして定義されてしまう。 グラフを作成するためにはメジャーも指標として必要であるため、SQL Runnerのみでグラフを作成するのは 難しい。
メジャー(計測値)がない場合はExploreで作成する。 定義されたLookMLをViewとして閲覧できる。 グラフを作成する際に必要なメジャーを作成できる。 Point
13 次の項目を説明するまえに3つの機能と関係をおさらい • SQLをLookMLという形式に解釈し、ExploreでViewとして閲覧できる • SQLからLookMLの形式に変換する過程ではSQLRunnerが利用できる • 変換したLookMLはLookMLプロジェクトに保存できる
SQL Runner 14 次の項目を説明するまえに3つの機能と関係をおさらい • SQLをLookMLという形式に解釈し、ExploreでViewとして閲覧できる • SQLからLookMLの形式に変換する過程ではSQLRunnerが利用できる • 変換したLookMLはLookMLプロジェクトに保存できる
SQL LookML 変換 LookMLプロジェクト Explore View 解釈 LookMLで定義された Viewを参照
Look(visualization)とは 15 Viewを保存する機能、ダッシュボードにおいては可視化の単位 別の呼び方:ダッシュボードに配置できる単位 ダッシュボード Look Look Look Look Look
Look Look Look Look
ダッシュボードとは 16 Lookやその他UIを複数保持できる画面のこと Look以外にはテキストボックスやButton、マークダウンを配置できる。 ダッシュボード テキストボックス Button Look マークダウン
ここが難しいよ!Looker!!! 17 LookML?モデル?ビュー?ディメンション?メジャー?とにもかくにも用語のオンパレー ド
ここが難しいよ!Looker!!! 18 赤枠で囲ったところが理解できれば、分析作業ができます。特にLookMLが難しい。
Lookerの活用で得た知見は随時、iret.mediaで発信しています。 https://iret.media/tag/looker help:Lookerでわからない用語があったらiret.mediaを閲覧しよう!! 19
LookerのAPI(ここから先は応用的な使い方を紹介)初公開! 20 Lookerの機能を外部から利用できるインターフェイス 2023年12月においてはV3とV4バージョンがありますが、V4が推奨されています。 ※APIの実行にはLookerのライセンスとCLIENT_IDとアクセスキーが必要です。 なお、プログラミング言語に知見のある方はLooker SDKの利用を推奨します。
LookerのAPI(利用手順1) 21 Lookerの機能を外部から利用できるインターフェイス 利用手順 1. クライアントキーとクライアントシークレットキー(以下、アクセスキー)を発行 1
LookerのAPI(利用手順2) 22 Lookerの機能を外部から利用できるインターフェイス 利用手順 1. クライアントキーとクライアントシークレットキー(以下、アクセスキー)を発行 2. アクセスキーを使ってアクセストークンをリクエスト 1 2
LookerのAPI(利用手順3) 23 Lookerの機能を外部から利用できるインターフェイス 利用手順 1. クライアントキーとクライアントシークレットキー(以下、アクセスキー)を発行 2. アクセスキーを使ってアクセストークンをリクエスト 3. アクセストークンを取得
1 2 3
LookerのAPI(利用手順4) 24 Lookerの機能を外部から利用できるインターフェイス 利用手順 1. クライアントキーとクライアントシークレットキー(以下、アクセスキー)を発行 2. アクセスキーを使ってアクセストークンをリクエスト 3. アクセストークンを取得
4. アクセストークンをヘッダーに含めてリクエスト(APIの実行) 1 2 3 4
Looker APIを動かしてみる(構成) 25
Looker APIを動かしてみる(構成) 26
Looker APIを動かしてみる(構成) 27
活用方法 28 Lookerに対してはさまざまなコネクタが存在するので必要に応じて活用すべし 具体的には以下 • Looker StudioからLookerへの接続 • SpreadSheetからLookerに接続(いわゆる、コネクティッドシート) •
PowerBIからLookerに接続
29 Looker活用事例の紹介
最近携わっていること 30 マネージドサービスプロバイダ(MSP)の運用分析プラットフォームの運用がメイン 具体的には下記の業務 • MSPメンバーと協力してcloudpackのサービス品質向上 ◦ 有人監視アラートにおける対応スピードをあげる取り組み ◦ アラート対応にあたって見つかる課題の解消
• Lookerを扱えるメンバーの拡充 ※MSP:弊社ではcloudpackというサービスを24h365d運用するためのチームあるいはセクションが存在しま す。MSPはあまりよく知られていませんが、一般用語です。業界内にはさまざまなMSPが存在します。
運用分析プラットフォームとは(構成も含めて解説) 31 cloudpackの運用状況を可視化するアイレット唯一のプラットフォーム 運用分析プラットフォーム=cloudpackの運用状況を可視化するプラットフォーム 参考:クラウド監視・運用保守の品質がさらに進化。AMS 適用やインシデント対応品質を高める「運用分析プラットフォーム」を短期間で構築
補足:運用分析プラットフォームとつながるシステム 〜AMSについて〜 32 運用分析プラットフォームではさまざまなサービスおよびAMSを分析対象にしています! モニタリングの体制、次世代監視基盤AMS(AdvancedMonitoringSystem)の分析を担う! 参考:クラウド監視・運用保守の品質がさらに進化。AMS 適用やインシデント対応品質を高める「運用分析プラットフォーム」を短期間で構築
Lookerの導入理由(簡単に) 33 組織/運用における課題 • 組織的な課題 • 運用における課題
組織的な課題 34 手探りが多く、不明な点が多いRedashをMSPに広めていくのはかなり難易度が高い • MSPの要望に応えるのが難しくなってきた。。。。 • MSPのメンバーにも分析をしてもらうということを考えるとモチベーションと説明が必要 ◦ 「なぜ、Redashなのか」と聞かれたら答えられないぜい弱さ!
運用における課題 35 クエリ実行による計算量が多いとサーバエラーになることもそれなりにあった。。。。 • Redashでは障害が度々起きていたのでそれが分析の足枷になっていた ◦ ECS Fargateにしたけども運用負荷が高い 以前の構成(コンピューティングのところだけ抜粋)
ここでLookerの登場! 36 Lookerが今の課題を解決する銀の弾丸だと思った! Lookerは何もわからんという状態だったけども。。。。 • Redashのコンテナ運用から解放されるから👉ヨシッ • MSPメンバーの新しいスキルとして「分析どうですか」と提案できるから👉ヨシッ • Google
Cloudに触るキッカケとなるからとりあえず👉ヨシッ ということで実際の運用を目指して検証を始めた。
Lookerを導入した運用分析プラットフォーム 37 部分的に分析環境を構築し、現行の分析環境と同じ分析作業ができるかどうかを検 証 →Redash上のダッシュボードを移行して動作確認した
実際にLookerを使ってみて 38 結論:Lookerの機能を活用すれば、運用分析プラットフォームと同じ分析作業が実行できる ※活用した機能 • LookMLプロジェクト • SQL Runner •
Explore
NewRelic FutureStack Tokyo 2023の展示ブースで出してみたら。。。 39 予想以上の反響!!弊社の営業も絶賛! 手応え • 100 人近くがブースに来場
◦ 66 名の皆様と名刺交換 ▪ そのうち9割が興味があると回答 ※名刺交換できなかったり、弊社営業サイドのキャパシティが問題で対応できなかった来場者の方も数人 イベント参加者は1,000人くらいなので単純計算では1/10 がブースに来場!?
実際に展示した画面:AMS分析用の画面イメージ 40 発生したインシデント件数に対してAMSがいくつ対応したかの割合 検索期間によっては有人対応しかない場合もあり、0%になることもあります。 ダイナミックに平均を算出することや 達成ラインを引くこともできます。 また引いたラインについては何のラインであるかを 説明することも可能です。 ダッシュボードでAMSの対応率を可視化すること で
AMSのパフォーマンスを細かく分析できます。 95%を固定値にした達成ライン 数値の平均を自動で算出して自動的にラインを引く
実際に展示した画面:監視運用保守サービスの画面イメージ 41 有人対応の人数を調整する時など どの時間帯に人を必要としているかが分析できます。 時間帯毎に絞ったグラフを積み上げ棒毎にすることで 何が原因かを詳しく分析できます。
まとめ 42 Lookerはイイぞ • Lookerの基本をおさらいした! ◦ ついでにLooker APIについて見ました • 活用事例の紹介として障害が多かった分析プラットフォームを改善していく過程でLookerを導入した!
• 他にもいろんな活動してるよ!