Share
Embed
第123回 雲勉【オンライン】Lookerによる運用分析
下記、勉強会での資料です。
https://youtu.be/BNxtT2biRm4
iret.kumoben
December 21, 2023
Transcript
42 slides
-
話すこと 2 • 自己紹介(所属、PR) • Lookerについて(座学) ◦ Lookerとは ◦ Lookerでよく使う機能
◦ HelpやTips ◦ Looker APIの紹介(応用的な使い方を紹介) • 活用事例(事例紹介) ◦ 最近携わったこと ◦ 運用分析プラットフォームとは(構成も含めて解説) ◦ Lookerを導入したあとの構成 ◦ Lookerの導入理由(簡単に) ◦ New Relic FutureStack Tokyo 2023 • まとめ -
経歴含め自己紹介 3 経歴 • 2022年10月~現在 アイレット株式会社 ◦ Multi Cloud Developer
• (2016年~2022年9月)某通信キャリアの子会社 ◦ ITスペシャリスト github,zenn,Qiita,X(旧Twitter),@ymd65536 -
Lookerでよく使う機能 7 さまざまな機能がありますが、よく利用する機能にフォーカスして紹介! 今回紹介する機能 • LookMLプロジェクト • SQL Runner •
Explore +アルファで「難しいな」と思ったポイントを一つ紹介 https://cloud.google.com/looker?hl=ja -
LookML(Looker Modeling Language)とは 9 Looker独自のクエリ管理言語 LookML は、Looker Modeling Language の略です。セマンティック
データモデルを作成するため に Looker で使用される言語です。LookML を使用して、SQL データベース内のディメンション 、集計、計算、およびデータの関係を記述できます。 公式:LookMLの紹介 | Looker | Google Cloud LookerでSQLを実行するときはLookMLを活用する。 SQLを実行するときはLookMLの文法(ディメンションやメジャーなど)を覚える必要がある。 LookMLではデータモデル(以下、View)を作成できる、 Point -
11 Amazon Athena SQL Runner Looker SQL Runner Lookerの接続先にスクラッチで書いたSQLを実行できる機能です。 ex)
SQL Runner を活用してAmazon Athenaのクエリを実行! →現行の分析環境と同じ結果を取得できるため、精度が非常に高く、Lookerに依存しない。 実行 結果取得 既存のSQL資産を活用してクエリを実行できます。 ※Amazon AthenaとLookerのJDBC接続が必要です。 Point -
12 Explore SQL Runnerで作成できない可視化に対応できる。定義されたLookMLをViewとして閲覧できる。 SQL Runnerの欠点 SQLで定義したカラム情報は全てディメンションとして定義されてしまう。 グラフを作成するためにはメジャーも指標として必要であるため、SQL Runnerのみでグラフを作成するのは 難しい。
メジャー(計測値)がない場合はExploreで作成する。 定義されたLookMLをViewとして閲覧できる。 グラフを作成する際に必要なメジャーを作成できる。 Point -
SQL Runner 14 次の項目を説明するまえに3つの機能と関係をおさらい • SQLをLookMLという形式に解釈し、ExploreでViewとして閲覧できる • SQLからLookMLの形式に変換する過程ではSQLRunnerが利用できる • 変換したLookMLはLookMLプロジェクトに保存できる
SQL LookML 変換 LookMLプロジェクト Explore View 解釈 LookMLで定義された Viewを参照 -
LookerのAPI(利用手順4) 24 Lookerの機能を外部から利用できるインターフェイス 利用手順 1. クライアントキーとクライアントシークレットキー(以下、アクセスキー)を発行 2. アクセスキーを使ってアクセストークンをリクエスト 3. アクセストークンを取得
4. アクセストークンをヘッダーに含めてリクエスト(APIの実行) 1 2 3 4 -
最近携わっていること 30 マネージドサービスプロバイダ(MSP)の運用分析プラットフォームの運用がメイン 具体的には下記の業務 • MSPメンバーと協力してcloudpackのサービス品質向上 ◦ 有人監視アラートにおける対応スピードをあげる取り組み ◦ アラート対応にあたって見つかる課題の解消
• Lookerを扱えるメンバーの拡充 ※MSP:弊社ではcloudpackというサービスを24h365d運用するためのチームあるいはセクションが存在しま す。MSPはあまりよく知られていませんが、一般用語です。業界内にはさまざまなMSPが存在します。 -
ここでLookerの登場! 36 Lookerが今の課題を解決する銀の弾丸だと思った! Lookerは何もわからんという状態だったけども。。。。 • Redashのコンテナ運用から解放されるから👉ヨシッ • MSPメンバーの新しいスキルとして「分析どうですか」と提案できるから👉ヨシッ • Google
Cloudに触るキッカケとなるからとりあえず👉ヨシッ ということで実際の運用を目指して検証を始めた。 -
NewRelic FutureStack Tokyo 2023の展示ブースで出してみたら。。。 39 予想以上の反響!!弊社の営業も絶賛! 手応え • 100 人近くがブースに来場
◦ 66 名の皆様と名刺交換 ▪ そのうち9割が興味があると回答 ※名刺交換できなかったり、弊社営業サイドのキャパシティが問題で対応できなかった来場者の方も数人 イベント参加者は1,000人くらいなので単純計算では1/10 がブースに来場!? -
実際に展示した画面:AMS分析用の画面イメージ 40 発生したインシデント件数に対してAMSがいくつ対応したかの割合 検索期間によっては有人対応しかない場合もあり、0%になることもあります。 ダイナミックに平均を算出することや 達成ラインを引くこともできます。 また引いたラインについては何のラインであるかを 説明することも可能です。 ダッシュボードでAMSの対応率を可視化すること で
AMSのパフォーマンスを細かく分析できます。 95%を固定値にした達成ライン 数値の平均を自動で算出して自動的にラインを引く