Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Lookerはじめの一歩
Search
tama-chang
May 15, 2020
Technology
0
2.2k
Lookerはじめの一歩
tama-chang
May 15, 2020
Tweet
Share
More Decks by tama-chang
See All by tama-chang
データ分析の世界で今後必要とされる役割 「Purple People」とは
cmtamai
3
2.8k
Transform〜メトリクスレイヤーとは何か? データ分析に必要な「指標」を管理する
cmtamai
0
2.2k
アナリティクスエンジニアとは(What is Analytics Engineer)
cmtamai
1
8.9k
DWH御三家の各特徴と選び方〜SnowflakeとBigQueryとRedshiftと〜
cmtamai
0
9.7k
禁忌解放~TableauとLookerを連携して究極のBI環境を召喚する
cmtamai
0
3.4k
Snowflakeはじめの一歩
cmtamai
2
2.5k
スティーブン・セガール出演作品の邦題に「沈黙」がつくかどうか判別する機械学習モデルを作ろうとしてみた
cmtamai
0
930
osaka_tamai.pdf
cmtamai
0
1.9k
スティーブン・セガール出演作品の邦題に「沈黙」がつくかどうか判別する機械学習モデルを作ろうとしてみた
cmtamai
0
1.4k
Other Decks in Technology
See All in Technology
飲食店予約台帳を支えるインタラクティブ UI 設計と実装
siropaca
6
1.4k
Kubernetes x k6 で負荷試験基盤を開発して 負荷試験を民主化した話 / Kubernetes x k6
sansan_randd
2
730
アジャイル開発とスクラム
araihara
0
160
Datadog APM におけるトレース収集の流れ及び Retention Filters のはなし / datadog-apm-trace-retention-filters
k6s4i53rx
0
320
Developer Summit 2025 [14-D-1] Yuki Hattori
yuhattor
19
5.1k
「海外登壇」という 選択肢を与えるために 〜Gophers EX
logica0419
0
500
技術的負債解消の取り組みと専門チームのお話 #技術的負債_Findy
bengo4com
1
1.2k
リアルタイム分析データベースで実現する SQLベースのオブザーバビリティ
mikimatsumoto
0
950
データ資産をシームレスに伝達するためのイベント駆動型アーキテクチャ
kakehashi
PRO
2
230
スクラムのイテレーションを導入してチームの雰囲気がより良くなった話
eccyun
0
110
偶然 × 行動で人生の可能性を広げよう / Serendipity × Action: Discover Your Possibilities
ar_tama
1
740
まだ間に合う! エンジニアのための生成AIアプリ開発入門 on AWS
minorun365
PRO
4
580
Featured
See All Featured
Site-Speed That Sticks
csswizardry
3
370
The World Runs on Bad Software
bkeepers
PRO
67
11k
Side Projects
sachag
452
42k
Building a Scalable Design System with Sketch
lauravandoore
460
33k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
8
270
How to train your dragon (web standard)
notwaldorf
90
5.8k
Rails Girls Zürich Keynote
gr2m
94
13k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
A Philosophy of Restraint
colly
203
16k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Six Lessons from altMBA
skipperchong
27
3.6k
Transcript
Looker はじめの一歩 データアナリティクス事業本部 2020/5/15 玉井励 1
2 自己紹介 玉井 励(タマイ レイ) • データアナリティクス事業本部 • 奈良県葛城市在住 •
Lookerの認定資格もってます • Tableauの認定資格もってました (失効)
3 本日お話すること(アジェンダ)
4 本日お話すること • Lookerの概要 • Lookerのデモ(ダッシュボードとか) • Lookerの特徴(LookML) • AWSと一緒に使う
• Snowflakeと一緒に使う • Tableauとのすみわけ
5 本日お話しないこと
6 本日お話しないこと • Lookerの料金体系 • Lookerの具体的な操作方法 • LookMLの書き方など • AWS,
Snowflake, Tableauの具体的な紹介
7 Lookerって何?
8 Lookerとは データプラットフォーム …今はとりあえずBIツールと 思っていただいて大丈夫です (原則)クラウド上で稼働 AWS、Azure、GCP (原則) SaaS ハードウェア無し(管理不要)
9 顧客が指定した場所に別途インストールするプランもあり https://docs.looker.com/ja/setup-and-management/on-prem-install
10 Lookerのアーキテクチャ
11 とりあえず画面を見てもらいます(デモ)
12 デモでやること 1. Lookerで作ったダッシュボードの紹介 2. Explore(実際にグラフを作る画面)の紹介
13 デモは見たけど… 他のBIツールと何が違うんや…
14 Explore画面に表示されているデータ 分析に使用するデータ項 目はどうやって用意する のか?
15 Lookerはデータをコードで定義する LookMLについて
16 LookMLとは Looker専用のデータモデ リング言語(YAMLベー ス) 分析に必要なデータを コードで定義 Gitと統合したバージョン 管理
17 LookMLの例(ディメンション)
18 LookMLの例(メジャー)
19 Explore自体もLookMLで定義する
Looker 20 Lookerを使う流れ(の一例) 各種データソース • DBエンジニア • データ管理者 • …などなど
可視化 (ダッシュボード作成) LookMLでデータを定義 (データモデリング) • データアナリスト • マーケティング担当者 • 経営者 • …などなど
Looker 21 Lookerを使う流れ(の一例) 各種データソース • DBエンジニア • データ管理者 • …などなど
可視化 (ダッシュボード作成) • データモデルを一元管理 • 同じようなデータの重複を防ぐ • 定義したデータモデルを再利用してモデルを拡張する • 分析したいデータをすぐに見つけられる • 人によってデータ(の内容)がブレない
22 Looker Marketplace あらかじめ構築済の LookMLを自分のLooker に取り込むことができる 新しいビジュアライゼー ション形式や、既製の ダッシュボード等が存在
23 外部アプリケーションとの連携(Action Hub) Lookerで分析したデータ やダッシュボード等を、 外部アプリケーションへ 連携することができる
24 Action Hubの例 ダッシュボードをSlackの チャネルに直接配信 Lookerで作成した分析結果を直接 DataRobotに送信し、予測モデルを作成 Lookerで作成した顧客リストを 直接Marketoにアップロード 電話番号データに対して、Lookerから
直接テキストメッセージを送信
25 その他の特徴(一部) ダッシュボードを別のWebサイトへ埋め込み そのWebサイトに認証機能がある場合、その認証をもって、 埋め込んだLookerダッシュボードへのアクセスも許可する ことができる。Lookerに対する事前ユーザー登録は不要。 Lookerが非常に力を入れている領域の一つ(Powered by Looker)。 APIが豊富
作成したLook(のデータ)をAPI経由で取得などが可能。
26 AWSと一緒に使う
27 データソースとして対応しているAWSサービス • Amazon Redshift • Amazon Redshift Spectrum •
Amazon Athena • Amazon Aurora MySQL • (Amazon RDS)
28 Amazon Redshift Spectrumと一緒に使う S3に配置されているデー タをSpectrumで直接分 析 Amazon S3 Amazon
Redshift
29 Redshift自体の情報をLookerで可視化 https://dev.classmethod.jp/articles/looker-marketplace-model-amazon-redshift-administration/
30 他のAWS連携 ダッシュボードのPDF・画像・データ(csv)をS3バケットに送信する。 リソースIDを指定して、EC2をLookerから直接停止させる。 Action Hubの1つ(AWS EC2 Stop Instance)。 https://discourse.looker.com/t/looker-actions-aws-ec2-stop-instance/6813
より Lookerで作成した分析結果を直接トレーニングに使用し、予測モデルを 作成。また、別のLookerデータをモデルに送信して推論を実行すること も可能。Action Hubの1つ。
31 Amazon SageMakerとの連携の詳細について Lookerのイベントでハン ズオンを体験しました 下記のブログをご覧くだ さい https://dev.classmethod.jp/articles/looker-join-2019-at-san- francisco-report-looker-sagemaker/
32 Snowflakeと一緒に使う
33 Snowflakeとは データウェアハウス ANSI準拠のSQLが使用可能 クラウド上で稼働 AWS、Azure、GCP オンプレミスは非対応 SaaS ハードウェア無し(管理不要) クラウド上に
構築 SQL使用可能 SaaSとして 提供
34 LookerはSnowflakeに対応
35 Snowflake×Lookerのいいところ • Looker専用の仮想ウェアハウスを用意 • 半構造化データをそのまま利用 • データシェアリングされたデータを利用
36 Looker用の仮想ウェアハウスを用意できる XL 営業 機械学習 Structured & semi-structured ETL/ELT S
M M M M M M M M
37 Looker用の仮想ウェアハウスを用意できる XL 営業 機械学習 Structured & semi-structured ETL/ELT S
M M M M M M M M • Lookerのパフォーマンスに問題がある 場合、Snowflake側で簡単に仮想ウェ アハウスのスペックを上げることが できる • 他のワークロードに影響無し
38 Snowflakeは半構造化データをネイティブサポート 半構造化データをそのまま テーブルに入れることが可 能 (VARIANT型というカラムにロー ド可能) 入れた半構造化データに対 して直接SQLを実行可能 半構造化データ専用の関数もあり
39 Snowflakeの半構造化データ×Looker Snowflakeの半構造化 データ用クエリをLooker で利用できる 「Snowflakeに半構造化 データをそのまま入れて、 変換はLookerで」という ことが可能 https://dev.classmethod.jp/articles/looker-desire/
40 Snowflakeのデータシェアリング アカウントをまたいで データを共有できる データをコピー・マージ する必要は無し 共有元データが更新され ると、共有先にも反映さ れる
41 Snowflakeのデータシェアリング×Looker シェアされているデータ をLookerで可視化 第三者が公開している データを準備時間ゼロで 分析に利用 https://dev.classmethod.jp/business/business-analytics/snowflake- data-sharing-covid-19/ https://dev.classmethod.jp/business/business-analytics/looker-
covid19/
42 Snowflake in Looker Marketplace
43 Tableauとのすみわけ (ここからは私の主観が強いです)
44 結論 TableauとLookerは競合しない 自分(の組織)に合った方を選ぶ
45 Tableauの特徴 SQLを知らなくても簡単にデータの可視化ができる 高い操作性 ドキュメント読まなくても、ある程度使える 対応データソースが豊富 Excelやcsvに対応 表現の自由度が高い Tableau Publicを見れば一目瞭然
作成したビジュアライゼーションを管理する製品も Tableau Server, Tableau Online 利用規模がスケールしてくると管理が難しい 跳梁跋扈する「オレオレダッシュボード」
46 Tableauのビジュアライゼーションは極めて強力 https://public.tableau.com/views/BrianDennehy/Dashboard1?:display_count=y&mobile=&:origin=viz_share_link
47 Tableauの管理をミスすると… 「ワークブック毎に数値が微妙に異なる…」 「この『利益』って数値、どうやって計算したんだよ」 「どれが本当に正しいダッシュボードなんだ…」
48 つまるところTableauは… データビジュアライゼーションが一番の強み
49 Lookerのメリット(主要部分) LookMLによるデータガバナンス • コードでデータを定義することで、データのブレを防ぐ • 複数のメンバーが一元化されたデータを扱えるように • 「オレオレダッシュボード」を抑制し、正しい数値で正 しい分析が可能に
各種データソース(RDBやDWH等)に対応 • 主要なサービスについては一通り対応している
50 Lookerのメリットをあえて悪く言い換える LookMLを覚えないといけない • SQLも(ある程度)分かってないといけない • データ側の仕様も把握しないといけない • 分析したい要件も決めておかないといけない •
分析に必要な項目をLookMLで定義しないといけないから DB等を用意しないといけない • ローカルファイル(Excelやcsv等)には対応していない
51 しかしこれらの要件は… 本来は、データ分析において必要なこと LookMLを覚えないといけない • SQLも(ある程度)分かってないといけない • データ側の仕様も把握しないといけない • 分析したい要件も決めておかないといけない
• 分析に必要な項目をLookMLで定義しないといけないから DB等を用意しないといけない • ローカルファイル(Excelやcsv等)には対応していない
52 Lookerを導入する場合 半ば強制的に 「正しいデータ分析環境」を強いられる
53 つまるところLookerは… (ある意味) 「データ分析・矯正ギプス」といえる
54 まとめると? Tableauが向いている • お手軽・迅速にデータ分析を始めたい • データがExcelやcsvでしか存在しない • データ分析をする人は自分(又はごく少数)しかいない Lookerが向いている
• 組織(会社や部署等)としてデータ分析を実施する計 画・予定が既にある • BI以外(データベースやETL等)も整備する予定がある (又は既に整備されている)
55 まとめ
56 本日お話したこと • LookerはBIツールとしての機能はもちろんのこと、 データプラットフォームとしての側面もある • LookMLというコードでデータを定義する • AWSやSnowflakeと連携することで、より強力な データ分析が可能に
• Tableauとは強みがそもそも違うので(真の意味 で)競合しない • 要件に応じて選択する
57