Lookerはじめの一歩

Slide 1

Slide 1 text

Looker はじめの一歩データアナリティクス事業本部 2020/5/15 玉井励 1

Slide 2

Slide 2 text

2 自己紹介玉井励（タマイレイ） • データアナリティクス事業本部 • 奈良県葛城市在住 • Lookerの認定資格もってます • Tableauの認定資格もってました（失効）

Slide 3

Slide 3 text

3 本日お話すること（アジェンダ）

Slide 4

Slide 4 text

4 本日お話すること • Lookerの概要 • Lookerのデモ（ダッシュボードとか） • Lookerの特徴（LookML） • AWSと一緒に使う • Snowflakeと一緒に使う • Tableauとのすみわけ

Slide 5

Slide 5 text

5 本日お話しないこと

Slide 6

Slide 6 text

6 本日お話しないこと • Lookerの料金体系 • Lookerの具体的な操作方法 • LookMLの書き方など • AWS, Snowflake, Tableauの具体的な紹介

Slide 7

Slide 7 text

7 Lookerって何？

Slide 8

Slide 8 text

8 Lookerとはデータプラットフォーム …今はとりあえずBIツールと思っていただいて大丈夫です (原則)クラウド上で稼働 AWS、Azure、GCP (原則) SaaS ハードウェア無し（管理不要）

Slide 9

Slide 9 text

9 顧客が指定した場所に別途インストールするプランもあり https://docs.looker.com/ja/setup-and-management/on-prem-install

Slide 10

Slide 10 text

10 Lookerのアーキテクチャ

Slide 11

Slide 11 text

11 とりあえず画面を見てもらいます（デモ）

Slide 12

Slide 12 text

12 デモでやること 1. Lookerで作ったダッシュボードの紹介 2. Explore（実際にグラフを作る画面）の紹介

Slide 13

Slide 13 text

13 デモは見たけど… 他のBIツールと何が違うんや…

Slide 14

Slide 14 text

14 Explore画面に表示されているデータ分析に使用するデータ項目はどうやって用意するのか？

Slide 15

Slide 15 text

15 Lookerはデータをコードで定義する LookMLについて

Slide 16

Slide 16 text

16 LookMLとは Looker専用のデータモデリング言語（YAMLベース）分析に必要なデータをコードで定義 Gitと統合したバージョン管理

Slide 17

Slide 17 text

17 LookMLの例（ディメンション）

Slide 18

Slide 18 text

18 LookMLの例（メジャー）

Slide 19

Slide 19 text

19 Explore自体もLookMLで定義する

Slide 20

Slide 20 text

Looker 20 Lookerを使う流れ（の一例）各種データソース • DBエンジニア • データ管理者 • …などなど可視化（ダッシュボード作成） LookMLでデータを定義（データモデリング） • データアナリスト • マーケティング担当者 • 経営者 • …などなど

Slide 21

Slide 21 text

Looker 21 Lookerを使う流れ（の一例）各種データソース • DBエンジニア • データ管理者 • …などなど可視化（ダッシュボード作成） • データモデルを一元管理 • 同じようなデータの重複を防ぐ • 定義したデータモデルを再利用してモデルを拡張する • 分析したいデータをすぐに見つけられる • 人によってデータ（の内容）がブレない

Slide 22

Slide 22 text

22 Looker Marketplace あらかじめ構築済の LookMLを自分のLooker に取り込むことができる新しいビジュアライゼーション形式や、既製のダッシュボード等が存在

Slide 23

Slide 23 text

23 外部アプリケーションとの連携（Action Hub） Lookerで分析したデータやダッシュボード等を、外部アプリケーションへ連携することができる

Slide 24

Slide 24 text

24 Action Hubの例ダッシュボードをSlackのチャネルに直接配信 Lookerで作成した分析結果を直接 DataRobotに送信し、予測モデルを作成 Lookerで作成した顧客リストを直接Marketoにアップロード電話番号データに対して、Lookerから直接テキストメッセージを送信

Slide 25

Slide 25 text

25 その他の特徴（一部）ダッシュボードを別のWebサイトへ埋め込みそのWebサイトに認証機能がある場合、その認証をもって、埋め込んだLookerダッシュボードへのアクセスも許可することができる。Lookerに対する事前ユーザー登録は不要。 Lookerが非常に力を入れている領域の一つ（Powered by Looker）。 APIが豊富作成したLook（のデータ）をAPI経由で取得などが可能。

Slide 26

Slide 26 text

26 AWSと一緒に使う

Slide 27

Slide 27 text

27 データソースとして対応しているAWSサービス • Amazon Redshift • Amazon Redshift Spectrum • Amazon Athena • Amazon Aurora MySQL • （Amazon RDS）

Slide 28

Slide 28 text

28 Amazon Redshift Spectrumと一緒に使う S3に配置されているデータをSpectrumで直接分析 Amazon S3 Amazon Redshift

Slide 29

Slide 29 text

29 Redshift自体の情報をLookerで可視化 https://dev.classmethod.jp/articles/looker-marketplace-model-amazon-redshift-administration/

Slide 30

Slide 30 text

30 他のAWS連携ダッシュボードのPDF・画像・データ（csv）をS3バケットに送信する。リソースIDを指定して、EC2をLookerから直接停止させる。 Action Hubの1つ（AWS EC2 Stop Instance）。 https://discourse.looker.com/t/looker-actions-aws-ec2-stop-instance/6813 より Lookerで作成した分析結果を直接トレーニングに使用し、予測モデルを作成。また、別のLookerデータをモデルに送信して推論を実行することも可能。Action Hubの1つ。

Slide 31

Slide 31 text

31 Amazon SageMakerとの連携の詳細について Lookerのイベントでハンズオンを体験しました下記のブログをご覧ください https://dev.classmethod.jp/articles/looker-join-2019-at-san- francisco-report-looker-sagemaker/

Slide 32

Slide 32 text

32 Snowflakeと一緒に使う

Slide 33

Slide 33 text

33 Snowflakeとはデータウェアハウス ANSI準拠のSQLが使用可能クラウド上で稼働 AWS、Azure、GCP オンプレミスは非対応 SaaS ハードウェア無し（管理不要）クラウド上に構築 SQL使用可能 SaaSとして提供

Slide 34

Slide 34 text

34 LookerはSnowflakeに対応

Slide 35

Slide 35 text

35 Snowflake×Lookerのいいところ • Looker専用の仮想ウェアハウスを用意 • 半構造化データをそのまま利用 • データシェアリングされたデータを利用

Slide 36

Slide 36 text

36 Looker用の仮想ウェアハウスを用意できる XL 営業機械学習 Structured & semi-structured ETL/ELT S M M M M M M M M

Slide 37

Slide 37 text

37 Looker用の仮想ウェアハウスを用意できる XL 営業機械学習 Structured & semi-structured ETL/ELT S M M M M M M M M • Lookerのパフォーマンスに問題がある場合、Snowflake側で簡単に仮想ウェアハウスのスペックを上げることができる • 他のワークロードに影響無し

Slide 38

Slide 38 text

38 Snowflakeは半構造化データをネイティブサポート半構造化データをそのままテーブルに入れることが可能（VARIANT型というカラムにロード可能）入れた半構造化データに対して直接SQLを実行可能半構造化データ専用の関数もあり

Slide 39

Slide 39 text

39 Snowflakeの半構造化データ×Looker Snowflakeの半構造化データ用クエリをLooker で利用できる「Snowflakeに半構造化データをそのまま入れて、変換はLookerで」ということが可能 https://dev.classmethod.jp/articles/looker-desire/

Slide 40

Slide 40 text

40 Snowflakeのデータシェアリングアカウントをまたいでデータを共有できるデータをコピー・マージする必要は無し共有元データが更新されると、共有先にも反映される

Slide 41

Slide 41 text

41 Snowflakeのデータシェアリング×Looker シェアされているデータをLookerで可視化第三者が公開しているデータを準備時間ゼロで分析に利用 https://dev.classmethod.jp/business/business-analytics/snowflake- data-sharing-covid-19/ https://dev.classmethod.jp/business/business-analytics/looker- covid19/

Slide 42

Slide 42 text

42 Snowflake in Looker Marketplace

Slide 43

Slide 43 text

43 Tableauとのすみわけ（ここからは私の主観が強いです）

Slide 44

Slide 44 text

44 結論 TableauとLookerは競合しない自分（の組織）に合った方を選ぶ

Slide 45

Slide 45 text

45 Tableauの特徴 SQLを知らなくても簡単にデータの可視化ができる高い操作性ドキュメント読まなくても、ある程度使える対応データソースが豊富 Excelやcsvに対応表現の自由度が高い Tableau Publicを見れば一目瞭然作成したビジュアライゼーションを管理する製品も Tableau Server, Tableau Online 利用規模がスケールしてくると管理が難しい跳梁跋扈する「オレオレダッシュボード」

Slide 46

Slide 46 text

46 Tableauのビジュアライゼーションは極めて強力 https://public.tableau.com/views/BrianDennehy/Dashboard1?:display_count=y&mobile=&:origin=viz_share_link

Slide 47

Slide 47 text

47 Tableauの管理をミスすると… 「ワークブック毎に数値が微妙に異なる…」「この『利益』って数値、どうやって計算したんだよ」「どれが本当に正しいダッシュボードなんだ…」

Slide 48

Slide 48 text

48 つまるところTableauは… データビジュアライゼーションが一番の強み

Slide 49

Slide 49 text

49 Lookerのメリット（主要部分） LookMLによるデータガバナンス • コードでデータを定義することで、データのブレを防ぐ • 複数のメンバーが一元化されたデータを扱えるように • 「オレオレダッシュボード」を抑制し、正しい数値で正しい分析が可能に各種データソース（RDBやDWH等）に対応 • 主要なサービスについては一通り対応している

Slide 50

Slide 50 text

50 Lookerのメリットをあえて悪く言い換える LookMLを覚えないといけない • SQLも（ある程度）分かってないといけない • データ側の仕様も把握しないといけない • 分析したい要件も決めておかないといけない • 分析に必要な項目をLookMLで定義しないといけないから DB等を用意しないといけない • ローカルファイル（Excelやcsv等）には対応していない

Slide 51

Slide 51 text

51 しかしこれらの要件は… 本来は、データ分析において必要なこと LookMLを覚えないといけない • SQLも（ある程度）分かってないといけない • データ側の仕様も把握しないといけない • 分析したい要件も決めておかないといけない • 分析に必要な項目をLookMLで定義しないといけないから DB等を用意しないといけない • ローカルファイル（Excelやcsv等）には対応していない

Slide 52

Slide 52 text

52 Lookerを導入する場合半ば強制的に「正しいデータ分析環境」を強いられる

Slide 53

Slide 53 text

53 つまるところLookerは… （ある意味）「データ分析・矯正ギプス」といえる

Slide 54

Slide 54 text

54 まとめると？ Tableauが向いている • お手軽・迅速にデータ分析を始めたい • データがExcelやcsvでしか存在しない • データ分析をする人は自分（又はごく少数）しかいない Lookerが向いている • 組織（会社や部署等）としてデータ分析を実施する計画・予定が既にある • BI以外（データベースやETL等）も整備する予定がある（又は既に整備されている）

Slide 55

Slide 55 text

55 まとめ

Slide 56

Slide 56 text

56 本日お話したこと • LookerはBIツールとしての機能はもちろんのこと、データプラットフォームとしての側面もある • LookMLというコードでデータを定義する • AWSやSnowflakeと連携することで、より強力なデータ分析が可能に • Tableauとは強みがそもそも違うので（真の意味で）競合しない • 要件に応じて選択する