dbtとLookerの 境界線を定めます！

Transcript

1. dbtとLookerの 
 境界線を定めます！ 
 20212/7/28
 アライアンス統括部
 紗紗

2. 2 自己紹介 名前：ほりもとりさ（ブログは紗紗） 所属：アライアンス統括部のアナリティクスコンサルタント 担当：MDS製品のプロフェッショナルサービス 　　　ルッカフレークと呼んでくれたまへ 好きな◦◦ 　　ヒムペキ： 　　グループ： SixTONES　曲：マスカラ (他SixTONESの曲全て) 　　 「ボーイフレンド」 aiko、「Poison」反町隆史、「ココロオドル」 nobodyknows+、 「おら東京さいぐだ」吉幾三、「 if...」DA PUMP、「アンパンマンのマーチ」、他多数
3. 3 お話しすること • Lookerがあればdbtはいらないのか？ dbtがあればLookerはいらないのか？ • Lookerとは？ • dbtとは？ • Lookerか？dbtか？ ◦ それぞれのケースで検討してみます • まとめ
4. 4 Lookerがあればdbtはいらないのか？dbtがあればLookerは... わたしがいれば Looker殿の出番は ござらんのでは なかろうか？ わたしがいながら なぜ最近ではdbt殿 が大注目なの だろうか？ dbt (dbbit) Looker （ルッカエル）
5. 5 そもそもLookerとは？ 　　　　　　　 　BIツールです！ 　　　　　　　　 データプラットフォームです！
6. 6 そもそもLookerとは？ 　　　　　　　 　BIツールです！ 　　　　　　　　 データプラットフォームです！ BIツールです！！！
7. 7 そもそもLookerとは？ 　　　　　　　　 データは可視化してナンボ 　マンボ
8. 8 そもそもLookerとは？ 　　　　　　　　 可視化されたデータを元に 　　　　　　　　 迅速な意思決定が可能！
9. 9 そもそもLookerとは？ 　　　　　　　　 そのデータ信頼できます？
10. 10 そもそもLookerとは？ 　　　　　　　　 信頼できるデータなら 　　　　　　　　 Lookerにお任せください！
11. 11 そもそもdbtとは？ データ変換ツールです！ （data build tool）
12. 12 そもそもdbtとは？ ELTの Tをおこなうツールです。
13. 13 そもそもdbtとは？ 生データを分析できる形に キレイキレイします。
14. 14 そもそもdbtとは？ 野良処理、野良 view、 hirano nora 従来からの Tの問題を解決して 信頼できるデータを提供
15. 15 dbtが提供するこれからのデータモデリング ・SELECT文を知っていれば、誰でもデータマート開発を行えるサービス 
 ・特別な知識＆スキル不要で、アプリ開発の手法を取り入れた開発が可能 
 　（バージョン管理、CI/CD、自動テスト、ドキュメント管理、etc） 
 アプリ開発の手法を取り入れている ・Gitと連携 ・継続的インテグレーション ドキュメントの自動生成 ・データの定義や依存関係等がわかる ・データカタログの役割も Jinjaで高度な処理を開発できる ・SQLだけでは実現できない処理の実現 ・マクロとして処理をモジュール化、再利用可 データに対してテストを実行できる ・not nullや参照整合性等を自動でテスト可能 ・Jinjaで、オリジナルのテストも作成可能 主要なDWHに対応 ・Amazon Redshift、Snowflake、Google BigQuery SQLで開発できる ・必要なのはSELECT文だけ ・プログラミング言語の学習は不要 1 6 5 3 4 2
16. 16 Lookerがあればdbtはいらないのか？dbtがあればLookerは... わたしがいれば Looker殿の出番は ござらんのでは なかろうか？ わたしがいながら なぜ最近ではdbt殿 が大注目なの だろうか？ dbt (dbbit) Looker （ルッカエル）
17. 17 Lookerか？dbtか？ 生データからユーザーが実際に使用するデータの 間の処理を Lookerで行うべきか、 dbtでやればいのか その境界線を決めようじゃないか
18. 18 Case 0: 重量級のデータ整形 It turns out that “sessionizing” a stream of page views in SQL is a non-trivial task, and it’s especially challenging to do in a performant way when you’re dealing with a ton of data. In fact, the dbt code required to performantly sessionize page view events emitted by Snowplow is over a thousand lines long. 出典：“How do you decide what to model in dbt vs LookML?” より SQLでページビューの流れをセッション化することは
 簡単なことではなく、大量のデータを扱う場合には、
 パフォーマンスの高い方法で行うことが特に難しい
 ことがわかりました。
 実際Snowplowが発行するページビューイベントを
 セッション化するために必要なdbtのコードは 
 1000行以上あります 。

19. 19 Case 0: 重量級のデータ整形 　　dbtのモジュール化や jinjaを以ってしても 1000行 　　これをLookerで...
20. 20 Case 1: 軽量級のデータ整形 　生データに対しておこなうお手入れ • 不要なデータの除去 • コラム名の変更 • 単位の修正 ◦ 秒 → 分 ◦ 万 → 億 ワシだ！
21. 21 Case 1: 軽量級のデータ整形 　dbtでやりましょう！
22. 22 Case 1: 軽量級のデータ整形 　Lookerの外からそのデータに 　アクセスする人はどうする？
23. 23 Case 1: 軽量級のデータ整形 　　dbtのモジュール化や jinjaで処理もラクに 　　descriptionやテストもあって安心
24. 24 Case 2: 計算フィールドの定義 CASE文での条件分岐 SUMやMAXなどの集約計算 ワシだ！
25. 25 Case 2: 計算フィールドの定義 　dbtでやりましょう！
26. 26 Lookerにだってできるのだ 　 簡単なデータ整形も、 計算フィールドも Lookerでできるのだ！！ なぜ、dbtばかりなのだ！！
27. 27 Lookerにだってできるのだ まぁ、落ち着きましょう。
28. 28 Lookerにだってできるのだ 　知ってますよ、 　Lookerでできるのは
29. 29 Lookerにだってできるのだ
30. 30 Case 2: 計算フィールドの定義 　Lookerの外からそのデータに 　アク (ry…
31. 31 Case 2: 計算フィールドの定義 　　dbtで本番環境にデプロイする際に 　　開発環境とは別のスキーマにデプロイされる
32. 32 Case 3: 指標の定義 日別、週別、 月別、四半期別、年別の収益 地域ごと、製品グループごと ユーザーグループごとの収益 ワシだ！
33. 33 Case 2: 計算フィールドの定義 　それは....
34. 34 Case 2: 計算フィールドの定義 　それは.....
35. 35 Case 3: 指標の定義 Lookerでやりましょう！
36. 36 Case 3: 指標の定義 日別、週別、 月別、四半期別、年別の収益 地域ごと、製品グループごと ユーザーグループごとの収益 ワシだ！
37. 37 Lookerにだってできる 　 簡単なデータ整形も、 計算フィールドも Lookerでできるのだ！！ なぜ、dbtばかりなのだ！！
38. 38 Lookerにだってできる 想像してみてください・・・
39. 39 Lookerにだってできる 上司に対して、こうなりますよね？
40. 40 まとめ LookerはBIツール、 dbtはデータ変換ツールです。
41. 41 まとめ 分析環境、ステージに応じて 適切なツールの導入をご検討ください
42. 42 まとめ わたしが何よりも望んでいるのは データ分析基盤の平和です。
61. 61 プレーンです。自由に文字や図を置けます
63. 63 タイトルだけを大きく見せます
64. 64 大きくタイトルを見せたい時に使用します 二行以上になった場合は このようになります
65. 65 ひとことだけ何かを言いたい時に使用します ある日の暮方の事である
66. 66 ひとことだけ何かを言いたい時に使用します 収益が10%ダウンしてしまいました （ネガティブ表現）
67. 67 ひとことだけ何かを言いたい時に使用します 売上が30％アップしました！ （ポジティブ表現）
68. 68 ひとことだけ何かを言いたい時に使用します 注意！！ （ネガティブ表現、キケンを表すとき）
69. 69 文章を流し込むことが出来ます ある日の暮方の事である。一人の下人げにん が、羅生門ら しょうもん の下で雨やみを待っていた。 広い門の下には、この男のほかに誰もいない。ただ、所々丹 塗にぬりの剥はげた、大きな円柱まるばしら に、蟋蟀きりぎ りすが一匹とまっている。羅生門が、朱雀大路すざくおおじ にある以上は、この男のほかにも、雨やみをする市女笠い ちめがさや揉烏帽子もみえぼし が、もう二三人はありそうな ものである。それが、この男のほかには誰もいない。
70. 70 Tabキーをつかってレベルを下げられます ある日の暮方の事である。 一人の下人げにん 羅生門らしょうもんの下で雨やみを待っていた。 広い門の下には、この男のほかに誰もいない ただ、所々丹塗にぬりの剥はげ 大きな円柱まるばしらに蟋蟀きりぎりすが一匹とまっている。 羅生門が、朱雀大路すざくおおじにある以上は、この男のほかにも、雨 やみをする市女笠いちめがさや揉烏帽子もみえぼしが、 もう二三人はありそうなものである。 それが、この男のほかには誰もいない。
71. 71 こちらはインデントがなく左端がそろっています ある日の暮方の事である。 一人の下人げにんが、羅生門らしょうもんの下で雨やみを待ってい た。 広い門の下には、この男のほかに誰もいない。 ただ、所々丹塗にぬりの剥はげた、大きな円柱まるばしらに、蟋蟀きりぎりすが一匹とまっ ている。 羅生門が、朱雀大路すざくおおじにある以上は、この男のほかにも、雨やみをする市女笠 いちめがさや揉烏帽子もみえぼしが、もう二三人はありそうなものである。それが、この男 のほかには誰もいない。
72. 72 こちらは先頭に点がつきます ある日の暮方の事である。 • 一人の下人げにんが、羅生門らしょうもんの下で雨やみを待っ ていた。 • 広い門の下には、この男のほかに誰もいない。 • ただ、所々丹塗にぬりの剥はげた、大きな円柱まるばしらに、蟋蟀きりぎりすが一匹 とまっている。 • 羅生門が、朱雀大路すざくおおじにある以上は、この男のほかにも、雨やみをする市 女笠いちめがさや揉烏帽子もみえぼしが、もう二三人はありそうなものである。それ が、この男のほかには誰もいない。
74. 74 画像の上で右クリック → 「画像を変更」で 画像が置き換わります
75. 75 勝手にリサイズされます
76. 76 よく使うアイコンです。コピーで使用できます
77. 77 人のアイコンです。コピーで使用できます
78. 78 ラインアイコンです。コピーで使用できます
79. 79 アイコンは色を変えることが出来ます ①画像を選択しダブルクリック ②ヘッダー左から３番目の「色」を選択でカラー を変えることが出来ます
80. 80 写真や画像を使いたい時 スライドの中に入れる写真に困ったら下記のサイトを利用し てみてください。 ぱくたそ　https://www.pakutaso.com/ 写真AC　https://www.photo-ac.com/ BEIZ　http://www.beiz.jp/ Pixabay　https://pixabay.com/ Unsplash　https://unsplash.com/
81. 81 配色設定 配色: スリップストリーム 「図形描写」から挿入 「書式 -> 図形のスタイル」から 色を変更
82. スライドタイトル（size44） サブタイトルなど（size32） 2017年7月7日（size28） AWS事業部　蔵洲 めそ雄（size20）
83. テキストで使用できる文字 1 文中の見出し・小見出しに利用できるテキストボックス color：#595959 多数の実績により蓄積された豊富なノウハウ （24pt） 
 強調したいところは「B」(Bold)指定をする 
 多数の実績により蓄積された豊富な ノウハウ（32pt） 
 左のテキストボックスをコピーペーストして 
 使用できます 
 
 24pxは小さいのでできるだけ使わないように 
 します。 
 多数の実績により蓄積された豊 富なノウハウ(36pt) 
 多数の実績により蓄積された豊富なノウ ハウ（28pt） 
 端を揃えるときには「整列」を使う 

84. テキストで使用できる文字 2 多数の実績により蓄積された豊富なノウハウ によって、
 品質の高いアプリケーションをご用意します。（24pt）
 本文に利用できるテキストボックス color：#3F3F3F ※24pt以下の使用はどうしても必要な場合に 限ります。読みやすさを考慮しできるだけ大き な文字を使用してください。 
 多数の実績により蓄積された豊富なノウハウ によって、
 品質の高いアプリケーションをご用意します。（28pt）
 多数の実績により蓄積された豊富なノウハウ によって、
 品質の高いアプリケーションをご用意します。（32pt）
 多数の実績により蓄積された豊富なノウハウ （36pt）

85. ページタイトルは最大全角２６文字◯◯◯◯◯◯◯◯◯◯
 3 文の区切り線として利用できる矩形 
 使用できるカラー 
 ポジティブ表現 
ネガティブ表現 メインカラー　強調したい時に使用する 
 http://www.homepage.com/ リ ンクを表現する 汎用図形　コピーペーストして使用できます 
 本文の文字を緑にする、赤にする、青 にするといったことはできるだけ避けて ください。照射スライドでは文字の視認 を第一に考え、黒を使用することが肝 要です。

86. 要素の間隔に注意してください
 4 図やタイトル、文章を置くときには左端か中心が揃うように配置してください。 
 このページは中心が揃うように配置しています。 
 外枠の赤い空間（上下左右30px程度）には極力何も置かないようにしてください。ここに文字や図が入ると見にくくなります 
 すべて均等に間隔が取られている 
 要素がくっついているし 
 中途半端にテキストが上に寄っている 
 すべての人々の創造活動 に貢献し続ける 
 多数の実績により蓄積された 豊富 なノウハウ によって、品質の高いア プリケーションをご用意します。 
 すべての人々の創造活動 に貢献し続ける 
 多数の実績により蓄積された 豊富 なノウハウ によって、品質の高いア プリケーションをご用意します。 

87. レイアウト参考 1カラム
 5 それはAWSクラウドの活用において最上位の企業のみが認定される 「AWSプレミアコンサルティングパートナー」という結果としても表れてい ます。
 クラスメソッドの横田社長へインタビューします。クラスメソッドでは、直 接お客様に顔が見える仕事にこだわっていると聞きました。 
 現在は、7000本程度の記事がアップされています。おか げさまで、月間30万ユニークユーザー、100万PVというメ ディアに成長してきました（2016年8月現在）。

88. レイアウト参考 1カラム
 6 • それはAWSクラウドの活用において
 • 最上位の企業のみが認定される
 • 「AWSプレミアコンサルティングパートナー」 という結果とし ても表れています。
 クラスメソッドの横田社長へインタビューします。クラスメソッド では、直接お客様に顔が見える仕事にこだわっていると聞き ました。

89. レイアウト参考 2カラム
 7 AWSクラウドの活用において最 上位の企業のみが認定される 「AWSプレミアコンサルティング パートナー」 という結果としても 表れています。
 直接お客様に顔が見える 仕事にこだわっている 
 
 2016年9月iOS 10 のリリースを 記念して、iOS 10 や Swift 3、 Xcode 8 の新機能に関する記 事を一挙に公開しました。