Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20221004_AKIBA.SaaS
Search
Shasha
August 21, 2024
0
4
20221004_AKIBA.SaaS
Shasha
August 21, 2024
Tweet
Share
More Decks by Shasha
See All by Shasha
MDSを加速する 〜Fivetranとプロフェッショナルサービス〜
shasha48
0
5
データ収集と整理 〜クラウドデータパイプラインの作成〜
shasha48
0
28
データドリブンな小売戦略 〜Snowflakeによるパーソナライズの強化〜
shasha48
0
23
dbtとLookerの 境界線を定めます!
shasha48
0
12
信頼できるデータを届け、使うのは?
shasha48
0
240
DataObserbabilityDevIO2023.pdf
shasha48
0
870
dbtの概要
shasha48
1
920
データ分析について考える - 私が考えるデータ分析の必要性
shasha48
0
830
Featured
See All Featured
Practical Orchestrator
shlominoach
186
10k
Building an army of robots
kneath
302
44k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.3k
GraphQLの誤解/rethinking-graphql
sonatard
67
10k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.1k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.5k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
32
2.7k
StorybookのUI Testing Handbookを読んだ
zakiyama
27
5.3k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.3k
Transcript
ファイブトランスノースレークディビーティルッカー ファイフレビッカー 略して、 ファフビカ! 戻して、ファンタフビックカースト 1
2 自己紹介 名前:ほりもとりさ りさの綴りは、Lisaです。 フランスで おひもとひさ と 呼ばれてLisaにすることを
決意しました。 この世の終わり系Twitter ラーです。
3 好きなもの、こと、人 ラーメンズ、バナナマン、SixTONES、もう中学生、 マスカラ(楽曲)、エリザベート(ミュージカル)、 旅行、SixTONES、エディレッドメイン、散歩、 暗めのヨーロッパ映画、インスタ、永平寺、時間浪費、
SixTONES、今日のルンルンのルンルンとアラン、 高慢と偏見、椿姫、長野まゆみ、コロー、コジコジ、 コロ助、IKEA、SixTONES、コールザミッドワイフ、 ライブでペンライトブンまわす、新国立劇場、SixTO...
世の中は好きなものであふれている
5 好きなSaaSを語る会ということで...
名前:ほりもとりさ(ブログは紗紗 (Shāshā)) 担当:プロフェッショナルサービス Looker、Snowflake 入社:2020年1月 最近のお気に入り:自転車(e-bike) SixTONESのライブツアー Feel da CityのBlu-rayが9/28に発売されるので、今から楽しみす
ぎて爆上げしつつ、次のライブの計画も動いているようで、今から抽選に外れることしか 想像しできなくてものすごく悲しい気持ちがせめぎ合っています。 とりあえず、 on eSTのBlu-ray見てキャッキャしてます。楽しぃ!! 6 自己紹介(会社説明会で使用)
7 わたしの好きな SaaSは...、
MDS (Modern Data Stack) 製品 8 ドーン!!!!!!
9 クラスメソッドのMDSの前口上 日本でも海外でも多くの企業が取り入れているデータ分析基盤製品を組み合わせて、デー タ分析ソリューションとしてクラスメソッドではデータ抽出・ロードを行うFivetran、データウェ アハウスのSnowflake、データ変換を行うdbt、データの可視化を行うLookerのパートナーと してお客様の支援を行っています。Fivetranはノーコードで画面ポチポチだけで事前定義さ れたスキーマでテーブル形式でデータソースから抽出したデータをデータベースにロードし てくれます。Snowflakeは、ワークロードごとにウェアハウスを簡単に用意することができる ためETL/ELTを気にすることなくデータ分析やデータサイエンスを行うことができます。ま た、データシェアリングを使えば簡単に外部へデータを提供することも可能です。dbtは
Select文だけでデータマート開発を行えるツールです。また、データ変換にソフトウェアの手 法を取り入れることで、高速かつ信頼のおける形で分析用のデータを用意することができ る仕組みになっています。LookerはLookMLというデータモデリング言語で事前に指標を定 義しておくことで、分析を行う人によって計算方法が異なってしまうというデータドリブン組織 に起こりがちな問題を回避する仕組みになっています。データベースに直接SQLを発行す るためSSOTを実現しています。
10 でもね、 今日はAKIBA.SaaSということで、 もう少しラフに、ゆるく行きたいなというわけで・・・
11 富豪系YouTuberの気分ルンルン♪ 超豪華MDSを使ってくっそ しょーもないことをするっていう 富豪系YouTuberごっこ をしてみたでいっか
12 ファフビカ! もはや更新すらしていないこの世の終わりのようなわたしのTwitterデータをCSVダウン ロードして、Googleドライブにアップして、それをFivetranでSnowflakeに入れて、申し訳程度 にdbtで変換して、Lookerで可視化しますね。
13 Fivetranの対応コネクタは200以上
14 今回は... Googleドライブに置いた CSVファイルを Snowflakeに入れる
Fivetranの設定画面
16 Fivetranの設定画面
17 ここがスゴいよ!Snowflake❄ • 簡単にスケールアップ・アウトできる • Dropテーブルしてもundropできる • マルチクラウド
• ELっている??っていう流れ • 安全にデータシェア
18 今回は... CSVファイルを SQLをたたける形にする (Lookerで可視化したい)
Snowflakeの画面
20 Snowflakeに入ってます
21 dbt先輩なめんなE ソフトウェア開発は高速に開発を回せている一方で データエンジニアリングの現場では、 データの加工がブラックボックスもしくは群雄割拠で 新たなデータが欲しいと言われてから用意できるまでに 1か月かかってしまう現場もあったとかなかったとか じゃあデータエンジニアリングにもソフトウェア開発 の手法を取り入れてしまえというゲームチェンジャー
22 dbtでちょっと変換
dbtの画面
24
25 LookerはLuccaよりいでてルッカよりルッカし • LookMLでデータモデリング ◦ 事前に指標を定義しておける • 信頼できるデータをもとに意思決定が可能
26 Lookerで可視化するよ〜
Lookerのダッシュボード
28 ファフビカ! もはや更新すらしていないこの世の終わりのようなわたしのTwitterデータをCSVダウン ロードして、Googleドライブにアップして、それをFivetranでSnowflakeに入れて、申し訳程度 にdbtで変換して、Lookerで可視化しますね。
29