Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20221004_AKIBA.SaaS
Search
Shasha
August 21, 2024
0
4
20221004_AKIBA.SaaS
Shasha
August 21, 2024
Tweet
Share
More Decks by Shasha
See All by Shasha
MDSを加速する 〜Fivetranとプロフェッショナルサービス〜
shasha48
0
4
データ収集と整理 〜クラウドデータパイプラインの作成〜
shasha48
0
19
データドリブンな小売戦略 〜Snowflakeによるパーソナライズの強化〜
shasha48
0
20
dbtとLookerの 境界線を定めます!
shasha48
0
12
信頼できるデータを届け、使うのは?
shasha48
0
230
DataObserbabilityDevIO2023.pdf
shasha48
0
850
dbtの概要
shasha48
1
900
データ分析について考える - 私が考えるデータ分析の必要性
shasha48
0
820
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
42
9.2k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Git: the NoSQL Database
bkeepers
PRO
427
64k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.8k
The World Runs on Bad Software
bkeepers
PRO
65
11k
GitHub's CSS Performance
jonrohan
1030
460k
Teambox: Starting and Learning
jrom
133
8.8k
Done Done
chrislema
181
16k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
27
2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.7k
Transcript
ファイブトランスノースレークディビーティルッカー ファイフレビッカー 略して、 ファフビカ! 戻して、ファンタフビックカースト 1
2 自己紹介 名前:ほりもとりさ りさの綴りは、Lisaです。 フランスで おひもとひさ と 呼ばれてLisaにすることを
決意しました。 この世の終わり系Twitter ラーです。
3 好きなもの、こと、人 ラーメンズ、バナナマン、SixTONES、もう中学生、 マスカラ(楽曲)、エリザベート(ミュージカル)、 旅行、SixTONES、エディレッドメイン、散歩、 暗めのヨーロッパ映画、インスタ、永平寺、時間浪費、
SixTONES、今日のルンルンのルンルンとアラン、 高慢と偏見、椿姫、長野まゆみ、コロー、コジコジ、 コロ助、IKEA、SixTONES、コールザミッドワイフ、 ライブでペンライトブンまわす、新国立劇場、SixTO...
世の中は好きなものであふれている
5 好きなSaaSを語る会ということで...
名前:ほりもとりさ(ブログは紗紗 (Shāshā)) 担当:プロフェッショナルサービス Looker、Snowflake 入社:2020年1月 最近のお気に入り:自転車(e-bike) SixTONESのライブツアー Feel da CityのBlu-rayが9/28に発売されるので、今から楽しみす
ぎて爆上げしつつ、次のライブの計画も動いているようで、今から抽選に外れることしか 想像しできなくてものすごく悲しい気持ちがせめぎ合っています。 とりあえず、 on eSTのBlu-ray見てキャッキャしてます。楽しぃ!! 6 自己紹介(会社説明会で使用)
7 わたしの好きな SaaSは...、
MDS (Modern Data Stack) 製品 8 ドーン!!!!!!
9 クラスメソッドのMDSの前口上 日本でも海外でも多くの企業が取り入れているデータ分析基盤製品を組み合わせて、デー タ分析ソリューションとしてクラスメソッドではデータ抽出・ロードを行うFivetran、データウェ アハウスのSnowflake、データ変換を行うdbt、データの可視化を行うLookerのパートナーと してお客様の支援を行っています。Fivetranはノーコードで画面ポチポチだけで事前定義さ れたスキーマでテーブル形式でデータソースから抽出したデータをデータベースにロードし てくれます。Snowflakeは、ワークロードごとにウェアハウスを簡単に用意することができる ためETL/ELTを気にすることなくデータ分析やデータサイエンスを行うことができます。ま た、データシェアリングを使えば簡単に外部へデータを提供することも可能です。dbtは
Select文だけでデータマート開発を行えるツールです。また、データ変換にソフトウェアの手 法を取り入れることで、高速かつ信頼のおける形で分析用のデータを用意することができ る仕組みになっています。LookerはLookMLというデータモデリング言語で事前に指標を定 義しておくことで、分析を行う人によって計算方法が異なってしまうというデータドリブン組織 に起こりがちな問題を回避する仕組みになっています。データベースに直接SQLを発行す るためSSOTを実現しています。
10 でもね、 今日はAKIBA.SaaSということで、 もう少しラフに、ゆるく行きたいなというわけで・・・
11 富豪系YouTuberの気分ルンルン♪ 超豪華MDSを使ってくっそ しょーもないことをするっていう 富豪系YouTuberごっこ をしてみたでいっか
12 ファフビカ! もはや更新すらしていないこの世の終わりのようなわたしのTwitterデータをCSVダウン ロードして、Googleドライブにアップして、それをFivetranでSnowflakeに入れて、申し訳程度 にdbtで変換して、Lookerで可視化しますね。
13 Fivetranの対応コネクタは200以上
14 今回は... Googleドライブに置いた CSVファイルを Snowflakeに入れる
Fivetranの設定画面
16 Fivetranの設定画面
17 ここがスゴいよ!Snowflake❄ • 簡単にスケールアップ・アウトできる • Dropテーブルしてもundropできる • マルチクラウド
• ELっている??っていう流れ • 安全にデータシェア
18 今回は... CSVファイルを SQLをたたける形にする (Lookerで可視化したい)
Snowflakeの画面
20 Snowflakeに入ってます
21 dbt先輩なめんなE ソフトウェア開発は高速に開発を回せている一方で データエンジニアリングの現場では、 データの加工がブラックボックスもしくは群雄割拠で 新たなデータが欲しいと言われてから用意できるまでに 1か月かかってしまう現場もあったとかなかったとか じゃあデータエンジニアリングにもソフトウェア開発 の手法を取り入れてしまえというゲームチェンジャー
22 dbtでちょっと変換
dbtの画面
24
25 LookerはLuccaよりいでてルッカよりルッカし • LookMLでデータモデリング ◦ 事前に指標を定義しておける • 信頼できるデータをもとに意思決定が可能
26 Lookerで可視化するよ〜
Lookerのダッシュボード
28 ファフビカ! もはや更新すらしていないこの世の終わりのようなわたしのTwitterデータをCSVダウン ロードして、Googleドライブにアップして、それをFivetranでSnowflakeに入れて、申し訳程度 にdbtで変換して、Lookerで可視化しますね。
29