Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20221004_AKIBA.SaaS
Search
Shasha
August 21, 2024
11
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
20221004_AKIBA.SaaS
Shasha
August 21, 2024
More Decks by Shasha
See All by Shasha
MDSを加速する 〜Fivetranとプロフェッショナルサービス〜
shasha48
0
14
データ収集と整理 〜クラウドデータパイプラインの作成〜
shasha48
0
90
データドリブンな小売戦略 〜Snowflakeによるパーソナライズの強化〜
shasha48
0
50
dbtとLookerの 境界線を定めます!
shasha48
0
130
信頼できるデータを届け、使うのは?
shasha48
0
290
DataObserbabilityDevIO2023.pdf
shasha48
0
1.1k
dbtの概要
shasha48
1
1.2k
データ分析について考える - 私が考えるデータ分析の必要性
shasha48
0
990
Featured
See All Featured
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
aleyda
1
1.3k
Practical Orchestrator
shlominoach
191
11k
Making Projects Easy
brettharned
120
6.7k
Side Projects
sachag
455
43k
A Modern Web Designer's Workflow
chriscoyier
698
190k
How People are Using Generative and Agentic AI to Supercharge Their Products, Projects, Services and Value Streams Today
helenjbeal
1
210
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
360
30k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
659
62k
Facilitating Awesome Meetings
lara
57
7k
Code Review Best Practice
trishagee
74
20k
Building a Modern Day E-commerce SEO Strategy
aleyda
45
9.1k
Become a Pro
speakerdeck
PRO
31
6k
Transcript
ファイブトランスノースレークディビーティルッカー ファイフレビッカー 略して、 ファフビカ! 戻して、ファンタフビックカースト 1
2 自己紹介 名前:ほりもとりさ りさの綴りは、Lisaです。 フランスで おひもとひさ と 呼ばれてLisaにすることを
決意しました。 この世の終わり系Twitter ラーです。
3 好きなもの、こと、人 ラーメンズ、バナナマン、SixTONES、もう中学生、 マスカラ(楽曲)、エリザベート(ミュージカル)、 旅行、SixTONES、エディレッドメイン、散歩、 暗めのヨーロッパ映画、インスタ、永平寺、時間浪費、
SixTONES、今日のルンルンのルンルンとアラン、 高慢と偏見、椿姫、長野まゆみ、コロー、コジコジ、 コロ助、IKEA、SixTONES、コールザミッドワイフ、 ライブでペンライトブンまわす、新国立劇場、SixTO...
世の中は好きなものであふれている
5 好きなSaaSを語る会ということで...
名前:ほりもとりさ(ブログは紗紗 (Shāshā)) 担当:プロフェッショナルサービス Looker、Snowflake 入社:2020年1月 最近のお気に入り:自転車(e-bike) SixTONESのライブツアー Feel da CityのBlu-rayが9/28に発売されるので、今から楽しみす
ぎて爆上げしつつ、次のライブの計画も動いているようで、今から抽選に外れることしか 想像しできなくてものすごく悲しい気持ちがせめぎ合っています。 とりあえず、 on eSTのBlu-ray見てキャッキャしてます。楽しぃ!! 6 自己紹介(会社説明会で使用)
7 わたしの好きな SaaSは...、
MDS (Modern Data Stack) 製品 8 ドーン!!!!!!
9 クラスメソッドのMDSの前口上 日本でも海外でも多くの企業が取り入れているデータ分析基盤製品を組み合わせて、デー タ分析ソリューションとしてクラスメソッドではデータ抽出・ロードを行うFivetran、データウェ アハウスのSnowflake、データ変換を行うdbt、データの可視化を行うLookerのパートナーと してお客様の支援を行っています。Fivetranはノーコードで画面ポチポチだけで事前定義さ れたスキーマでテーブル形式でデータソースから抽出したデータをデータベースにロードし てくれます。Snowflakeは、ワークロードごとにウェアハウスを簡単に用意することができる ためETL/ELTを気にすることなくデータ分析やデータサイエンスを行うことができます。ま た、データシェアリングを使えば簡単に外部へデータを提供することも可能です。dbtは
Select文だけでデータマート開発を行えるツールです。また、データ変換にソフトウェアの手 法を取り入れることで、高速かつ信頼のおける形で分析用のデータを用意することができ る仕組みになっています。LookerはLookMLというデータモデリング言語で事前に指標を定 義しておくことで、分析を行う人によって計算方法が異なってしまうというデータドリブン組織 に起こりがちな問題を回避する仕組みになっています。データベースに直接SQLを発行す るためSSOTを実現しています。
10 でもね、 今日はAKIBA.SaaSということで、 もう少しラフに、ゆるく行きたいなというわけで・・・
11 富豪系YouTuberの気分ルンルン♪ 超豪華MDSを使ってくっそ しょーもないことをするっていう 富豪系YouTuberごっこ をしてみたでいっか
12 ファフビカ! もはや更新すらしていないこの世の終わりのようなわたしのTwitterデータをCSVダウン ロードして、Googleドライブにアップして、それをFivetranでSnowflakeに入れて、申し訳程度 にdbtで変換して、Lookerで可視化しますね。
13 Fivetranの対応コネクタは200以上
14 今回は... Googleドライブに置いた CSVファイルを Snowflakeに入れる
Fivetranの設定画面
16 Fivetranの設定画面
17 ここがスゴいよ!Snowflake❄ • 簡単にスケールアップ・アウトできる • Dropテーブルしてもundropできる • マルチクラウド
• ELっている??っていう流れ • 安全にデータシェア
18 今回は... CSVファイルを SQLをたたける形にする (Lookerで可視化したい)
Snowflakeの画面
20 Snowflakeに入ってます
21 dbt先輩なめんなE ソフトウェア開発は高速に開発を回せている一方で データエンジニアリングの現場では、 データの加工がブラックボックスもしくは群雄割拠で 新たなデータが欲しいと言われてから用意できるまでに 1か月かかってしまう現場もあったとかなかったとか じゃあデータエンジニアリングにもソフトウェア開発 の手法を取り入れてしまえというゲームチェンジャー
22 dbtでちょっと変換
dbtの画面
24
25 LookerはLuccaよりいでてルッカよりルッカし • LookMLでデータモデリング ◦ 事前に指標を定義しておける • 信頼できるデータをもとに意思決定が可能
26 Lookerで可視化するよ〜
Lookerのダッシュボード
28 ファフビカ! もはや更新すらしていないこの世の終わりのようなわたしのTwitterデータをCSVダウン ロードして、Googleドライブにアップして、それをFivetranでSnowflakeに入れて、申し訳程度 にdbtで変換して、Lookerで可視化しますね。
29