Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20221004_AKIBA.SaaS
Search
Shasha
August 21, 2024
0
4
20221004_AKIBA.SaaS
Shasha
August 21, 2024
Tweet
Share
More Decks by Shasha
See All by Shasha
MDSを加速する 〜Fivetranとプロフェッショナルサービス〜
shasha48
0
5
データ収集と整理 〜クラウドデータパイプラインの作成〜
shasha48
0
29
データドリブンな小売戦略 〜Snowflakeによるパーソナライズの強化〜
shasha48
0
24
dbtとLookerの 境界線を定めます!
shasha48
0
17
信頼できるデータを届け、使うのは?
shasha48
0
250
DataObserbabilityDevIO2023.pdf
shasha48
0
890
dbtの概要
shasha48
1
940
データ分析について考える - 私が考えるデータ分析の必要性
shasha48
0
840
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
172
50k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7k
The Language of Interfaces
destraynor
155
24k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
113
50k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Building Adaptive Systems
keathley
38
2.3k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
950
Making Projects Easy
brettharned
116
6k
How to Ace a Technical Interview
jacobian
276
23k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
Transcript
ファイブトランスノースレークディビーティルッカー ファイフレビッカー 略して、 ファフビカ! 戻して、ファンタフビックカースト 1
2 自己紹介 名前:ほりもとりさ りさの綴りは、Lisaです。 フランスで おひもとひさ と 呼ばれてLisaにすることを
決意しました。 この世の終わり系Twitter ラーです。
3 好きなもの、こと、人 ラーメンズ、バナナマン、SixTONES、もう中学生、 マスカラ(楽曲)、エリザベート(ミュージカル)、 旅行、SixTONES、エディレッドメイン、散歩、 暗めのヨーロッパ映画、インスタ、永平寺、時間浪費、
SixTONES、今日のルンルンのルンルンとアラン、 高慢と偏見、椿姫、長野まゆみ、コロー、コジコジ、 コロ助、IKEA、SixTONES、コールザミッドワイフ、 ライブでペンライトブンまわす、新国立劇場、SixTO...
世の中は好きなものであふれている
5 好きなSaaSを語る会ということで...
名前:ほりもとりさ(ブログは紗紗 (Shāshā)) 担当:プロフェッショナルサービス Looker、Snowflake 入社:2020年1月 最近のお気に入り:自転車(e-bike) SixTONESのライブツアー Feel da CityのBlu-rayが9/28に発売されるので、今から楽しみす
ぎて爆上げしつつ、次のライブの計画も動いているようで、今から抽選に外れることしか 想像しできなくてものすごく悲しい気持ちがせめぎ合っています。 とりあえず、 on eSTのBlu-ray見てキャッキャしてます。楽しぃ!! 6 自己紹介(会社説明会で使用)
7 わたしの好きな SaaSは...、
MDS (Modern Data Stack) 製品 8 ドーン!!!!!!
9 クラスメソッドのMDSの前口上 日本でも海外でも多くの企業が取り入れているデータ分析基盤製品を組み合わせて、デー タ分析ソリューションとしてクラスメソッドではデータ抽出・ロードを行うFivetran、データウェ アハウスのSnowflake、データ変換を行うdbt、データの可視化を行うLookerのパートナーと してお客様の支援を行っています。Fivetranはノーコードで画面ポチポチだけで事前定義さ れたスキーマでテーブル形式でデータソースから抽出したデータをデータベースにロードし てくれます。Snowflakeは、ワークロードごとにウェアハウスを簡単に用意することができる ためETL/ELTを気にすることなくデータ分析やデータサイエンスを行うことができます。ま た、データシェアリングを使えば簡単に外部へデータを提供することも可能です。dbtは
Select文だけでデータマート開発を行えるツールです。また、データ変換にソフトウェアの手 法を取り入れることで、高速かつ信頼のおける形で分析用のデータを用意することができ る仕組みになっています。LookerはLookMLというデータモデリング言語で事前に指標を定 義しておくことで、分析を行う人によって計算方法が異なってしまうというデータドリブン組織 に起こりがちな問題を回避する仕組みになっています。データベースに直接SQLを発行す るためSSOTを実現しています。
10 でもね、 今日はAKIBA.SaaSということで、 もう少しラフに、ゆるく行きたいなというわけで・・・
11 富豪系YouTuberの気分ルンルン♪ 超豪華MDSを使ってくっそ しょーもないことをするっていう 富豪系YouTuberごっこ をしてみたでいっか
12 ファフビカ! もはや更新すらしていないこの世の終わりのようなわたしのTwitterデータをCSVダウン ロードして、Googleドライブにアップして、それをFivetranでSnowflakeに入れて、申し訳程度 にdbtで変換して、Lookerで可視化しますね。
13 Fivetranの対応コネクタは200以上
14 今回は... Googleドライブに置いた CSVファイルを Snowflakeに入れる
Fivetranの設定画面
16 Fivetranの設定画面
17 ここがスゴいよ!Snowflake❄ • 簡単にスケールアップ・アウトできる • Dropテーブルしてもundropできる • マルチクラウド
• ELっている??っていう流れ • 安全にデータシェア
18 今回は... CSVファイルを SQLをたたける形にする (Lookerで可視化したい)
Snowflakeの画面
20 Snowflakeに入ってます
21 dbt先輩なめんなE ソフトウェア開発は高速に開発を回せている一方で データエンジニアリングの現場では、 データの加工がブラックボックスもしくは群雄割拠で 新たなデータが欲しいと言われてから用意できるまでに 1か月かかってしまう現場もあったとかなかったとか じゃあデータエンジニアリングにもソフトウェア開発 の手法を取り入れてしまえというゲームチェンジャー
22 dbtでちょっと変換
dbtの画面
24
25 LookerはLuccaよりいでてルッカよりルッカし • LookMLでデータモデリング ◦ 事前に指標を定義しておける • 信頼できるデータをもとに意思決定が可能
26 Lookerで可視化するよ〜
Lookerのダッシュボード
28 ファフビカ! もはや更新すらしていないこの世の終わりのようなわたしのTwitterデータをCSVダウン ロードして、Googleドライブにアップして、それをFivetranでSnowflakeに入れて、申し訳程度 にdbtで変換して、Lookerで可視化しますね。
29