Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20221004_AKIBA.SaaS
Search
Shasha
August 21, 2024
0
4
20221004_AKIBA.SaaS
Shasha
August 21, 2024
Tweet
Share
More Decks by Shasha
See All by Shasha
MDSを加速する 〜Fivetranとプロフェッショナルサービス〜
shasha48
0
5
データ収集と整理 〜クラウドデータパイプラインの作成〜
shasha48
0
30
データドリブンな小売戦略 〜Snowflakeによるパーソナライズの強化〜
shasha48
0
28
dbtとLookerの 境界線を定めます!
shasha48
0
46
信頼できるデータを届け、使うのは?
shasha48
0
250
DataObserbabilityDevIO2023.pdf
shasha48
0
900
dbtの概要
shasha48
1
950
データ分析について考える - 私が考えるデータ分析の必要性
shasha48
0
850
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Six Lessons from altMBA
skipperchong
27
3.6k
Building Better People: How to give real-time feedback that sticks.
wjessup
366
19k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.2k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
Building a Scalable Design System with Sketch
lauravandoore
460
33k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
3
320
Gamification - CAS2011
davidbonilla
80
5.1k
Agile that works and the tools we love
rasmusluckow
328
21k
Code Review Best Practice
trishagee
66
17k
Transcript
ファイブトランスノースレークディビーティルッカー ファイフレビッカー 略して、 ファフビカ! 戻して、ファンタフビックカースト 1
2 自己紹介 名前:ほりもとりさ りさの綴りは、Lisaです。 フランスで おひもとひさ と 呼ばれてLisaにすることを
決意しました。 この世の終わり系Twitter ラーです。
3 好きなもの、こと、人 ラーメンズ、バナナマン、SixTONES、もう中学生、 マスカラ(楽曲)、エリザベート(ミュージカル)、 旅行、SixTONES、エディレッドメイン、散歩、 暗めのヨーロッパ映画、インスタ、永平寺、時間浪費、
SixTONES、今日のルンルンのルンルンとアラン、 高慢と偏見、椿姫、長野まゆみ、コロー、コジコジ、 コロ助、IKEA、SixTONES、コールザミッドワイフ、 ライブでペンライトブンまわす、新国立劇場、SixTO...
世の中は好きなものであふれている
5 好きなSaaSを語る会ということで...
名前:ほりもとりさ(ブログは紗紗 (Shāshā)) 担当:プロフェッショナルサービス Looker、Snowflake 入社:2020年1月 最近のお気に入り:自転車(e-bike) SixTONESのライブツアー Feel da CityのBlu-rayが9/28に発売されるので、今から楽しみす
ぎて爆上げしつつ、次のライブの計画も動いているようで、今から抽選に外れることしか 想像しできなくてものすごく悲しい気持ちがせめぎ合っています。 とりあえず、 on eSTのBlu-ray見てキャッキャしてます。楽しぃ!! 6 自己紹介(会社説明会で使用)
7 わたしの好きな SaaSは...、
MDS (Modern Data Stack) 製品 8 ドーン!!!!!!
9 クラスメソッドのMDSの前口上 日本でも海外でも多くの企業が取り入れているデータ分析基盤製品を組み合わせて、デー タ分析ソリューションとしてクラスメソッドではデータ抽出・ロードを行うFivetran、データウェ アハウスのSnowflake、データ変換を行うdbt、データの可視化を行うLookerのパートナーと してお客様の支援を行っています。Fivetranはノーコードで画面ポチポチだけで事前定義さ れたスキーマでテーブル形式でデータソースから抽出したデータをデータベースにロードし てくれます。Snowflakeは、ワークロードごとにウェアハウスを簡単に用意することができる ためETL/ELTを気にすることなくデータ分析やデータサイエンスを行うことができます。ま た、データシェアリングを使えば簡単に外部へデータを提供することも可能です。dbtは
Select文だけでデータマート開発を行えるツールです。また、データ変換にソフトウェアの手 法を取り入れることで、高速かつ信頼のおける形で分析用のデータを用意することができ る仕組みになっています。LookerはLookMLというデータモデリング言語で事前に指標を定 義しておくことで、分析を行う人によって計算方法が異なってしまうというデータドリブン組織 に起こりがちな問題を回避する仕組みになっています。データベースに直接SQLを発行す るためSSOTを実現しています。
10 でもね、 今日はAKIBA.SaaSということで、 もう少しラフに、ゆるく行きたいなというわけで・・・
11 富豪系YouTuberの気分ルンルン♪ 超豪華MDSを使ってくっそ しょーもないことをするっていう 富豪系YouTuberごっこ をしてみたでいっか
12 ファフビカ! もはや更新すらしていないこの世の終わりのようなわたしのTwitterデータをCSVダウン ロードして、Googleドライブにアップして、それをFivetranでSnowflakeに入れて、申し訳程度 にdbtで変換して、Lookerで可視化しますね。
13 Fivetranの対応コネクタは200以上
14 今回は... Googleドライブに置いた CSVファイルを Snowflakeに入れる
Fivetranの設定画面
16 Fivetranの設定画面
17 ここがスゴいよ!Snowflake❄ • 簡単にスケールアップ・アウトできる • Dropテーブルしてもundropできる • マルチクラウド
• ELっている??っていう流れ • 安全にデータシェア
18 今回は... CSVファイルを SQLをたたける形にする (Lookerで可視化したい)
Snowflakeの画面
20 Snowflakeに入ってます
21 dbt先輩なめんなE ソフトウェア開発は高速に開発を回せている一方で データエンジニアリングの現場では、 データの加工がブラックボックスもしくは群雄割拠で 新たなデータが欲しいと言われてから用意できるまでに 1か月かかってしまう現場もあったとかなかったとか じゃあデータエンジニアリングにもソフトウェア開発 の手法を取り入れてしまえというゲームチェンジャー
22 dbtでちょっと変換
dbtの画面
24
25 LookerはLuccaよりいでてルッカよりルッカし • LookMLでデータモデリング ◦ 事前に指標を定義しておける • 信頼できるデータをもとに意思決定が可能
26 Lookerで可視化するよ〜
Lookerのダッシュボード
28 ファフビカ! もはや更新すらしていないこの世の終わりのようなわたしのTwitterデータをCSVダウン ロードして、Googleドライブにアップして、それをFivetranでSnowflakeに入れて、申し訳程度 にdbtで変換して、Lookerで可視化しますね。
29