Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
freeeのデータ基盤におけるDWH/BIの運用事例紹介
Search
yusukensanta
July 15, 2020
Technology
0
12k
freeeのデータ基盤におけるDWH/BIの運用事例紹介
yusukensanta
July 15, 2020
Tweet
Share
Other Decks in Technology
See All in Technology
ハードウェアとソフトウェアをつなぐ全てを内製している企業の E2E テストの作り方 / How to create E2E tests for a company that builds everything connecting hardware and software in-house
bitkey
PRO
1
130
[ JAWS-UG 東京 CommunityBuilders Night #2 ]SlackとAmazon Q Developerで 運用効率化を模索する
sh_fk2
3
410
KotlinConf 2025_イベントレポート
sony
1
130
なぜスクラムはこうなったのか?歴史が教えてくれたこと/Shall we explore the roots of Scrum
sanogemaru
5
1.6k
スマートファクトリーの第一歩 〜AWSマネージドサービスで 実現する予知保全と生成AI活用まで
ganota
2
220
allow_retry と Arel.sql / allow_retry and Arel.sql
euglena1215
1
160
Firestore → Spanner 移行 を成功させた段階的移行プロセス
athug
1
470
5分でカオスエンジニアリングを分かった気になろう
pandayumi
0
240
自作JSエンジンに推しプロポーザルを実装したい!
sajikix
1
170
共有と分離 - Compose Multiplatform "本番導入" の設計指針
error96num
2
400
Terraformで構築する セルフサービス型データプラットフォーム / terraform-self-service-data-platform
pei0804
1
170
Function Body Macros で、SwiftUI の View に Accessibility Identifier を自動付与する/Function Body Macros: Autogenerate accessibility identifiers for SwiftUI Views
miichan
2
180
Featured
See All Featured
Building an army of robots
kneath
306
46k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.7k
RailsConf 2023
tenderlove
30
1.2k
Making the Leap to Tech Lead
cromwellryan
135
9.5k
Code Reviewing Like a Champion
maltzj
525
40k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.6k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
GraphQLの誤解/rethinking-graphql
sonatard
72
11k
4 Signs Your Business is Dying
shpigford
184
22k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
520
Transcript
freee 株式会社 freeeのデータ基盤におけるDWH/BIの運⽤事例紹介 Data Engineering Study #1 2020.07.15
新卒で外資系IT企業にて技術営業 2017年5⽉ freeeに⼊社 ⼊社当初はデータサイエンティスト 2017年10⽉からデータ総合格闘家 (フライ級) 最近ハマっている⻝べ物は鯵の⼲物 freee株式会社 中⼭ 裕介
(yusuken ※nは黙字)
スモールビジネスを、世界の主役に。 アイデアやパッションやスキルがあればだれでも、 ビジネスを強くスマートに育てられるプラットフォーム 161億603万円 (資本準備⾦等含む) 従業員数 事業内容 クラウド型バックオフィスサービス の開発・販売 資本⾦
設⽴年⽉⽇ 2012年7⽉ 506名(2019年6⽉末時点)
創業からIPOまで、バックオフィス領域における中⼩企業活性化のためのサービスを⼀気通貫で提供 ❂ 納税する ↗ 育てる ↻ 運営する ✩ はじめる 会社設⽴
freee 開業 freee クラウド会計ソフト freee ⼈事労務 freee (マイナンバー管理 freee 含む) クラウド申告 freee 7つのメインプロダクト
アジェンダ 1. データ基盤紹介 2. 運⽤事例紹介 3. まとめ・今後の課題
1 データ基盤紹介 6 Section
特徴 • さまざまなユーザー • 多様なデータソース • セキュリティ⼤事
現状のデータ基盤の全容 基本的にはAWSのサービスを使っています σʔλιʔε σʔλநग़ɾՃɾऔΓࠐΈ #* RDS/Aurora (プロダクトDBs) S3(ログ) 外部SaaS %8)
Batch Redshift S3(Data Lake) Athena Lambda Digdag EC2 参照 参照 S3 ECS Glue ※説明の都合上、⼀部簡略化して書いております
本⽇の発表範囲 DWH/BIの話ということで、Redshift/Redashの話をメインにします σʔλιʔε σʔλநग़ɾՃɾऔΓࠐΈ #* RDS/Aurora (プロダクトDBs) S3(ログ) 外部SaaS %8)
Batch Redshift S3(Data Lake) Athena Lambda Digdag EC2 参照 参照 S3 ECS Glue ※説明の都合上、⼀部簡略化して書いております
2 運⽤事例紹介 10 Section
Redshiftの運⽤ • データ ◦ マスク処理、カラム落としを⾏ったデータ • クラスター3台を使い分け ◦ primary, replica-1,
replica-2
Redshiftの使ってみて 良いところ 苦労しているところ • コストの⾒通しは⽴てやすい ◦ データスキャン量課⾦ではない • ちょっとした集計クエリを回す分には◦ •
S3との相性◎ • キャパシティプランニング難しい ◦ 気づいた時にはDiskの100% • テーブルのチューニング必要 ◦ DISTSTYLE/DISTKEY/SORTKEY周りの 指定 ◦ 再分散が起こるとクエリは重い
Redashの運⽤ • データソースは都度追加 • EC2インスタンスにDockerいれて稼働 • Mackerelで監視 • 全社員に開放 Redashのクエリ画⾯
Redashをつかってみて • (OSS版)運⽤費が安い ◦ インスタンス費⽤だけ! • 定期的にKPI集計⽤のクエリを回す分には⼗分 • Spreadsheetへ集計結果も連携可能 (セキュリティがガチガチでなければ・・)
• SQL書く前提のツールなので⼈によってはハー ドル⾼いので普及に限界 • Schedule実⾏のクエリが同時多発で実⾏されて RedashのWorkerのQueueが詰まる ◦ ひいてはRedshiftも・・・・ 良いところ 苦労しているところ
こういう⽅におすすめ • Redshift ◦ 予め予算を取る際に確実な⾦額をださないと通りにくい企業 ◦ 全社的にAWS使っている企業 • Redash ◦
無料でつかってみたい⽅(OSS版) ◦ さくっと簡単な可視化をしたい⽅ ◦ SQLで書くことが苦でない⽅
3 まとめ・今後の課題 16 Section
まとめ • freeeの中でRedshift/Redashは現役バリバリ • Redshiftまぁまぁいいぞ • Redashは試しに使ってみるのオススメ
今後の課題 • Redshiftの新しいインスタンスタイプ試す • データカタログ整備(メタデータ管理) • ETL周りの処理のリファクタ・レガシーなやつを移⾏
最後に データエンジニア募集中!! https://jobs.forkwell.com/freee/jobs/7063
スモールビジネスを、 世界の主役に。