Upgrade to Pro — share decks privately, control downloads, hide ads and more …

freeeのデータ基盤におけるDWH/BIの運用事例紹介

yusuken
July 15, 2020

 freeeのデータ基盤におけるDWH/BIの運用事例紹介

yusuken

July 15, 2020
Tweet

Other Decks in Technology

Transcript

  1. 創業からIPOまで、バックオフィス領域における中⼩企業活性化のためのサービスを⼀気通貫で提供 ❂ 納税する ↗ 育てる ↻ 運営する ✩ はじめる 会社設⽴

    freee 開業 freee クラウド会計ソフト freee ⼈事労務 freee (マイナンバー管理 freee 含む) クラウド申告 freee 7つのメインプロダクト
  2. 現状のデータ基盤の全容 基本的にはAWSのサービスを使っています σʔλιʔε σʔλநग़ɾՃ޻ɾऔΓࠐΈ #* RDS/Aurora (プロダクトDBs) S3(ログ) 外部SaaS %8)

    Batch Redshift S3(Data Lake) Athena Lambda Digdag EC2 参照 参照 S3 ECS Glue ※説明の都合上、⼀部簡略化して書いております
  3. 本⽇の発表範囲 DWH/BIの話ということで、Redshift/Redashの話をメインにします σʔλιʔε σʔλநग़ɾՃ޻ɾऔΓࠐΈ #* RDS/Aurora (プロダクトDBs) S3(ログ) 外部SaaS %8)

    Batch Redshift S3(Data Lake) Athena Lambda Digdag EC2 参照 参照 S3 ECS Glue ※説明の都合上、⼀部簡略化して書いております
  4. Redshiftの使ってみて 良いところ 苦労しているところ • コストの⾒通しは⽴てやすい ◦ データスキャン量課⾦ではない • ちょっとした集計クエリを回す分には◦ •

    S3との相性◎ • キャパシティプランニング難しい ◦ 気づいた時にはDiskの100% • テーブルのチューニング必要 ◦ DISTSTYLE/DISTKEY/SORTKEY周りの 指定 ◦ 再分散が起こるとクエリは重い
  5. Redashをつかってみて • (OSS版)運⽤費が安い ◦ インスタンス費⽤だけ! • 定期的にKPI集計⽤のクエリを回す分には⼗分 • Spreadsheetへ集計結果も連携可能 (セキュリティがガチガチでなければ・・)

    • SQL書く前提のツールなので⼈によってはハー ドル⾼いので普及に限界 • Schedule実⾏のクエリが同時多発で実⾏されて RedashのWorkerのQueueが詰まる ◦ ひいてはRedshiftも・・・・ 良いところ 苦労しているところ
  6. こういう⽅におすすめ • Redshift ◦ 予め予算を取る際に確実な⾦額をださないと通りにくい企業 ◦ 全社的にAWS使っている企業 • Redash ◦

    無料でつかってみたい⽅(OSS版) ◦ さくっと簡単な可視化をしたい⽅ ◦ SQLで書くことが苦でない⽅