Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
freee のデータ分析基盤について
Search
Masato Yamaguchi
April 26, 2017
Technology
6
20k
freee のデータ分析基盤について
freee のデータ分析基盤の特徴を、他のサービスとどのように違うのか、どのような背景があってこの構成になっているのかを中心に紹介します。
Masato Yamaguchi
April 26, 2017
Tweet
Share
Other Decks in Technology
See All in Technology
JAWS-UG 横浜支部 #76 AWS re:Invent 2024 宇宙一早い Recap LT3Amazon EKS Auto Modeと遊び(パーティ)の話
tjotjo
0
170
長年運用されているサービスの主要データ移行をサービス停止せず安全にリリースしました
phayacell
2
210
Amazon Bedrock Knowledge BasesがGraphRAGに対応!! ・・・それってつまりどういうコト!? をチョット深堀ってみる
tokushun
0
150
KubeCon NA 2024 Recap: How to Move from Ingress to Gateway API with Minimal Hassle
ysakotch
0
110
プロダクトの爆速開発を支える、 「作らない・削る・尖らせる」技術
applism118
10
9.3k
データパイプラインをなんとかした話 / Improving the Data Pipeline in IVRy
mirakui
0
230
WED Company Deck for Engineer
wed
2
3.7k
『GRANBLUE FANTASY: Relink』続・最高の「没入感」を実現するカットシーン制作手法とそれを支える技術
cygames
0
100
DevOps視点でAWS re:invent2024の新サービス・アプデを振り返ってみた
oshanqq
0
140
Oracle Base Database Service:サービス概要のご紹介
oracle4engineer
PRO
0
15k
ガバメントクラウドのセキュリティ対策事例について
fujisawaryohei
0
190
Autonomous Database サービス・アップデート (FY25)
oracle4engineer
PRO
0
280
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
65
4.5k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
2
260
How to Ace a Technical Interview
jacobian
276
23k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
169
50k
Building Better People: How to give real-time feedback that sticks.
wjessup
365
19k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7k
Speed Design
sergeychernyshev
25
650
The Pragmatic Product Professional
lauravandoore
32
6.3k
Into the Great Unknown - MozCon
thekraken
33
1.5k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
247
1.3M
Transcript
freee のデータ分析基盤について
自己紹介 2 山口正人 (株)リクルート の組織研究シンクタンク にて労働市場の定量調査/解析 ・企業の組織マネジメント研究など ↓ ニート ->
フリーランスエンジニア->スタートアップ ↓ DeNA にて ゲームプラットフォームのアプリケーション開発・ゲーム開発 ↓ freee にて 会計のアプリケーション開発 -> 現職 freee株式会社 分析基盤 データエンジニア 略歴
本日 お話すること 3 • 特徴 ◦ 特に 他のサービスとどこが違ってくるのか • 構成・アーキテクチャ
• 課題・展望と取り組み ◦ つらみとチャレンジ freee のデータ分析基盤について
freee のデータ分析基盤の特徴? 4 データ基盤のありかたは事業・組織のありかたと相似する (コンウェイの法則) "Organizations which design systems are
constrained to produce designs which are copies of the communication structures of these organizations."
freee の事業
freee株式会社 6 2017年「働きがいのある会社」 ランキング3位 2015年度 グッドデザイン賞 「未来づくりデザイン賞」 会社名 :freee 株式会社 設 立 :2012年7月
資本金 : 96億618万円 (資本準備金等含む) 代表者 :佐々木 大輔 従業員 :300名(2017年1月現在) 主要株主:IVP、DCM、リクルートHD
ビジネスのはじまりから成長をすべてサポートする freee 7 簡単:知識がなくても1クリックで 給与計算 勤怠:勤怠管理も簡単に オンライン:給与明細はオンライ ンで配布 会計連動:会計ソフトと完全デー タ連携
政府連携:行政手続きもオンライ ンで完結 マイナンバー:マイナンバー管理 も完全対応 5分:会社設立用の書類を最短 5分で作成 モバイル:スマホ完全対応で、 どこでも会社設立 ワンストップ:実印発注や銀行 口座作成もできる 自動:銀行やカードの口座と連携し、人 工知能で会計帳簿を作成 簡単:簿記の用語を使わない画面設計 で簡単に使える 最適化:請求書発行や経費精算などの 業務も最適化 実績:クラウド会計ソフトシェア No.1 で 安心の実績 サポート:チャットによる迅速なサポート を提供 決算:決算や個人事業主の申告まで自 動で簡単に ✩ はじめる ↻ 運営する ↗ 育てる 会社設立 freee (2015年6月リリース) クラウド会計ソフト freee (2013年3月リリース) クラウド給与計算ソフト freee (2014年5月リリース) シェアNo.1 シェアNo.1 開業 freee (2016年10月リリース)
データを活用したバックオフィス業務の効率化 8 決済サービス 費用 費用 費用 売上 費用 負債 費用
費用 資産 費用 費用 現金 費用 費用 費用 金融機関 クレジット POS,家計簿等 自動仕訳* *クラウド会計ソフトの自動仕訳に関する 人工知能技術について、 特許権(特許第5936284号)を取得済 テクノロジーを活用し「記帳」「経理作業」を効率化 自動仕訳の技術はクラウド会計で唯一特許を取得
クラウドバックオフィス市場No.1 の圧倒的データ量 9 サービス開始4年で 70万事業所突破 市場調査からも シェアNo.1 * デジタルインファクト調べ 開始4年で、70万事業所が利用するサービスに成長
No.1のシェアも獲得
ユーザーベースとテクノロジーを活用し 中小企業のビジネスプラットフォームへと進化 10 取引効率化 機会創出 経営効率化 決済 受発注 ネッティング ビジネスマッチング
在庫管理 ファクタリング 経営統計 データ 請求 入金管理 fSBPは、freeeを使用するユーザー同士がクラウド上で繋がるプラットフォーム。 業務の効率化だけでなく、SMBにとって実益のあるプラットフォームを目指す。 freee Smart Business Platform(fSBP)
【日本初】クラウド会計を活用したビジネスローン 11 いち早く金融機関と連携し、融資手法を共同開発
人事データを一元化する、人事労務 freee も始動 12 給与計 算 勤怠管 理 労務 手続き
従業員 管理 マイナン バー • 2017年夏頃リリース予定 • 先行予約受付開始中 2017年夏頃にリリース予定の人事労務 freeeは、クラウド上で人事労務の 業務を完結させ、人事労務を大きく効率化させるプロダクト 強化 強化 New
freee の組織とデータ
freee の組織とデータ 14 データ基盤を扱う組織・ロールが多岐にわたる • Engineer • Biz ◦ Analytics
/ Finance ◦ Marketing ◦ Sales ◦ Customer Support
freee の組織とデータ: Engineers 15 Engineer組織とデータ • 会計 / 人事労務 など、サービス毎のアプリケーション
◦ Service DB / Redshift ◦ ElesticSearch / Kibana (開発・デバッグ用途) ◦ EMR / Spark (取引関係ネットワーク・プラットフォーム開発) ◦ FireBase (モバイル) ◦ Kissmetrics など(グロースハック) ◦ Jira • スモールビジネスラボ ◦ 初期仮説検証・モデル開発・プロダクト開発 • 金融機関との連携 • 課金基盤・セキュリティなど • SRE・ビジネス基盤
freee の組織とデータ: Biz 16 Bizの組織とデータ • Analytics / Finance ◦
Service DB / Redshit ◦ 事業計画立案に必要なKPI ・ユーザ定着のための仮説検証 • Customer Support ◦ Zendesk チケット ◦ サポートの生産性向上、顧客満足向上のための仮説検証 • Online Marketing ◦ Google Analytics / Bigquery ◦ 広告最適化 • Sales ◦ Salesforce ◦ セールス生産性向上・セールスKPI の検証
freee のデータ分析基盤の特徴
freee のデータ分析基盤の特徴 • セールス・サポートからエンジニアまで、必要なKPI / データの 種類が多岐にわたる ◦ 全社的に意思決定から日々のメトリクスまでデータドリブンに進むの で、データの集約を行う必要がある。
◦ 一人のお客様に関係するオペレーションが多い。 • 利用しているクラウドサービスが多い ◦ freeeのビジョンである、「クラウドサービスの利用による本業への フォーカス」を自ら体現している ◦ これらのサービスのデータをすべてDWHに集約して利用する必要が ある。 • セキュリティの保護が重要 ◦ センシティブなデータが多く含まれるので、利用できるデータのセキュリ ティレベルが細分化されている。また、レベルに応じて項目ごとのマス キングなどを行う必要がある。
(参考)freee で利用しているクラウドサービス(一部) 19
構成とデータフロー
データフロー 21 • Sales / Support に関わるデータフロー サービスDB 行動ログ (アプリケーションレベルのアク
セスログ)
データフロー 22 • Marketing に関わるデータフロー
データフロー 23 • Engineers に関わるデータフロー
ダッシュボード 24 全社で利用している もともと内製のダッシュボードを利用していたが、re:dash にし てデータ利用が加速した ダッシュボード多すぎ問題
バッチ 25 • 日次 ◦ ruby スクリプト (一部 digdag /
embulk) ◦ サービスDBなどの取り込み / KPI集計 ◦ jira / new relic / Salesforce などとの連携 ◦ EMR スクリプトの実行 ◦ ETL周りにRedshift Spectrum使いたい。 • 毎時 ◦ ruby スクリプト ◦ サービスDBなどの取り込み / KPI集計 ◦ EMR スクリプトの実行 • ストリーム ◦ fluentd ◦ 一部 AWS Lambda
つらみと展望 チャレンジ
freee 分析基盤のつらみ 27 • 事業展開のスピード感 ◦ サービスの種類の増加・販売チャネルの多様化 ◦ 金融機関・クラウドサービスとの機能提携 •
Salesforce / marketo との連携が(ry ◦ Rate Limit などのAPI制限がきつい ◦ 外部サービス故に bulk api で取得する際のIOPSに気をつける必要が ある • Redshift のパフォーマンスチューニング ◦ Redshift のチューニングは結構コツが必要 ◦ Redshift Spectrum が速くTokyoリージョンで使えるようになると超うれ しい
freee 分析基盤 の展望・チャレンジ 28 • スモールビジネス のバックオフィス業務を効率化 ◦ 請求書などのOCR ◦
銀行明細の重複検出・勘定科目マッチ • ビジネスプラットフォームの構築 ◦ 取引関係のネットワーク化 ▪ プロダクトの使い勝手進化 ◦ 取引効率化 ◦ 融資手法の開発 ◦ etc...
まとめ
まとめ 30 • 事業のスピードとsyncするデータ基盤 ◦ 事業の展開が早く、追いかけるKPI自体が四半期内で変化する ◦ 変更に強い仕組みが必要 • B2B
/ B2C 両方の性質を持つデータ ◦ アクセスログからの離脱分析・課金分析 や A/B テスト など B2C 的な データとセールスのリード抽出や生産性分析など B2B 的なデータを透 過的に扱う必要がある • バックオフィスの自動化・効率化を支援 ◦ やることは、たくさんある!
freeeでは、ソフトウェアエンジニア・データエンジニア・ データサイエンティストなど全方位で募集中です 31