Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
freee のデータ分析基盤について
Search
Masato Yamaguchi
April 26, 2017
Technology
6
20k
freee のデータ分析基盤について
freee のデータ分析基盤の特徴を、他のサービスとどのように違うのか、どのような背景があってこの構成になっているのかを中心に紹介します。
Masato Yamaguchi
April 26, 2017
Tweet
Share
Other Decks in Technology
See All in Technology
Amazon SageMaker Unified Studio(Preview)、Lakehouse と Amazon S3 Tables
ishikawa_satoru
0
150
【re:Invent 2024 アプデ】 Prompt Routing の紹介
champ
0
140
バクラクのドキュメント解析技術と実データにおける課題 / layerx-ccc-winter-2024
shimacos
2
1.1k
マルチプロダクト開発の現場でAWS Security Hubを1年以上運用して得た教訓
muziyoshiz
2
2.2k
スタートアップで取り組んでいるAzureとMicrosoft 365のセキュリティ対策/How to Improve Azure and Microsoft 365 Security at Startup
yuj1osm
0
210
AWS re:Invent 2024で発表された コードを書く開発者向け機能について
maruto
0
190
レンジャーシステムズ | 会社紹介(採用ピッチ)
rssytems
0
150
KnowledgeBaseDocuments APIでベクトルインデックス管理を自動化する
iidaxs
1
260
AWS re:Invent 2024 ふりかえり
kongmingstrap
0
130
統計データで2024年の クラウド・インフラ動向を眺める
ysknsid25
2
840
re:Invent 2024 Innovation Talks(NET201)で語られた大切なこと
shotashiratori
0
310
LINE Developersプロダクト(LIFF/LINE Login)におけるフロントエンド開発
lycorptech_jp
PRO
0
120
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
327
38k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
247
1.3M
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
2
170
Into the Great Unknown - MozCon
thekraken
33
1.5k
Making the Leap to Tech Lead
cromwellryan
133
9k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
Designing for Performance
lara
604
68k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Put a Button on it: Removing Barriers to Going Fast.
kastner
59
3.6k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
Writing Fast Ruby
sferik
628
61k
Transcript
freee のデータ分析基盤について
自己紹介 2 山口正人 (株)リクルート の組織研究シンクタンク にて労働市場の定量調査/解析 ・企業の組織マネジメント研究など ↓ ニート ->
フリーランスエンジニア->スタートアップ ↓ DeNA にて ゲームプラットフォームのアプリケーション開発・ゲーム開発 ↓ freee にて 会計のアプリケーション開発 -> 現職 freee株式会社 分析基盤 データエンジニア 略歴
本日 お話すること 3 • 特徴 ◦ 特に 他のサービスとどこが違ってくるのか • 構成・アーキテクチャ
• 課題・展望と取り組み ◦ つらみとチャレンジ freee のデータ分析基盤について
freee のデータ分析基盤の特徴? 4 データ基盤のありかたは事業・組織のありかたと相似する (コンウェイの法則) "Organizations which design systems are
constrained to produce designs which are copies of the communication structures of these organizations."
freee の事業
freee株式会社 6 2017年「働きがいのある会社」 ランキング3位 2015年度 グッドデザイン賞 「未来づくりデザイン賞」 会社名 :freee 株式会社 設 立 :2012年7月
資本金 : 96億618万円 (資本準備金等含む) 代表者 :佐々木 大輔 従業員 :300名(2017年1月現在) 主要株主:IVP、DCM、リクルートHD
ビジネスのはじまりから成長をすべてサポートする freee 7 簡単:知識がなくても1クリックで 給与計算 勤怠:勤怠管理も簡単に オンライン:給与明細はオンライ ンで配布 会計連動:会計ソフトと完全デー タ連携
政府連携:行政手続きもオンライ ンで完結 マイナンバー:マイナンバー管理 も完全対応 5分:会社設立用の書類を最短 5分で作成 モバイル:スマホ完全対応で、 どこでも会社設立 ワンストップ:実印発注や銀行 口座作成もできる 自動:銀行やカードの口座と連携し、人 工知能で会計帳簿を作成 簡単:簿記の用語を使わない画面設計 で簡単に使える 最適化:請求書発行や経費精算などの 業務も最適化 実績:クラウド会計ソフトシェア No.1 で 安心の実績 サポート:チャットによる迅速なサポート を提供 決算:決算や個人事業主の申告まで自 動で簡単に ✩ はじめる ↻ 運営する ↗ 育てる 会社設立 freee (2015年6月リリース) クラウド会計ソフト freee (2013年3月リリース) クラウド給与計算ソフト freee (2014年5月リリース) シェアNo.1 シェアNo.1 開業 freee (2016年10月リリース)
データを活用したバックオフィス業務の効率化 8 決済サービス 費用 費用 費用 売上 費用 負債 費用
費用 資産 費用 費用 現金 費用 費用 費用 金融機関 クレジット POS,家計簿等 自動仕訳* *クラウド会計ソフトの自動仕訳に関する 人工知能技術について、 特許権(特許第5936284号)を取得済 テクノロジーを活用し「記帳」「経理作業」を効率化 自動仕訳の技術はクラウド会計で唯一特許を取得
クラウドバックオフィス市場No.1 の圧倒的データ量 9 サービス開始4年で 70万事業所突破 市場調査からも シェアNo.1 * デジタルインファクト調べ 開始4年で、70万事業所が利用するサービスに成長
No.1のシェアも獲得
ユーザーベースとテクノロジーを活用し 中小企業のビジネスプラットフォームへと進化 10 取引効率化 機会創出 経営効率化 決済 受発注 ネッティング ビジネスマッチング
在庫管理 ファクタリング 経営統計 データ 請求 入金管理 fSBPは、freeeを使用するユーザー同士がクラウド上で繋がるプラットフォーム。 業務の効率化だけでなく、SMBにとって実益のあるプラットフォームを目指す。 freee Smart Business Platform(fSBP)
【日本初】クラウド会計を活用したビジネスローン 11 いち早く金融機関と連携し、融資手法を共同開発
人事データを一元化する、人事労務 freee も始動 12 給与計 算 勤怠管 理 労務 手続き
従業員 管理 マイナン バー • 2017年夏頃リリース予定 • 先行予約受付開始中 2017年夏頃にリリース予定の人事労務 freeeは、クラウド上で人事労務の 業務を完結させ、人事労務を大きく効率化させるプロダクト 強化 強化 New
freee の組織とデータ
freee の組織とデータ 14 データ基盤を扱う組織・ロールが多岐にわたる • Engineer • Biz ◦ Analytics
/ Finance ◦ Marketing ◦ Sales ◦ Customer Support
freee の組織とデータ: Engineers 15 Engineer組織とデータ • 会計 / 人事労務 など、サービス毎のアプリケーション
◦ Service DB / Redshift ◦ ElesticSearch / Kibana (開発・デバッグ用途) ◦ EMR / Spark (取引関係ネットワーク・プラットフォーム開発) ◦ FireBase (モバイル) ◦ Kissmetrics など(グロースハック) ◦ Jira • スモールビジネスラボ ◦ 初期仮説検証・モデル開発・プロダクト開発 • 金融機関との連携 • 課金基盤・セキュリティなど • SRE・ビジネス基盤
freee の組織とデータ: Biz 16 Bizの組織とデータ • Analytics / Finance ◦
Service DB / Redshit ◦ 事業計画立案に必要なKPI ・ユーザ定着のための仮説検証 • Customer Support ◦ Zendesk チケット ◦ サポートの生産性向上、顧客満足向上のための仮説検証 • Online Marketing ◦ Google Analytics / Bigquery ◦ 広告最適化 • Sales ◦ Salesforce ◦ セールス生産性向上・セールスKPI の検証
freee のデータ分析基盤の特徴
freee のデータ分析基盤の特徴 • セールス・サポートからエンジニアまで、必要なKPI / データの 種類が多岐にわたる ◦ 全社的に意思決定から日々のメトリクスまでデータドリブンに進むの で、データの集約を行う必要がある。
◦ 一人のお客様に関係するオペレーションが多い。 • 利用しているクラウドサービスが多い ◦ freeeのビジョンである、「クラウドサービスの利用による本業への フォーカス」を自ら体現している ◦ これらのサービスのデータをすべてDWHに集約して利用する必要が ある。 • セキュリティの保護が重要 ◦ センシティブなデータが多く含まれるので、利用できるデータのセキュリ ティレベルが細分化されている。また、レベルに応じて項目ごとのマス キングなどを行う必要がある。
(参考)freee で利用しているクラウドサービス(一部) 19
構成とデータフロー
データフロー 21 • Sales / Support に関わるデータフロー サービスDB 行動ログ (アプリケーションレベルのアク
セスログ)
データフロー 22 • Marketing に関わるデータフロー
データフロー 23 • Engineers に関わるデータフロー
ダッシュボード 24 全社で利用している もともと内製のダッシュボードを利用していたが、re:dash にし てデータ利用が加速した ダッシュボード多すぎ問題
バッチ 25 • 日次 ◦ ruby スクリプト (一部 digdag /
embulk) ◦ サービスDBなどの取り込み / KPI集計 ◦ jira / new relic / Salesforce などとの連携 ◦ EMR スクリプトの実行 ◦ ETL周りにRedshift Spectrum使いたい。 • 毎時 ◦ ruby スクリプト ◦ サービスDBなどの取り込み / KPI集計 ◦ EMR スクリプトの実行 • ストリーム ◦ fluentd ◦ 一部 AWS Lambda
つらみと展望 チャレンジ
freee 分析基盤のつらみ 27 • 事業展開のスピード感 ◦ サービスの種類の増加・販売チャネルの多様化 ◦ 金融機関・クラウドサービスとの機能提携 •
Salesforce / marketo との連携が(ry ◦ Rate Limit などのAPI制限がきつい ◦ 外部サービス故に bulk api で取得する際のIOPSに気をつける必要が ある • Redshift のパフォーマンスチューニング ◦ Redshift のチューニングは結構コツが必要 ◦ Redshift Spectrum が速くTokyoリージョンで使えるようになると超うれ しい
freee 分析基盤 の展望・チャレンジ 28 • スモールビジネス のバックオフィス業務を効率化 ◦ 請求書などのOCR ◦
銀行明細の重複検出・勘定科目マッチ • ビジネスプラットフォームの構築 ◦ 取引関係のネットワーク化 ▪ プロダクトの使い勝手進化 ◦ 取引効率化 ◦ 融資手法の開発 ◦ etc...
まとめ
まとめ 30 • 事業のスピードとsyncするデータ基盤 ◦ 事業の展開が早く、追いかけるKPI自体が四半期内で変化する ◦ 変更に強い仕組みが必要 • B2B
/ B2C 両方の性質を持つデータ ◦ アクセスログからの離脱分析・課金分析 や A/B テスト など B2C 的な データとセールスのリード抽出や生産性分析など B2B 的なデータを透 過的に扱う必要がある • バックオフィスの自動化・効率化を支援 ◦ やることは、たくさんある!
freeeでは、ソフトウェアエンジニア・データエンジニア・ データサイエンティストなど全方位で募集中です 31