freee のデータ分析基盤について

freee のデータ分析基盤の特徴を、他のサービスとどのように違うのか、どのような背景があってこの構成になっているのかを中心に紹介します。

Transcript

1. freee のデータ分析基盤について　
2. 自己紹介 2 山口正人 （株）リクルート の組織研究シンクタンク にて労働市場の定量調査/解析 ・企業の組織マネジメント研究など 　　　　　　　　　　　↓ ニート -> フリーランスエンジニア->スタートアップ 　　　　　　　　　　　↓ DeNA にて ゲームプラットフォームのアプリケーション開発・ゲーム開発 　　　　　　　　　　　↓ freee にて 会計のアプリケーション開発 -> 現職 freee株式会社 分析基盤 データエンジニア 略歴
3. 本日 お話すること 3 • 特徴 ◦ 特に 他のサービスとどこが違ってくるのか • 構成・アーキテクチャ • 課題・展望と取り組み ◦ つらみとチャレンジ freee のデータ分析基盤について
4. freee のデータ分析基盤の特徴？ 4 データ基盤のありかたは事業・組織のありかたと相似する （コンウェイの法則） "Organizations which design systems are constrained to produce designs which are copies of the communication structures of these organizations."
5. freee の事業
6. freee株式会社 6 2017年「働きがいのある会社」 ランキング3位 2015年度 グッドデザイン賞 「未来づくりデザイン賞」 会社名　：freee 株式会社 設　立　：2012年7月 資本金　： 96億618万円 (資本準備金等含む) 代表者　：佐々木 大輔 従業員　：300名（2017年1月現在） 主要株主：IVP、DCM、リクルートHD
7. ビジネスのはじまりから成長をすべてサポートする freee 7 簡単：知識がなくても1クリックで 給与計算 勤怠：勤怠管理も簡単に オンライン：給与明細はオンライ ンで配布 会計連動：会計ソフトと完全デー タ連携 政府連携：行政手続きもオンライ ンで完結 マイナンバー：マイナンバー管理 も完全対応 5分：会社設立用の書類を最短 5分で作成 モバイル：スマホ完全対応で、 どこでも会社設立 ワンストップ：実印発注や銀行 口座作成もできる 自動：銀行やカードの口座と連携し、人 工知能で会計帳簿を作成 簡単：簿記の用語を使わない画面設計 で簡単に使える 最適化：請求書発行や経費精算などの 業務も最適化 実績：クラウド会計ソフトシェア No.1 で 安心の実績 サポート：チャットによる迅速なサポート を提供 決算：決算や個人事業主の申告まで自 動で簡単に ✩ はじめる ↻ 運営する ↗ 育てる 会社設立 freee (2015年6月リリース) クラウド会計ソフト freee (2013年3月リリース) クラウド給与計算ソフト freee (2014年5月リリース) シェアNo.1 シェアNo.1 開業 freee (2016年10月リリース)
8. データを活用したバックオフィス業務の効率化 8 決済サービス 費用 費用 費用 売上 費用 負債 費用 費用 資産 費用 費用 現金 費用 費用 費用 金融機関 クレジット POS,家計簿等 自動仕訳* *クラウド会計ソフトの自動仕訳に関する 人工知能技術について、 特許権(特許第5936284号)を取得済 テクノロジーを活用し「記帳」「経理作業」を効率化 自動仕訳の技術はクラウド会計で唯一特許を取得
9. クラウドバックオフィス市場No.1 の圧倒的データ量 9 サービス開始4年で 70万事業所突破 市場調査からも シェアNo.1 * デジタルインファクト調べ 開始4年で、70万事業所が利用するサービスに成長 No.1のシェアも獲得
10. ユーザーベースとテクノロジーを活用し 中小企業のビジネスプラットフォームへと進化 10 取引効率化 機会創出 経営効率化 決済 受発注 ネッティング ビジネスマッチング 在庫管理 ファクタリング 経営統計 データ 請求 入金管理 fSBPは、freeeを使用するユーザー同士がクラウド上で繋がるプラットフォーム。 業務の効率化だけでなく、SMBにとって実益のあるプラットフォームを目指す。 freee Smart Business Platform(fSBP)
11. 【日本初】クラウド会計を活用したビジネスローン 11 いち早く金融機関と連携し、融資手法を共同開発
12. 人事データを一元化する、人事労務 freee も始動 12 給与計 算 勤怠管 理 労務 手続き 従業員 管理 マイナン バー • 2017年夏頃リリース予定 • 先行予約受付開始中 2017年夏頃にリリース予定の人事労務 freeeは、クラウド上で人事労務の 業務を完結させ、人事労務を大きく効率化させるプロダクト 強化 強化 New
13. freee の組織とデータ
14. freee の組織とデータ 14 データ基盤を扱う組織・ロールが多岐にわたる • Engineer • Biz ◦ Analytics / Finance ◦ Marketing ◦ Sales ◦ Customer Support
15. freee の組織とデータ: Engineers 15 Engineer組織とデータ • 会計 / 人事労務 など、サービス毎のアプリケーション ◦ Service DB / Redshift ◦ ElesticSearch / Kibana （開発・デバッグ用途） ◦ EMR / Spark （取引関係ネットワーク・プラットフォーム開発） ◦ FireBase （モバイル） ◦ Kissmetrics など（グロースハック） ◦ Jira • スモールビジネスラボ ◦ 初期仮説検証・モデル開発・プロダクト開発 • 金融機関との連携 • 課金基盤・セキュリティなど • SRE・ビジネス基盤
16. freee の組織とデータ: Biz 16 Bizの組織とデータ • Analytics / Finance ◦ Service DB / Redshit ◦ 事業計画立案に必要なKPI ・ユーザ定着のための仮説検証 • Customer Support ◦ Zendesk チケット ◦ サポートの生産性向上、顧客満足向上のための仮説検証 • Online Marketing ◦ Google Analytics / Bigquery ◦ 広告最適化 • Sales ◦ Salesforce ◦ セールス生産性向上・セールスKPI の検証
17. freee のデータ分析基盤の特徴
18. freee のデータ分析基盤の特徴 • セールス・サポートからエンジニアまで、必要なKPI / データの 種類が多岐にわたる ◦ 全社的に意思決定から日々のメトリクスまでデータドリブンに進むの で、データの集約を行う必要がある。 ◦ 一人のお客様に関係するオペレーションが多い。 • 利用しているクラウドサービスが多い ◦ freeeのビジョンである、「クラウドサービスの利用による本業への フォーカス」を自ら体現している ◦ これらのサービスのデータをすべてDWHに集約して利用する必要が ある。 • セキュリティの保護が重要 ◦ センシティブなデータが多く含まれるので、利用できるデータのセキュリ ティレベルが細分化されている。また、レベルに応じて項目ごとのマス キングなどを行う必要がある。
19. （参考）freee で利用しているクラウドサービス（一部） 19
20. 構成とデータフロー
21. データフロー 21 • Sales / Support に関わるデータフロー サービスDB 行動ログ （アプリケーションレベルのアク セスログ）
22. データフロー 22 • Marketing に関わるデータフロー
23. データフロー 23 • Engineers に関わるデータフロー
24. ダッシュボード 24 全社で利用している もともと内製のダッシュボードを利用していたが、re:dash にし てデータ利用が加速した ダッシュボード多すぎ問題
25. バッチ 25 • 日次 ◦ ruby スクリプト （一部 digdag / embulk) ◦ サービスDBなどの取り込み / KPI集計 ◦ jira / new relic / Salesforce などとの連携 ◦ EMR スクリプトの実行 ◦ ETL周りにRedshift Spectrum使いたい。 • 毎時 ◦ ruby スクリプト ◦ サービスDBなどの取り込み / KPI集計 ◦ EMR スクリプトの実行 • ストリーム ◦ fluentd ◦ 一部 AWS Lambda
26. つらみと展望　チャレンジ
27. freee 分析基盤のつらみ 27 • 事業展開のスピード感 ◦ サービスの種類の増加・販売チャネルの多様化 ◦ 金融機関・クラウドサービスとの機能提携 • Salesforce / marketo との連携が（ry ◦ Rate Limit などのAPI制限がきつい ◦ 外部サービス故に bulk api で取得する際のIOPSに気をつける必要が ある • Redshift のパフォーマンスチューニング ◦ Redshift のチューニングは結構コツが必要 ◦ Redshift Spectrum が速くTokyoリージョンで使えるようになると超うれ しい
28. freee 分析基盤 の展望・チャレンジ 28 • スモールビジネス のバックオフィス業務を効率化 ◦ 請求書などのOCR ◦ 銀行明細の重複検出・勘定科目マッチ • ビジネスプラットフォームの構築 ◦ 取引関係のネットワーク化 ▪ プロダクトの使い勝手進化 ◦ 取引効率化 ◦ 融資手法の開発 ◦ etc...
29. まとめ
30. まとめ 30 • 事業のスピードとsyncするデータ基盤 ◦ 事業の展開が早く、追いかけるKPI自体が四半期内で変化する ◦ 変更に強い仕組みが必要 • B2B / B2C 両方の性質を持つデータ ◦ アクセスログからの離脱分析・課金分析 や A/B テスト など B2C 的な データとセールスのリード抽出や生産性分析など B2B 的なデータを透 過的に扱う必要がある • バックオフィスの自動化・効率化を支援 ◦ やることは、たくさんある！
31. freeeでは、ソフトウェアエンジニア・データエンジニア・ データサイエンティストなど全方位で募集中です 31