Upgrade to Pro — share decks privately, control downloads, hide ads and more …

freee のデータ分析基盤について

freee のデータ分析基盤について

freee のデータ分析基盤の特徴を、他のサービスとどのように違うのか、どのような背景があってこの構成になっているのかを中心に紹介します。

Masato Yamaguchi

April 26, 2017
Tweet

Other Decks in Technology

Transcript

  1. freee のデータ分析基盤について 

    View full-size slide

  2. 自己紹介
    2
    山口正人
    (株)リクルート の組織研究シンクタンク にて労働市場の定量調査/解析
    ・企業の組織マネジメント研究など
               ↓
    ニート -> フリーランスエンジニア->スタートアップ
               ↓
    DeNA にて ゲームプラットフォームのアプリケーション開発・ゲーム開発
               ↓
    freee にて 会計のアプリケーション開発 -> 現職
    freee株式会社 分析基盤 データエンジニア
    略歴

    View full-size slide

  3. 本日 お話すること
    3
    ● 特徴
    ○ 特に 他のサービスとどこが違ってくるのか
    ● 構成・アーキテクチャ
    ● 課題・展望と取り組み
    ○ つらみとチャレンジ
    freee のデータ分析基盤について

    View full-size slide

  4. freee のデータ分析基盤の特徴?
    4
    データ基盤のありかたは事業・組織のありかたと相似する
    (コンウェイの法則)
    "Organizations which design systems are constrained to produce
    designs which are copies of the communication structures of these
    organizations."

    View full-size slide

  5. freee の事業

    View full-size slide

  6. freee株式会社
    6
    2017年「働きがいのある会社」
    ランキング3位
    2015年度 グッドデザイン賞
    「未来づくりデザイン賞」
    会社名 :freee 株式会社
    設 立 :2012年7月
    資本金 : 96億618万円 (資本準備金等含む)
    代表者 :佐々木 大輔
    従業員 :300名(2017年1月現在)
    主要株主:IVP、DCM、リクルートHD

    View full-size slide

  7. ビジネスのはじまりから成長をすべてサポートする freee
    7
    簡単:知識がなくても1クリックで
    給与計算
    勤怠:勤怠管理も簡単に
    オンライン:給与明細はオンライ
    ンで配布
    会計連動:会計ソフトと完全デー
    タ連携
    政府連携:行政手続きもオンライ
    ンで完結
    マイナンバー:マイナンバー管理
    も完全対応
    5分:会社設立用の書類を最短
    5分で作成
    モバイル:スマホ完全対応で、
    どこでも会社設立
    ワンストップ:実印発注や銀行
    口座作成もできる
    自動:銀行やカードの口座と連携し、人
    工知能で会計帳簿を作成
    簡単:簿記の用語を使わない画面設計
    で簡単に使える
    最適化:請求書発行や経費精算などの
    業務も最適化
    実績:クラウド会計ソフトシェア No.1 で
    安心の実績
    サポート:チャットによる迅速なサポート
    を提供
    決算:決算や個人事業主の申告まで自
    動で簡単に
    ✩ はじめる ↻ 運営する ↗ 育てる
    会社設立 freee
    (2015年6月リリース)
    クラウド会計ソフト freee
    (2013年3月リリース)
    クラウド給与計算ソフト freee
    (2014年5月リリース)
    シェアNo.1 シェアNo.1
    開業 freee
    (2016年10月リリース)

    View full-size slide

  8. データを活用したバックオフィス業務の効率化
    8
    決済サービス
    費用
    費用
    費用
    売上 費用
    負債
    費用
    費用
    資産
    費用
    費用
    現金
    費用
    費用
    費用
    金融機関 クレジット POS,家計簿等
    自動仕訳* *クラウド会計ソフトの自動仕訳に関する
    人工知能技術について、
    特許権(特許第5936284号)を取得済
    テクノロジーを活用し「記帳」「経理作業」を効率化
    自動仕訳の技術はクラウド会計で唯一特許を取得

    View full-size slide

  9. クラウドバックオフィス市場No.1 の圧倒的データ量
    9
    サービス開始4年で
    70万事業所突破
    市場調査からも
    シェアNo.1
    * デジタルインファクト調べ
    開始4年で、70万事業所が利用するサービスに成長
    No.1のシェアも獲得

    View full-size slide

  10. ユーザーベースとテクノロジーを活用し
    中小企業のビジネスプラットフォームへと進化
    10
    取引効率化
    機会創出
    経営効率化
    決済
    受発注 ネッティング
    ビジネスマッチング
    在庫管理
    ファクタリング
    経営統計
    データ
    請求
    入金管理
    fSBPは、freeeを使用するユーザー同士がクラウド上で繋がるプラットフォーム。
    業務の効率化だけでなく、SMBにとって実益のあるプラットフォームを目指す。
    freee Smart Business Platform(fSBP)

    View full-size slide

  11. 【日本初】クラウド会計を活用したビジネスローン
    11
    いち早く金融機関と連携し、融資手法を共同開発

    View full-size slide

  12. 人事データを一元化する、人事労務 freee も始動
    12
    給与計

    勤怠管

    労務
    手続き
    従業員
    管理
    マイナン
    バー
    ● 2017年夏頃リリース予定
    ● 先行予約受付開始中
    2017年夏頃にリリース予定の人事労務 freeeは、クラウド上で人事労務の
    業務を完結させ、人事労務を大きく効率化させるプロダクト
    強化 強化
    New

    View full-size slide

  13. freee の組織とデータ

    View full-size slide

  14. freee の組織とデータ
    14
    データ基盤を扱う組織・ロールが多岐にわたる
    ● Engineer
    ● Biz
    ○ Analytics / Finance
    ○ Marketing
    ○ Sales
    ○ Customer Support

    View full-size slide

  15. freee の組織とデータ: Engineers
    15
    Engineer組織とデータ
    ● 会計 / 人事労務 など、サービス毎のアプリケーション
    ○ Service DB / Redshift
    ○ ElesticSearch / Kibana (開発・デバッグ用途)
    ○ EMR / Spark (取引関係ネットワーク・プラットフォーム開発)
    ○ FireBase (モバイル)
    ○ Kissmetrics など(グロースハック)
    ○ Jira
    ● スモールビジネスラボ
    ○ 初期仮説検証・モデル開発・プロダクト開発
    ● 金融機関との連携
    ● 課金基盤・セキュリティなど
    ● SRE・ビジネス基盤

    View full-size slide

  16. freee の組織とデータ: Biz
    16
    Bizの組織とデータ
    ● Analytics / Finance
    ○ Service DB / Redshit
    ○ 事業計画立案に必要なKPI ・ユーザ定着のための仮説検証
    ● Customer Support
    ○ Zendesk チケット
    ○ サポートの生産性向上、顧客満足向上のための仮説検証
    ● Online Marketing
    ○ Google Analytics / Bigquery
    ○ 広告最適化
    ● Sales
    ○ Salesforce
    ○ セールス生産性向上・セールスKPI の検証

    View full-size slide

  17. freee のデータ分析基盤の特徴

    View full-size slide

  18. freee のデータ分析基盤の特徴
    ● セールス・サポートからエンジニアまで、必要なKPI / データの
    種類が多岐にわたる
    ○ 全社的に意思決定から日々のメトリクスまでデータドリブンに進むの
    で、データの集約を行う必要がある。
    ○ 一人のお客様に関係するオペレーションが多い。
    ● 利用しているクラウドサービスが多い
    ○ freeeのビジョンである、「クラウドサービスの利用による本業への
    フォーカス」を自ら体現している
    ○ これらのサービスのデータをすべてDWHに集約して利用する必要が
    ある。
    ● セキュリティの保護が重要
    ○ センシティブなデータが多く含まれるので、利用できるデータのセキュリ
    ティレベルが細分化されている。また、レベルに応じて項目ごとのマス
    キングなどを行う必要がある。

    View full-size slide

  19. (参考)freee で利用しているクラウドサービス(一部)
    19

    View full-size slide

  20. 構成とデータフロー

    View full-size slide

  21. データフロー
    21
    ● Sales / Support に関わるデータフロー
    サービスDB
    行動ログ
    (アプリケーションレベルのアク
    セスログ)

    View full-size slide

  22. データフロー
    22
    ● Marketing に関わるデータフロー

    View full-size slide

  23. データフロー
    23
    ● Engineers に関わるデータフロー

    View full-size slide

  24. ダッシュボード
    24
    全社で利用している
    もともと内製のダッシュボードを利用していたが、re:dash にし
    てデータ利用が加速した
    ダッシュボード多すぎ問題

    View full-size slide

  25. バッチ
    25
    ● 日次
    ○ ruby スクリプト (一部 digdag / embulk)
    ○ サービスDBなどの取り込み / KPI集計
    ○ jira / new relic / Salesforce などとの連携
    ○ EMR スクリプトの実行
    ○ ETL周りにRedshift Spectrum使いたい。
    ● 毎時
    ○ ruby スクリプト
    ○ サービスDBなどの取り込み / KPI集計
    ○ EMR スクリプトの実行
    ● ストリーム
    ○ fluentd
    ○ 一部 AWS Lambda

    View full-size slide

  26. つらみと展望 チャレンジ

    View full-size slide

  27. freee 分析基盤のつらみ
    27
    ● 事業展開のスピード感
    ○ サービスの種類の増加・販売チャネルの多様化
    ○ 金融機関・クラウドサービスとの機能提携
    ● Salesforce / marketo との連携が(ry
    ○ Rate Limit などのAPI制限がきつい
    ○ 外部サービス故に bulk api で取得する際のIOPSに気をつける必要が
    ある
    ● Redshift のパフォーマンスチューニング
    ○ Redshift のチューニングは結構コツが必要
    ○ Redshift Spectrum が速くTokyoリージョンで使えるようになると超うれ
    しい

    View full-size slide

  28. freee 分析基盤 の展望・チャレンジ
    28
    ● スモールビジネス のバックオフィス業務を効率化
    ○ 請求書などのOCR
    ○ 銀行明細の重複検出・勘定科目マッチ
    ● ビジネスプラットフォームの構築
    ○ 取引関係のネットワーク化
    ■ プロダクトの使い勝手進化
    ○ 取引効率化
    ○ 融資手法の開発
    ○ etc...

    View full-size slide

  29. まとめ
    30
    ● 事業のスピードとsyncするデータ基盤
    ○ 事業の展開が早く、追いかけるKPI自体が四半期内で変化する
    ○ 変更に強い仕組みが必要
    ● B2B / B2C 両方の性質を持つデータ
    ○ アクセスログからの離脱分析・課金分析 や A/B テスト など B2C 的な
    データとセールスのリード抽出や生産性分析など B2B 的なデータを透
    過的に扱う必要がある
    ● バックオフィスの自動化・効率化を支援
    ○ やることは、たくさんある!

    View full-size slide

  30. freeeでは、ソフトウェアエンジニア・データエンジニア・
    データサイエンティストなど全方位で募集中です
    31

    View full-size slide