最強?のデータ組織アーキテクチャ

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2013 - 2022 Finatext Ltd. 6 アーキテクチャの良さは文脈次第なので, 唯一の”最強”な解は存在しない本発表の主題は弊社の文脈における課題と, それをどう解決しようとしているか文脈とは? ● 組織の性質 ○ 全体の人数, エンジニアの人数, データエンジニアの人数 ○ データリテラシーの普及度合い ● データの性質やユースケース ○ 量, 種類, 品質, ... ○ ユーザーは誰か, リアルタイムか日次更新か, ... ● 関連する他のシステムの性質 ● …

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2013 - 2022 Finatext Ltd. 10 ナウキャストの紹介 Alternative Dataとは利活用の進んでいないビッグデータの総称 Alternative Dataとは元々は金融領域の用語で、伝統的に使われてきた財務情報や経済統計のようなデータ（ Traditional Data）に対して、これまで利活用の進んでこなかったビッグデータのことを指します。データ利活用が活発なアメリカでは、様々な種類の Alternative Dataがサービスとして実際に提供されています。参考) オルタナティブデータとは

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2013 - 2022 Finatext Ltd. 12 ナウキャストはデータエンジニアが主役となる組織! なので, 以下のような文脈があります ● データが文字通りプロダクトである ● データエンジニアがたくさんいる (15人以上) ● データのクレンジング/マスタリングに深いドメイン理解が求められるこの文脈で適切な組織アーキテクチャは何かを考える逆に言うと, 今回お話する内容は ● そもそもデータの重要性があまり認識されていない ● データエンジニアがあまりいない ● 扱っているデータの行儀が良くそこまで手間がかからないなどの文脈ではおそらくあまりfitしないと思います!

Slide 13

Slide 13 text

© 2013 - 2022 Finatext Ltd. 13 データソース毎に1つのチーム(1~5人)が形成されてきた raw data ETL DWH Data source A インフラ管理データ分析 Client ● 一つのチーム内でインフラ/データパイプライン/データ分析まで一気通貫で行う組織構成 ○ データを深く理解しないとETLも分析も出来ないため必然的にこうなった ○ 必要なものは全てチーム内で調達出来るため, 迅速にデリバー出来る cleansed data Team A

Slide 14

Slide 14 text

© 2013 - 2022 Finatext Ltd. 14 課題1: システムの品質向上に時間をかけられない ● メインミッションのETL開発/分析以外の改善系タスクが後回しになりがち ○ テスト/ドキュメント/リネージュが存在しない ○ ETLジョブの監視が不十分 ○ 本番環境しか存在せずデプロイがリスキー ○ DWHの選定/運用をやりきれず, ETLジョブがfailしがち ○ … ● 特定のチームでうまく出来た改善が他のチームに横展開されない ○ 他のチームにニーズがあるのか不明 ○ 仕組みを汎用化するインセンティブがない

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2013 - 2022 Finatext Ltd. 26 Data platformの具体的な中身は? ● 単一のDWH上でSSOTを実現しつつもcomputeは分離しておく ○ snowflakeはここが優れている ● 適切な権限管理体制を仕組み化 ○ PIIやデータの外部提供の際に適切なレビューが必ず入る ○ 危険性の高い変更はadminによるレビューが必ず入る DWH インフラ管理 ETL基盤 CI/CD基盤データ分析基盤