マルチデータプロダクト開発・運用に耐えるためのデータ組織・アーキテクチャの遷移

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2024 Finatext Holdings Ltd. 4 ナウキャストの事業構造 Data Service Business ビッグデータを用いたプロダクトを提供する事業。 Data & AI Solution Business データとAIで顧客のDXを支援する事業。 Data Service Platform Unit 事業横断でデータ基盤の高度化、R&Dなどを行うチーム。 Investment Research Unit 機関投資家向けにビッグデータ分析 SaaSを提供。 Real Estate Unit 商圏分析や売上予測モデルによる店舗物件の診断サービスを不動産会社に提供。 Data Holder Unit 提供元からデータを受領し、データパイプラインの構築を行うチーム。 Engineering Team データエンジニアリングと生成AI活用に精通したエンジニアリングチーム。 Consultant Team データとAIを用いたDXに特化したコンサルティングチーム。 Economic Research Unit ビッグデータから計算したマクロ指数を金融機関・官公庁等に提供。データプロダクトの提供と顧客支援の二つのビジネスを推進している

Slide 6

Slide 6 text

© 2024 Finatext Holdings Ltd. 5 データ事業オルタナティブデータの商社としての機能を持つデータウェアハウスライセンスデータデータホルダー解析 POSデータ日本経済新聞 1,500店舗のスーパーマーケット True Data 4,000店舗のスーパー、ドラックストア 2,600店舗の家電小売クレジットカードデータ JCB JCBカードの所有者・加盟店クレディセゾンセゾンカードの所有者求人データ人流データ TV広告データ KDDI 携帯搭載の地理データフロッグ 130超の日本の web求人広告サイトエムデータ日本の全無料チャンネンルの TV広告データ官公庁・シンクタンク・投資家エンドユーザー投資家不動産事業者

Slide 7

Slide 7 text

© 2024 Finatext Holdings Ltd. 6 データ&AIソリューション事業データ活用から生成AI活用までをフルサポート ● ナウキャストはデータ基盤構築、データ分析、生成 AIのPoC、業務システムの開発を一気通貫で提供することが可能です。 ● 業務要件から逆算してデータ分析基盤を整備し、データ分析を行うことで、最短ルートでデータと AIを用いた業務効率化を実現します。 Step 1 要件定義 Step 2 データ基盤構築/運用 Step 3 データ分析支援・金融とデータ活用に知見のあるメンバーが、ビッグデータの利活用に関する計画策定をご支援。・財務、顧客情報、市場データ、取引情報、リスク管理、オルタナティブデータなど様々なデータを対象にデータ基盤を構築。・構築後のインフラ管理やバッチ処理のメンテナンスまでご支援。・データの目検チェックなどオペレーション業務も外注可能。・リサーチ業務、リスク管理、営業など、様々な業務におけるデータ分析のユースケースをご提案。・生成AIを活用した業務効率化/高度化に向けたPoCの実施。 Step 4 業務への展開・分析を実際の業務へ展開するために必要な業務アプリケーション開発を実施・データ活用から逆算した業務アプリ設計、実装を実現。

Slide 8

Slide 8 text

© 2024 Finatext Holdings Ltd. 7 ナウキャストの現状 ● ナウキャストは事業の拡張期に入っている ● 取り扱うデータが増えてきたし、これからも増えていく ○ 一つの事業では取り扱えないような新規データの獲得・クレンジング・マスタリング、データ分析切り口の開発をより加速していく創業・事業検証主軸事業の磨き込み既存事業の顧客・機能の拡張 / 新規事業創出 2015.2 Nowcast創業 2016.1 日経CPINowの販売開始 2016.8 Finatextと経営統合 2013.5 東大日次物価指数の発表 2018.1 CCCとの共同事業を発表 2018.11 JCB消費NOW 有償版の開始 2019.3 日経新聞と共催で「オルタナティブデータカンファレンス」を初開催 2019.10 レポートサービスの開始 2020.4 家電POSデータを開始 2020.6 内閣府V-RESASで日経CPINow・ JCB消費NOWの提供を開始 2017.5 JCB消費NOW のリリース 2017.12 株式会社 TrueDataと共同事業をスタート 2016.11 機関投資家向け事業を開始 2021.9 投資分析サービス「AlternaData」の提供開始 2021.10 ピッチイベント「UPGRADE with TOKYO 第15回」で優勝 2022.8 クレディセゾンと商業施設のテナント選定支援サービスを提供開始 2023.1 東京都と協働し、「都内中小企業の景況指標ダッシュボード」を開発 2024.4 データ基盤構築や、生成AI導入支援を行う「データ＆AIソリューション事業」が誕生

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2024 Finatext Holdings Ltd. 9 ~2022年データチームの境界を考える - Speaker Deck ナウキャストのチームの特徴 ● 典型的にはデータソース毎に1つのチーム ○ 1チームだいたい3~6人ほど ● 各チーム内で価値提供に必要な工程が完結 ● Terraformによるインフラの構築 ● Airflow+PythonによるETLの開発/保守 ● Jupyter NotebookによるEDA Stream Alignedなデータエンジニアチーム Stream Alignedであることのメリット ● システムのオーナーシップが向上する ● 各システムが疎結合に保たれる (Conway's law) ● データのドメイン知識が一貫して行き渡るデータ組織・アーキテクチャの今まで

Slide 11

Slide 11 text

© 2024 Finatext Holdings Ltd. 10 2022年度からのデータ組織データチームの境界を考える - Speaker Deck ● 中央集権型はサイロ化やスケーラビリティの低下に繋がるため望ましくない[2][3][4] ● PlatformチームはData Hubへのリリースを支援するツールの開発が責務 ○ チームAPIの定義 ○ ビルド/テスト/デプロイ用のスクリプト ○ CI/CD用のツール ○ 監視システム ● 各Sourcesの開発/保守は各Stream Aligned Teamの責務データ組織・アーキテクチャの今まで

Slide 12

Slide 12 text

© 2024 Finatext Holdings Ltd. 11 Snowflake x dbt x Terraform の基盤の全体像 ● DWHはSnowflake ● Snowflake のリソース管理 ○ table / view → dbt ○ udf / proc / SiS→ Snowflake CLI ○ それ以外 → Terraform ● Airflow から ECS task を呼び dbt build を定期実行 ● dbt モデルはモノレポで管理 ○ boilerplate の用意 ○ GitHub Flow なブランチ管理 ○ projects/環境ごとにdirを分け、それぞれCI/CD ● [WIP] OpenMetadata でメタデータ管理 ○ Snowflake からメタデータ取得 ○ dbt artifact を連携する仕組みデータ組織・アーキテクチャの今まで

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2024 Finatext Holdings Ltd. 14 データ組織・アーキテクチャの今までこの構成はある程度ワークしてきた ● 各データソースの開発・保守は各Stream Aligned Teamの責務 ○ 中央集権にならず、ボトルネックは解消 ● Platform TeamがCI/CD、Terraformのテンプレートなど、セルフサービスプラットフォームを整備し、各チームのデータパイプライン・データプロダクトの品質を担保

Slide 16

Slide 16 text

© 2024 Finatext Holdings Ltd. 15 データ組織・アーキテクチャの今までただ、新たな問題も発生した ● 増え続けるデータソース、かつ、増え続けるデータプロダクト ○ 各Stream Aligned Team間のドメイン知識の共有がより困難になる ○ 複数データソースを組み合わせてデータプロダクトを作る場合、各Stream Aligned Teamにヒアリングしないといけない ● ロジックのサイロ化 ○ 名寄せロジック・マスターデータのサイロ化 ○ 各チームが独立のロジックでデータクレンジング・マスタリングが実施される ● エンジニアだけでなく、ビジネスメンバー・アナリストがデータにアクセスする機会が増えた ○ dbtが書ける・読めるメンバー以外がデータを理解する必要性が高くなった ● データウェアハウスのコストの高騰🤑

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2024 Finatext Holdings Ltd. 19 データ組織・アーキテクチャの今まで https://docs.open-metadata.org/v1.4.x/how-to-guides/guide-for-data-users/request-description#conversations-around-the-data-asset-description • Descriptionの右にある会話アイコンをクリックします。 • @メンションでUserまたはTeamを指定できます • #メンションでデータアセットを指定できます • メッセージを送信すると会話が作成されます [WIP]OpenMetadataの導入 ● データオーナーとユーザーがインタラクティブにコミュニケーションを取ることができる場所を提供

Slide 21

Slide 21 text

© 2024 Finatext Holdings Ltd. 20 データ組織・アーキテクチャの今まで [WIP]OpenMetadataの導入 ● ただOpenMetadataを導入したら解決ではない ● メタデータを入力し続けられるような文化作り、仕組み作りが重要 ○ メタデータがメンテナンスされてないとデータカタログは意味をなさない ● dbtをSSoTとしてdbtのschema.ymlでカラムのdescriptionが書かれないとmerge できない、といったCICDを構築中・・・

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© 2024 Finatext Holdings Ltd. 22 データ組織・アーキテクチャのこれからチームAPIとしてdbtからDataContractへ ● 今までチームAPIとしてdbtがインターフェースとなっていた ○ データエンジニア内でコミュニケーションするケースだと十分だった ● 社内外の様々なデータソースに対応するためにはdbtでは不十分なケースが出てきている ○ アプリケーションチーム、SaaSなど ● ここでData Contractを導入してデータプロダクトの開発をスムーズに行うことを模索中

Slide 24

Slide 24 text

© 2024 Finatext Holdings Ltd. 23 データ組織・アーキテクチャのこれからチームAPIとしてdbtからDataContractへ ● Data Contractでは、データの送り手（データオーナー）と受け手（データ分析基盤チーム）の間で連携するデータのスキーマ情報を明示的に定義し、その定義を遵守することで連携するソースデータに関する契約を結ぶ概念 ○ 身近な類似している例としては、APIのschemaを共有する際に使用するOpenAPI Speciﬁcation(Swagger)が近い https://datacontract.com/

Slide 25

Slide 25 text

© 2024 Finatext Holdings Ltd. 24 データ組織・アーキテクチャのこれからチームAPIとしてdbtからDataContractへ ● DataContractを導入することでデータオーナーとデータコンシューマーとの責務を明確に分けることができる。 ○ これにより効率的なデータプロダクトの開発が可能に ● DataContractの運用には自動化が重要と考えており、CICDパイプラインを構築中詳細はData Contract CLIでデータテストを行い、dbtの schemaを生成する CI/CD を参照ください

Slide 26

Slide 26 text

© 2024 Finatext Holdings Ltd. 25 データ組織・アーキテクチャのこれからマスターデータの共通化 ● 複数データソースを組み合わせた分析・プロダクト開発の需要の高まり ○ ただ、複数データソースを組み合わせるロジックが各プロジェクトで散らばっている状況 ● 共通のマスターデータを作成することで、複数のデータソースを組み合わせたプロダクト作成が可能にする ○ 法人番号をコアとした法人DBを構築中

Slide 27

Slide 27 text

© 2024 Finatext Holdings Ltd. 26 データ組織・アーキテクチャのこれから platform team + stream aligned team体制は引き続き維持する ● ドメインに近いところにいてビジネスニーズを敏感に検知し、スピード感を持って開発する体制は維持したい ○ プロダクト(プロジェクト)チームごとにビジネスの近いところにいてフルサイクルに開発する体制 ● メンバーとプロダクトが増える中、体制を維持するためにPlatform Teamがサポートする ○ Self-service data platformを充実させる

Slide 28

Slide 28 text

© 2024 Finatext Holdings Ltd. 27 まとめ ● platform team + stream aligned teamの構成は(ナウキャストでは)うまくワークした ○ この構成は今後も(しばらくは)続けていく ● ただし、増え続けるデータソース・ユースケースに対応するために課題も発生した ○ Self-service Data Platformの充実で対応 ● 今後もより価値のあるデータプロダクトを生み出し続けるためにデータ組織・基盤アーキテクチャは進化し続ける

Slide 29

Slide 29 text

© 2024 Finatext Holdings Ltd. 28 We’re hiring! ナウキャストではデータ系職種・エンジニアを絶賛採用募集中ですデータエンジニア・データサイエンティスト・アナリティクスエンジニア・データプラットフォームエンジニア, サーバーサイドエンジニア, etc カジュアル面談応募フォームよりお申込みください。 https://forms.gle/r69LwG3cLAjiGvY66 ナウキャストについて詳しく知りたい方は Nowcast Career

Slide 30

Slide 30 text

No content