The Future of Data Engineering in Findy

by Shunsuke Tsuchiya

Slide 1

Slide 1 text

「データエンジニアリングにおける AIの活用と未来」 Findy AI Meetup in Tokyo #1 ファインディ株式会社 CTO 室データソリューションチーム / エンジニア土屋俊介 (@shunsock)

Slide 2

Slide 2 text

自己紹介

Slide 3

Slide 3 text

3  自己紹介ファインディ / データエンジニア土屋俊介 / @shunsock ● 2024 年 8 月にファインディ CTO 室データソリューションチームに参画 ● データ基盤のパイプライン・プラットフォーム開発 ● ターミナルと麻雀が好き

Slide 4

Slide 4 text

データ基盤とは

Slide 5

Slide 5 text

5  データ基盤とは物流でいう卸売業と⼩売業者に近い⽣産者消費者⽣産者⽣産者消費者消費者⽣産者消費者

Slide 6

Slide 6 text

6  データ基盤とは物流でいう卸売業と⼩売業者に近い⽣産者消費者⽣産者⽣産者消費者消費者⽣産者消費者卸売業者⼩売業者卸売業者

Slide 7

Slide 7 text

7  データ基盤とは物流でいう卸売業と⼩売業者に近い lake, stg BI Tool lake, stg lake, stg ML & Stats Excel lake, stg App: RETL dwh mart dwh

Slide 8

Slide 8 text

8  ファインディのデータ基盤 ELをDuckDB, Datastream が担当し、Tをdbt-BigQueryが担当する構成 stg BI Tool stg stg ML & Stats Excel stg App: RETL dwh mart dwh Salesforce GS4 App1 DB App2 DB lake lake lake lake

Slide 9

Slide 9 text

9  ファインディのデータ基盤データ基盤の全体ではデータメッシュというアーキテクチャを採⽤している 1. 共通プロジェクトが全体公開する成果物を管理 2. 各プロジェクトは共通基盤を経由し他事業部のデータ取得事業共通基盤事業事業事業

Slide 10

Slide 10 text

データ基盤での取り組み

Slide 11

Slide 11 text

11  Devin導入リポジトリを複数持つ構成のため、相性が良い dbt config  dbt model 1 … N  Terraform  DuckDB (Mono Repo)   Documentation 

Slide 12

Slide 12 text

事業部横断企業検索

Slide 13

Slide 13 text

AIエージェント Tool利用クエリ発行データデータ指定したクエリのみを実行させることで、誤ったデータの取得を防ぐ事業部横断企業検索

Slide 14

Slide 14 text

データ基盤の未来

Slide 15

Slide 15 text

15  ファインディのデータ活用の未来アプリケーション開発者、ドメインエキスパート、データエンジニアが共闘するデータ基盤で開発が加速誰もが気軽に参加できる開発体制へ

Slide 16

Slide 16 text

複数プロダクト横断データ基盤を設計・開発しています！興味ある方はご応募、カジュアル面談お待ちしていますデータエンジニア絶賛募集中です！！

Slide 17

Slide 17 text

ご清聴ありがとうございました 🙏