The Future of Data Engineering in Findy

Transcript

1. 「データエンジニアリングにおける AIの活用と未来」 Findy AI Meetup in Tokyo #1 ファインディ株式会社 CTO 室データソリューションチーム / エンジニア 土屋俊介 (@shunsock)
2. 自己紹介
3. 3
 自己紹介 ファインディ / データエンジニア 土屋俊介 / @shunsock • 2024 年 8 月にファインディ CTO 室データソリューションチームに参画 • データ基盤の パイプライン・プラットフォーム開発 • ターミナルと麻雀が好き
4. データ基盤とは
5. 5
 データ基盤とは 物流でいう卸売業と⼩売業者に近い ⽣産者 消費者 ⽣産者 ⽣産者 消費者 消費者 ⽣産者 消費者
6. 6
 データ基盤とは 物流でいう卸売業と⼩売業者に近い ⽣産者 消費者 ⽣産者 ⽣産者 消費者 消費者 ⽣産者 消費者 卸売業者 ⼩売業者 卸売業者
7. 7
 データ基盤とは 物流でいう卸売業と⼩売業者に近い lake, stg BI Tool lake, stg lake, stg ML & Stats Excel lake, stg App: RETL dwh mart dwh
8. 8
 ファインディのデータ基盤 ELをDuckDB, Datastream が担当し、Tをdbt-BigQueryが担当する構成 stg BI Tool stg stg ML & Stats Excel stg App: RETL dwh mart dwh Salesforce GS4 App1 DB App2 DB lake lake lake lake
9. 9
 ファインディのデータ基盤 データ基盤の全体ではデータメッシュというアーキテクチャを採⽤している 1. 共通プロジェクトが 全体公開する成果物を管理 2. 各プロジェクトは共通基盤を 経由し他事業部のデータ取得 事 業 共通基 盤 事 業 事 業 事 業
10. データ基盤での取り組み
11. 11
 Devin導入 リポジトリを複数持つ構成のため、相性が良い dbt config
 dbt model 1 … N
 Terraform
 DuckDB (Mono Repo) 
 Documentation

12. 事業部横断企業検索
13. AIエージェント Tool利用 クエリ発行 データ データ 指定したクエリのみを 実行させることで、 誤ったデータの取得を防ぐ 事業部横断企業検索
14. データ基盤の未来
15. 15
 ファインディのデータ活用の未来 アプリケーション開発者、ドメインエキスパート、 データエンジニアが共闘する データ基盤で開発が加速 誰もが気軽に参加できる開発体制へ
16. 複数プロダクト横断データ基盤を設計・開発しています！ 興味ある方はご応募、カジュアル面談お待ちしています データエンジニア 絶賛募集中です！！
17. ご清聴ありがとうございました 🙏