2時間で300+テーブルをデータ基盤に連携するためのAI活用 / FukuokaDataEngineer

■ イベント
第4回福岡データエンジニアリング勉強会（LT）
https://fukuoka-data-engineering.connpass.com/event/359031/

■ 発表者
技術本部 研究開発部 Data Directionグループ
永井 僚

■ 研究開発部 採用情報
https://media.sansan-engineering.com/randd

Transcript

1. 2時間で300+テーブルを データ基盤に連携するためのAI活⽤ 研究開発部 Data Directionグループ 永井 僚
2. - データ利活⽤のPoCを「0から0.1へ⾼速で進める」話をします - 影響範囲が⼩さい場⾯において、Claude CodeとMCP Toolboxを活⽤ すれば、短時間でデータ連携からインサイト出しが可能 - PoCで⾒えてきた勘所 - スピード⼤事 - 技術者間の横断的な情報共有 - 最前線のビジネスチームとの連携 注）安定稼働っぽいお話しはしません 今回お伝えしたいこと
3. 永井 僚 Sansan株式会社 研究開発部 Data Directionグループ 2025年明治⼤学で⼯学修⼠号を取得、Sansanに新卒⼊社 ⼊社まではスタートアップ企業でデータエンジニアとして、デー タ基盤の⽴ち上げから運⽤のお⼿伝いをしていました 現在は次世代データ基盤のアーキテクチャ設計・構築や各プロダ クトのデータ利活⽤⽀援に従事
4. 社内のデータ連携・分析要望
5. - 主要なプロダクト&営業系データを集約したデータ基盤 全社横断データ基盤（Colossus）について
6. - 職種問わず、AI製品を使って課題を解決しようとする動きが活発に > AIにコンテクスト⾷わせる⽅法 > データと組み合わせて何ができるのか知りたい or わからない - 全社横断データ基盤にデータを連携している様々な部署に ヒアリングをすることに 多くの課題を解決したいという声が急増
7. - 実施した施策のデータを横断的にみたい - 新たにデータを連携して業務効率化・今後の施策に活かしたい - ⾃部署内で分析のサイクルを回せるようにしたい - 新しくKPIツリーを作ったのでダッシュボードを改修したい など... 6 インパクト⼤きめの課題が⾒つかる
8. 全部並⾏してやれます (Claude Code/MCPサーバ使えば)
9. Claude Code/MCPサーバで爆速開発
10. - 実施した施策のデータを横断的にみたい - 新たにデータを連携して業務効率化・今後の施策に活かしたい - ⾃部署内で分析のサイクルを回せるようにしたい（データメッシュ的な話） - 新しくKPIツリーを作ったのでダッシュボードを改修したい など... 9 要望の中でもインパクト⼤きめの課題はあるけれど
11. - ⾒つかった課題 > インテントデータになりうる情報を多く持っているが活⽤しきれて いない by 部⻑ > 実施した施策の効果測定を⾏いたいがデータが整備できていない by チームメンバー - やりたいこと > データを分析できる環境を早く整えたい！ > 分析もリードタイム短くできると嬉しい！ イベントを開催している部署 10
12. - 過去データは更新が⼊らないのでデータパイプライン不要 > 使い捨てコードでデータを加⼯(Claude Codeの使い所) - ⽣データの複雑な階層構造や形式(.csv/.zip)をルールに則って加⼯ - 加⼯済み各データ（381テーブル）をデータ基盤にアップロード データをもらってすぐ連携 11
13. - ヒアリング先からお題もらってMCPサーバ（MCP Toolbox等）がレポート作成 - Claude DesktopでPDFのレポート作成してもらって提供 集計内容を共有、FBもらう 12
14. ここまで、ヒアリングから2時間で完了 13 16:30~17:00 ヒアリング 17:00~18:45 Claude Code使ってデータ加⼯＆381テーブルを データ基盤に連携 18:45~19:00 MCPサーバ使ってレポート提供、現場からFB受ける 全部⼿作業だったら2~3営業⽇くらい掛かったかも…
15. - ドメインに詳しい⽅々と⼀緒にClaudeの出⼒を分析する会 > データエンジニアだけではドメインが浅いけど、出⼒を定性的に⾒るために実施 > ドメイン強者にお題をもらいつつ、Claudeの出⼒を評価するFBサイクルの第⼀歩 - ⾮エンジニア向けに⾃作MCPサーバ提供 > 複数セグメントで分析する⾃作MCPサーバを作成 > ⾮エンジニアの⽅のPCに載せて活⽤してもらいつつ、FBもらって磨き上げ 他にも取り組んだこと 14
16. 爆速PoCで⾒えてきた勘所
17. - 新技術導⼊の意思決定スピード > 新しいツールを業務ですぐに試せるのって⼤事 - Claude Maxプラン、ちょっと前はDevinなど > 浮いたリソースを他の業務に充てられる - 課題を持っている⽅に価値提供するまでのリードタイム > 影響範囲が少ない場⾯において、動くプロトタイプの即時提供は効果的 - 新技術の活⽤は効果的 > Howにとらわれすぎず、素早く価値提供できる⽅法を探そう スピードがとても重要 16
18. - 困った時はCTOやセキュリティ、SRE、研究員の⽅々に相談できる環境 > 安⼼して進められた > 社内展開・認証周りをやってくれる専⾨の部隊が居るので分業 - 横割りのボトムアップ活動 > MCP何でも相談チャンネル を作成して情報共有 > 再開発・⼿戻りは極⼒避けたい 技術者間の横断的な情報共有が不可⽋ 17
19. - Claudeの出⼒が価値があるか、正確かを、データエンジニアだけで 判断するのは難しい > そもそも新⼊社員なので知らないことばかり… - MCPサーバは銀の弾丸ではない、ドメイン知識を踏まえて現場の肌感を⼤切に > ドメイン詳しい⽅と連携しながらの定性評価も重要 > 現場との期待値調整もとても重要 > +α 現場側で合同のKRを⽴ててもらえると、とても動きやすい 最前線のビジネスチームとの連携が重要 18
20. まとめ
21. - データ利活⽤の0→0.1を⾼速でやるためのお話をしました > 影響範囲が⼩さいPoCの作業では積極的にAI製品を活⽤しよう - 価値創出にフォーカスする > ドメインの理解のため、データの源流に潜り込む > 空いたリソースを使って部署を越境した価値の創出に意識を割けるように - やることはまだまだ尽きない > 新規データ連携 > メタデータ拡充(結局ここが重要、リッチなMCPサーバよりメタデータ) > ⾮技術者がより⾃律的に活⽤できるAI Agent開発など まとめ：PoCではスピードと現場の巻き込みが重要 20
22. Sansan 技術本部 募集ポジション紹介 https://media.sansan-engineering.com/