20261016_Nagoya Tech Talk #4 データ活用のリアル AIも人も間違える

Transcript

1. AIも人も間違える Biz職アナリストが、データに「意味」を与える データエンジニアになった話 湯瀬 直也 IT本部AI・データ戦略統括部データ基盤部コーポレートデータG 株式会社ディー・エヌ・エー © DeNA Co., Ltd. 1
2. 自己紹介 湯瀬 直也 IT本部AI・データ戦略統括部データ基盤部コーポレートデータG グループマネージャー • • • © DeNA Co., Ltd. 仕事 ◦ 名古屋在住・リモート勤務 ◦ 2020年 DeNAへ新卒入社 ▪ Biz職としてアプリのアナリストを担当 ▪ 協業案件のアナリスト ▪ 分析チームリーダー ◦ 2023年頃 データエンジニアに転身 ▪ 社内共通領域のデータ基盤を主導 日常 ◦ 猫を飼っています SNS ◦ https://www.linkedin.com/in/bessaralink 2
3. 今日話すこと 話すこと • 生成AIに意味を伝えるのに必要なこと • 生成AI時代におけるデータエンジニア の役割 話さないこと • キャリアに関する細かい話 ◦ • アーキテクチャの細かい話 ◦ © DeNA Co., Ltd. ご興味あれば懇親会で 今回はざっくりと 3
4. AIも⼈も間違える だから、データを意味づけ © DeNA Co., Ltd. 4
5. 生成AIは間違える ⽣成AIによる分析レポート AIが専⾨⽤語を取り違え、 使い物にならない レポートに。 ⼈間なら到底しないようなミスも、専⾨分野では頻発 データの解釈の誤りも数多く発⽣ なぜ⼈はこの間違いをしないのか？ それは、⽤語‧概念‧規約といった意味 についての知識‧認識が揃っているから。 © DeNA Co., Ltd. 5
6. でも、人も間違える ARPU型のサービス ARPPU型のサービス 広く浅く：多くの人が少しずつ課金 狭く深く：一部の熱心なファンが大きく課金 効くKPI 効くKPI 課金率 ARPPU・熱心ファンの数 数字は正しくても、業務上の 意味を知らなければ間違える ARPPU型のサービスの課金率を、 ARPU型の感覚で見て「十分高い」と判断してしまった。 そのサービスの理想が「薄く広く」ではないことを知らなかったから。 © DeNA Co., Ltd. 6
7. 正しい計算なしに正しい分析は成り⽴たない データエンジニア不在のプロジェクトで、⾒様⾒真似でデータパイプラインを作った結果 集計ミス データの遅延 ⾼コストのクエリ 意味への理解は正しくても、 計算を正しくしなければ間違える アナリスト時代、ビジネスへの理解はあったものの、正しい集計手法に理解がなく、失敗を重ねた。 意味を知ったとしても集計への作法への知識がなければ、正しい集計をするのは難しい。 AIも同じデータセットを使う以上、同じ問題に直面する。 © DeNA Co., Ltd. 7
8. 分析には、2つの正しさが必要 意味の正しさ 計算の正しさ © DeNA Co., Ltd. 8
9. 意味の正しさ PJ関連情報 Slackのやり取り コード上の情報 統合 議事録 過去の意思決定 データカタログ PJ全体の情報を統合 過去施策の効果検証 © DeNA Co., Ltd. AI/人の両方が意味を正しく把握可能に 9
10. 計算の正しさ Before：野良集計が跋扈 集計ミス 同じ指標が⼈やダッシュボードごとにバラバラに集計 データの遅延 依存関係が⾒えず、どこで⽌まったか分からない ⾼コストのクエリ ⽣データから毎回、重い集計を繰り返す After：dbtとベストプラクティス 定義を1か所に集約し、テストで逸脱を検知 martsに指標を集約∕unique‧not_null などのテスト 依存の可視化と潤沢なサポートツール 依存関係を明確にし、エラーの発⾒‧修正も容易 レイヤー分割で中間結果を再利⽤ レイヤーに分けた⾼効率集計 集計ロジックが、レビューされる「チームの資産」に © DeNA Co., Ltd. 10
11. DeNA の AI ALL IN戦略 AIに仕事を任せるには、 判断の拠り所となる2つの「正しさ」が要る。 意味の正しさ データや⽤語のコンテキスト‧メタデータを正しく定義‧解釈する 計算の正しさ 指標定義の⼀元化‧品質テストにより、ブレのない集計‧変換を⾏う https://dena.ai/vision/ © DeNA Co., Ltd. データエンジニアは、それを最前線で⽀えている。 11
12. これから：全社データ統合 事業ごとのデータ 使う側 全社データ基盤（統合） ゲーム 意味の正しさ：全社オントロジー ライブストリーミング スポーツ ヘルスケア 顧客 サービス 施策 指標 ⼈ 事業をまたいだ分析‧意思決定 ⽤語 AI 計算の正しさ：共通の指標定義‧品質 dbtのプラクティスを事業横断で 全社のデータを正しく解釈して 動く 事業ごとの「正しさ」を、全社の「正しさ」へ プロジェクト単位で作ってきた「計算」と「意味」の型を、全社に広げていく。 事業ごとに⾔葉も指標も違う中で、⼈にもAIにも通じる共通の⼟台をつくる。 ※オントロジー = 利⽤者がどの様に業務を捉えているかの意味を集積した辞書のようなもの © DeNA Co., Ltd. 12
13. まとめ：AIも⼈も、間違えないために 計算の正しさ 意味の正しさ 合理的な集計と適切なツールの運⽤で 散らばった業務の意味を統合し、 安定かつ合理的な計算を提供する ⼈にもAIにも届ける 2つの正しさをつくる。それが、⽣成AI時代のデータエンジニアの役割 © DeNA Co., Ltd. 13
14. We're Hiring! AIを支える「正しさ」を、一緒につくりませんか 【事業横断】データエンジニア - 株式会社ディー・エヌ・エー 詳細はこちらの QRから こんな環境です • 事業横断で得られる経験の幅 : ゲーム・スポーツ・ライブストリーミングなど幅広い分野 • 0→1から運用・改善までを一気通貫で : 改善だけでなく一からの立ち上げも担当 • モダンな開発環境と AI活用 : マネージドサービスやAI Agentツールなどを積極採用 • 専門家と協働するナレッジ密度 : データサイエンティスト・ MLエンジニア・アナリスト等と協働 部門紹介はこちら：https://engineering.dena.com/team/data © DeNA Co., Ltd. 14
15. © DeNA Co., Ltd. 15