Findy Data Engineering Summit 2025/11/06 mybest

Data Engineering Summit登壇資料
https://data-engineering-summit.findy-tools.io/2025

▼マイベスト
https://my-best.com/

▼マイベストのデータを嗜む会
https://note.com/njunn/m/mb2de23a25fbc

Transcript

1. 2025/11/06 Data Engineering Summit ポスト生成 AI時代における 非キラキラ企業のリアルなデータ戦略
2. ▪経歴 ヘルスケア、メディア、小売、人材、教育など多様な業界において、ビジネスデータ 活用の上流から下流まで一貫して担当。統計解析、機械学習モデルの開発、デー タ基盤の構築、諸々の運用、チームマネージメント等幅広く従事。データがあれば いい感じにする汎用型よしなにデータ人材。 マイベストのデータサイエンスチーム立ち上げにあたり、2024年8月に参画 登壇者 内藤 純 株式会社マイベスト プロダクト部 データサイエンスチーム マネージャー @njun_data @njun
3. 　　　　　　 とは？ 01
4. WHY ユーザーの課題 選択は検索で行われているが、ペインが大きい 今のインターネットは信頼できない情報やステマ等の嘘で溢れ、何かを選択するという行動がとても難しいと感じています。 2022年7月アンケート実施 検索に対して不便・不安を感じるか 20代〜60代までの男女 N = 1,000 博報堂 / Paasons Advisory「買い物における情報収集手段の利用時間シェア」 N=10,000 インターネット検索 60.6% やや感じる 52.5% どちらでもない 16.9% 専門サイト 13.2% 検索に対して 満足していないユーザー 約 73.2% 何かを選択する時に インターネットを利用するユーザー 約 60.6% SNS 7.8% やや感じない 16.6% 家族・友人・知人 7.8% 店舗・営業マン・セミナー 5.8% 全く感じない 10.1% 紙媒体 4.8% 非常に感じる 3.8% 検索を使った選択に対してのアンケート 買い物における情報収集手段の利用時間シェア 7割以上の人が検索に満足できていない 現状の”選択”は検索がメイン
5. 月間利用者 数 3,000 ユーザーの “選択”を サポートするサービス 万人以 上 （2023年7月時点）
6. いろいろなモノ・コトを徹底的に比較しています 6
7. 実際に商品を購入し、専門人材がデータベースを制作 ユーザーに正確・詳細な情報を届けるために、各領域で専門性を持った人材が社内に在籍。 実際に商品を購入し、社外の専門家や施設と協力しながら、相対比較や実測した情報に基づいたオリジナルのデータベースを制作しています。
8. 商品の検証の様子
9. 雨傘の検証。送風機を使って「耐風性」を比較 防水カメラの検証。プールを貸し切り、撮影 縦型洗濯機の検証。主要メーカー 7社の中から人気 18商品を購入して検証 ヘアアイロンの検証。全商品を担当者の自毛で検証したため、 髪がバサバサに チェーンソーの検証。片道 2時間ほどかけて、山奥にこもって検証 電子レンジの検証。実際に主婦にお願いして使い勝手などをリアルに検証 商品検証の風景 検証の様子 比較コンテンツ制作
10. データベース テスト環境も⾃社で整備 自社内に倉庫やラボ、撮影スタジオがあり、商品テスト環境を完備したオフィスになっています。検証機器は高価なものだと1つあたり購入価格で約1,000万円 するなど、商品のデータの精度を高めるべく、積極的に設備投資を行っています。 現在地
11. 自社倉庫
12. マイベストのデータ面白そうでしょ？
13. マイベストのデータ基盤の話 02
14. データベース これまでは “選択肢のデータベース ”を作ることに最注力してきました これまで私たちは最初のステップとして、検索性のある選択肢のデータベース構築に注力してきました。 現在地 高度に構造化されたデータモデル ※実際のデータより単純化したイメージです。
15. 15 検索 (SEO) ログ ・対策キーワードの順位 ・検索CTR etc. サービスDB ・商品情報 ・順位、検証スコア etc. ユーザーログ ・セッション ・クリック、CTR ・読了 etc. コンバージョンログ 主要3EC + ASPそれぞれで ・コンバージョン数、 CVR ・売上 etc. 広告出稿状況 ・Adsense or 企業広告 ・広告収益 etc. その他 ・各種予算 ・社内管理用メタデータ ・関連YouTube動画 etc. マイベストのデータ基盤 １つのコンテンツでも多様なデータが存在する
16. 5,200万 3,100万 1,700億 560万 月間ユニークユーザー数 テーブルレコード数合計 商品数 月間セッション数 ※ いずれも2024年10月時点の実績 マイベストのデータ基盤 マイベストのデータは多様かつ膨大、まさにビッグデータ
17. 17 マイベストのデータ基盤 現行アーキテクチャはシンプルに GCPで統一
18. 18 マイベストのデータ基盤 データ基盤まわりの文脈の詳細はこちらで https://speakerdeck.com/snhryt/mybest-simple-data-architecture-google-nized
19. 未来を見据えた泥臭いデータ戦略の話 03
20. 未来を見据えた泥臭いデータ戦略の話 マイベストの事業のロードマップ
21. 未来を見据えた泥臭いデータ戦略の話 事業の未来に備えて目先の分析よりも徹底的にデータ整備を優先 ①探索的分析：何があった？ - データレイク‧ELTパイプライン構築 - データ分析基盤の整備、品質強化 - データカタログの導⼊ ②診断的分析：なぜ起こった？ - 要因分析、因果推論 - 統計モデリング ③予測的分析：次どうなる？ - 各種機械学習による予測モデル構築 - MLOps基盤の構築 ④処⽅的分析：何が最適？ - リアルタイムデータ連携及び活⽤ - 数理最適化 FY24 FY25 FY26 なぜ起こった？ 次どうなる？ 何が最適？ ☝今のマイベストはこのあたり
22. 未来を見据えた泥臭いデータ戦略の話 ミッションを実現するためにデータチームが今やるべきこと データ基盤 データ品質 ビジネス価値
23. 未来を見据えた泥臭いデータ戦略の話 ①One Big Tableで人間・AIの認知負荷を減らす 👇⼀つのWideテーブルに集約 https://towardsdatascience.com/the-forgotten-guiding-role-of-data-modelling-a76f69364284/
24. 未来を見据えた泥臭いデータ戦略の話 ②分析ナレッジの集約 分析ナレッジをリポジトリに集約 AIツールによる⾃動分析の実現
25. 未来を見据えた泥臭いデータ戦略の話 ③メタデータを完全整備 2024年10月 2025年10月 👈 Point① メタデータはDataformのリ ポジトリにすべて集約管理 する方式に移行 👈 Point② CursorなどのAIツールを活 用し、ドメイン知識を元にし てすべてのメタデータを生成 メタデータ充⾜率はほぼ100%へ メタデータはリポジトリに集約
26. 未来を見据えた泥臭いデータ戦略の話 すべて共通していることは「良質な情報」を AIに見やすいところに集約 事業データ 分析インサイト メタデータ ドメイン知識 あらゆる AIツール群
27. マイベストが粛々と進める AI施策の話 04
28. マイベストが粛々と進める AI施策の話 ①最高の選択体験を実現するための AIコンシェルジュ
29. マイベストが粛々と進める AI施策の話 ②AIを活用したコンテンツ制作の自動化
30. マイベストが粛々と進める AI施策の話 ③AIを活用したリサーチ業務の自動化 商品情報取得 商品名を整形 キーワード商品検索 スクレイピング 紹介文、値段、発売日等の 商品詳細情報の生成 OpenAI API Custom Search API Scraper API OpenAI API 各ECモールAPI 調査結果を商品DBに登録 商品データの調査と構造化を⾃動化
31. マイベストが粛々と進める AI施策の話 ④AIによるアドホック分析の自動化
32. マイベストが粛々と進める AI施策の話 ⑤AIの民主化
33. まとめ
34. 全てはミッションを最短で実現するための布石 流行りに流されず粛々と AI-Readyを目指す 今日のまとめ ①マイベストはリアルな検証データも含めて膨大 ②データ基盤を整備したが活用はまだまだこれから ③データ戦略は全ては未来の AI活用のために備える
35. We are hiring ! ▼データ職種積極採⽤中！まずはカジュアル⾯談からぜひ！ ▼noteも頑張って発信しています！ 今日のまとめ