データプロダクトとは何か

2023/9/26に開催された「Data Analyst Career Study #3」の登壇資料です。
https://tech-track.connpass.com/event/294384/

■ スライド中のリンク一覧

Data as a product vs data products. What are the differences? - towards data science
https://towardsdatascience.com/data-as-a-product-vs-data-products-what-are-the-differences-b43ddbb0f123

Designing Data Products - towards data science
https://towardsdatascience.com/designing-data-products-b6b93edf3d23

ネットスーパーの要!? あなたの知らない「商品マスタ」の世界 - 10X blog
https://10x.co.jp/blog/10xblog/item_master/

10Xのネットスーパーデータプロダクトとは何か (@tenjimn) - 界隈.chat
https://kaiwai.chat/episode/3

デジ庁のデータプロダクトマネージャー募集ページ - デジタル庁
https://herp.careers/v1/digitalsaiyo/1shh22jHR-Sc

データプロダクトマネージャーとは？ - Speaker Deck
https://speakerdeck.com/satoshihirose/detapurodakutomaneziyatoha

マネジャーとは「管理する人」ではなく「なんとかする人」 今の時代のマネジメントに必要なたった3つの要素 - logmi
https://logmi.jp/business/articles/329145

受託分析での8年を振り返って - ysdyt.hatenablog
https://ysdyt.hatenablog.jp/entry/lookback_8y_bp

10X カジュアル面談ページ
https://open.talentio.com/r/1/c/10x/pages/72019

10X 現在の募集職種一覧
https://open.talentio.com/r/1/c/10x/homes/3786

Transcript

1. ©2023 10X, Inc.
   データプロダクトとは何か
   （ネットスーパー立ち上げ事業を例に）
   Data Analyst Career Study #3
   2023/9/26
   

   View Slide

2. ©2023 10X, Inc.
   自己紹介
   2
   吉田 勇太（@yutatatatata）
   株式会社10X/データプロダクトマネージャー
   趣味はPodcast（界隈.chat, 白金鉱業.fm）
   キャリア：
   大学院（バイオインフォマティクス・遺伝子解析）
   ｰ> ブレインパッド データサイエンティスト（新卒から8年）
   ｰ> 現職（6ヶ月目）
   

   View Slide

3. ©2023 10X, Inc.
   今日の話
   いただいたテーマ
   - 「データプロダクトマネージャー」をキャリアの選択肢の一つにするきっかけとなる話
   - データプロダクトマネージャーの役割。データアナリストやデータエンジニアと何が違うか
   - 10X社の具体事例
   話すこと
   - 「データプロダクト」とは何か
   - 10Xのデータプロダクトについて
   - 「データプロダクトマネージャー」の仕事
   - キャリア話ちょっと
   話さないこと
   - データマネジメント/dbt/データ基盤 ← @takimoさんをフォローしてください！！
   

   View Slide

4. ©10X, Inc. All Rights Reserved. 4
   お客様アプリ
   提供プロダクト
   AIによる推薦や高精度の検索により数万点の
   SKUからスムーズに買い物ができる UX
   主な機能
   • 数万SKUから商品からスムーズにカゴを作成
   • キーワード・カテゴリ検索・お気に入り・注文変更・購入履
   歴といった基本機能
   • 商品の受け取り方法を選択
   • 注文状況・配達状況の確認や通知
   • Web(オプションにて提供)
   

   View Slide

5. ©10X, Inc. All Rights Reserved. 5
   お客様アプリ
   提供プロダクト
   AIによる推薦や高精度の検索により数万点の
   SKUからスムーズに買い物ができる UX
   主な機能
   • 数万SKUから商品からスムーズにカゴを作成
   • キーワード・カテゴリ検索・お気に入り・注文変更・購入履
   歴といった基本機能
   • 商品の受け取り方法を選択
   • 注文状況・配達状況の確認や通知
   • Web(オプションにて提供)
   UIが天才なので騙されたと思って
   使ってみて！！！！
   （一ファンの声）
   

   View Slide

6. ©2023 10X, Inc.
   10Xが支援する小売企業は全国に広がる
   6
   お近くにお店が
   あれば是非！
   

   View Slide

7. ©2023 10X, Inc.
   10Xのビジネスモデル超概要
   - ネットスーパー/ネットドラッグストアの 売上のうちの数%をいただく売上連動モデル
   - パートナーの売上が増えるほど 10Xも儲かる！
   - パートナーと10Xの両者のインセンティブが一致している ← 僕が好きなところ
   - アプリ構築で終わらず、売上を伸ばすための分析や施策立案も行う伴走型ビジネス
   パートナーの売上
   10Xの収益
   

   View Slide

8. ©2023 10X, Inc. 8
   introduction
   データプロダクトとは
   

   View Slide

9. ©2023 10X, Inc.
   データプロダクト とは？
   @dpatil
   former United States Chief Data Scientist
   8.2万 follower
   “a product that facilitates an end goal through the use of data”
   データの利用によって最終目標を促進するプロダクト
   著書『Data Jujitsu: The Art of Turning Data into Product』 （2012年） より
   “
   

   View Slide

10. ©2023 10X, Inc.
    🤔🤔🤔
    

    View Slide

11. ©2023 10X, Inc.
    データプロダクトは広い概念
    https://towardsdatascience.com/data-as-a-product-vs-data-products-what-are-the-differences-b43ddbb0f123
    あらゆるデジタル製品や機能が、
    ある目的を達成するためにデータを使用 していれば、
    「データプロダクト」とみなすことができる。
    “
    

    View Slide

12. ©2023 10X, Inc.
    データを使っているサービスは
    全部データプロダクトなのか？
    🤔🤔🤔
    

    View Slide

13. ©2023 10X, Inc.
    https://towardsdatascience.com/designing-data-products-b6b93edf3d23
    I would add an important distinction here; the
    distinction between products that use data to
    facilitate an end goal and products whose primary
    objective is to use data to facilitate an end goal.
    データを使って最終的な目標を達成する製品 と、
    データを使って最終的な目標を達成することを
    第一の目的とする製品の違いである。
    “
    

    View Slide

14. ©2023 10X, Inc.
    データプロダクトの5つのタイプ
    https://towardsdatascience.com/designing-data-products-b6b93edf3d23
    

    View Slide

15. ©2023 10X, Inc.
    データプロダクトの5つのタイプ
    人間の
    考える
    コスト
    小
    大
    データプロダクトは広い概念なので具体事例と接し方も多様である
    データプロダクト 例
    データを使って最終的な目標を達成することを
    第一の目的とする製品
    人間とのインターフェース
    生データ
    派生データ
    アルゴリズム
    意思決定の支援
    意思決定の自動化
    データウェアハウス
    ビジネスの主要KPIを視覚化する
    企業ダッシュボード
    自動運転
    SQL
    可視化 Visualization
    車
    「Data as a Product vs data products. What are the differences?」の内容を図示 , 発表者が一部加筆
    

    View Slide

16. ©2023 10X, Inc.
    データプロダクトのポジションマップ
    「Designing Data Products」の内容を図示 , 発表者が一部加筆
    生データ 派生データ アルゴリズム 意思決定の支援 意思決定の自動化
    API・
    コーディング
    ダッシュボード・
    可視化
    webアプリなど
    デバイス・
    ハードウェア
    インター
    フェースの
    フレンドリー
    さ
    易
    難
    人間の考えるコスト
    小
    大
    オープンデータ
    データウェアハウス
    企業ダッシュボード
    レコメンド
    カーナビなど
    レコメンド・
    カーナビなど
    DeepL翻訳
    ML駆動
    検品システム
    ML駆動
    検品システム
    ML駆動
    癌検知画像システム
    ML駆動
    癌検知画像システム
    自動運転・
    石油プラントの最適運
    転システム
    

    View Slide

17. ©2023 10X, Inc.
    データプロダクトのポジションマップ
    生データ 派生データ アルゴリズム 意思決定の支援 意思決定の自動化
    API・
    コーディング
    ダッシュボード・
    可視化
    webアプリなど
    デバイス・
    ハードウェア
    インター
    フェースの
    フレンドリー
    さ
    易
    難
    人間の考えるコスト
    小
    大
    オープンデータ
    データウェアハウス
    企業ダッシュボード
    レコメンド
    カーナビなど
    レコメンド
    カーナビなど
    DeepL翻訳
    ML駆動
    検品システム
    ML駆動
    検品システム
    ML駆動
    癌検知画像システム
    ML駆動
    癌検知画像システム
    自動運転
    石油プラントの最適運
    転システム
    ソフトウェアビジネス化
    AIビジネス化
    「Designing Data Products」の内容を図示 , 発表者が一部加筆
    

    View Slide

18. ©2023 10X, Inc. 18
    10Xのデータプロダクトとは
    

    View Slide

19. ©2023 10X, Inc.
    10Xにおける「データプロダクト」の超概要
    データ処理 by
    パートナー個社データ
    （input）
    売り場データ
    （output）
    ユーザー
    Stailer App
    （Dart）
    アプリに載せる
    ・
    ・
    ・
    A社
    基幹データ
    X社
    基幹データ
    A社
    売り場データ
    X社
    売り場データ
    Data Product
    （BigQuery with dbt）
    X社の
    ネットスーパーアプリ
    

    View Slide

20. ©2023 10X, Inc.
    10Xにおける「データプロダクト」の超概要
    データ処理 by
    パートナー個社データ
    （input）
    売り場データ
    （output）
    ユーザー
    Stailer App
    （Dart）
    アプリに載せる
    ・
    ・
    ・
    A社
    基幹データ
    X社
    基幹データ
    A社
    売り場データ
    X社
    売り場データ
    Data Product
    （BigQuery with dbt）
    X社の
    ネットスーパーアプリ
    ①
    商品・在庫数等のデータを受領して
    

    View Slide

21. ©2023 10X, Inc.
    10Xにおける「データプロダクト」の超概要
    データ処理 by
    パートナー個社データ
    （input）
    売り場データ
    （output）
    ユーザー
    Stailer App
    （Dart）
    アプリに載せる
    ・
    ・
    ・
    A社
    基幹データ
    X社
    基幹データ
    A社
    売り場データ
    X社
    売り場データ
    Data Product
    （BigQuery with dbt）
    X社の
    ネットスーパーアプリ
    ①
    商品・在庫数等のデータを受領して
    ②
    dbtで整理・変形・計算
    

    View Slide

22. ©2023 10X, Inc.
    10Xにおける「データプロダクト」の超概要
    データ処理 by
    パートナー個社データ
    （input）
    売り場データ
    （output）
    ユーザー
    Stailer App
    （Dart）
    アプリに載せる
    ・
    ・
    ・
    A社
    基幹データ
    X社
    基幹データ
    A社
    売り場データ
    X社
    売り場データ
    Data Product
    （BigQuery with dbt）
    X社の
    ネットスーパーアプリ
    ①
    商品・在庫数等のデータを受領して
    ②
    dbtで整理・変形・計算
    ③
    整理された売り場データを出力
    

    View Slide

23. ©2023 10X, Inc.
    売り場データ（商品マスタ）とは
    23
    参考資料:
    - ネットスーパーの要
    !? あなたの知らない「商品マスタ」の世界
    - 10Xブログ
    - 10Xのネットスーパーデータプロダクトとは何か
    - 界隈.chat
    商品カテゴリー
    セールス種類
    商品画像
    商品名
    金額（税率）
    当該店舗の
    在庫有無
    商品説明文
    簡単にいうと、
    どの商品が、いつ、どの店舗に、何個在庫があるか
    を日単位で整理されたデータ郡
    これをdbtで全パートナー、全店舗、全商品で、
    毎日計算している
    1店舗だけで数万種類の商品！
    

    View Slide

24. ©2023 10X, Inc.
    10Xにおける「データプロダクト」の超概要
    データ処理 by
    パートナー個社データ
    （input）
    売り場データ
    （output）
    ユーザー
    Stailer App
    （Dart）
    アプリに載せる
    ・
    ・
    ・
    A社
    基幹データ
    X社
    基幹データ
    A社
    売り場データ
    X社
    売り場データ
    Data Product
    （BigQuery with dbt）
    X社の
    ネットスーパーアプリ
    ①
    商品・在庫数等のデータを受領して
    ②
    dbtで整理・変形・計算
    ③
    整理された売り場データを出力
    ④
    データをアプリに載せる
    

    View Slide

25. ©2023 10X, Inc.
    商品マスタはネット上の「売り場」そのもの
    ネット
    店舗売り場での創意工夫で魅力的な購買体験をお届け
    売場業務を再現するために必要なデータ整理を行うこと・柔軟性を持つことが重要
    商品マスタ
    任意の特集やセールも
    実施できるようにする
    リアル
    店舗
    

    View Slide

26. ©2023 10X, Inc.
    データを使って最終的な目標を
    達成することを第一の目的とする製品
    商品マスタ
    売り場を再現し、
    魅力的な購買体験を作る
    This is Data Product！！！
    https://towardsdatascience.com/designing-data-products-b6b93edf3d23
    

    View Slide

27. ©2023 10X, Inc.
    10Xのデータプロダクトの現在地はたぶんこのへん
    生データ 派生データ アルゴリズム 意思決定の支援 意思決定の自動化
    API・
    コーディング
    ダッシュボード・
    可視化
    webアプリなど
    デバイス・
    ハードウェア
    インター
    フェースの
    フレンドリー
    さ
    易
    難
    人間の考えるコスト
    小
    大
    オープンデータ
    データウェアハウス
    企業ダッシュボード
    レコメンド
    カーナビなど
    レコメンド・
    カーナビ
    DeepL翻訳
    ML駆動
    検品システム
    ML駆動
    検品システム
    ML駆動
    癌検知画像システム
    ML駆動
    癌検知画像システム
    自動運転・
    石油プラントの最適運
    転システム
    10Xのデータプロダクト
    dbtによるスケーラブルな
    データ処理パイプライン
    いろいろ頑張り中
    「Designing Data Products」の内容を図示 , 発表者が一部加筆
    

    View Slide

28. ©2023 10X, Inc.
    商品マスタはネット上の「売り場」そのもの。故に難しい
    （toB目線）
    商品マスタ = 売り場そのもの なので、
    現場から細かく指摘が入る。
    売上にも直結するためデータ品質が
    非常にシビア
    （toC目線）
    商品マスタ情報の多さ = 売り場の充実度
    （商品の多さ、欠品具合）となり、
    ユーザー体験に大きく影響する。
    売り場データ（商品マスタ）
    to Business
    to Consumer
    

    View Slide

29. ©2023 10X, Inc. 29
    データプロダクトマネージャーとは
    どんなことをしているか
    

    View Slide

30. ©2023 10X, Inc.
    日本でもホットなポジションになりつつある
    https://herp.careers/v1/digitalsaiyo/1shh22jHR-Sc （2023/9/26時点）
    デジ庁でも募集中！
    （民間企業でもまだ募集をあまり見ない）
    

    View Slide

31. ©2023 10X, Inc.
    データプロダクトマネージャーとは
    Data Product Manager / データプロダクトマネジャー？ - Data Engineering Study Vol.17
    

    View Slide

32. ©2023 10X, Inc. https://logmi.jp/business/articles/329145
    データ処理 by
    パートナー個社データ
    （input）
    売り場データ
    （output）
    ユーザー
    アプリに載せる
    ・
    ・
    ・
    A社
    基幹データ
    X社
    基幹データ
    A社
    売り場データ
    X社
    売り場データ
    Data Product
    X社の
    ネットスーパーアプリ
    データプロダクトマネージャーとは
    これを「なんとかする人」
    

    View Slide

33. ©2023 10X, Inc.
    データ処理 by
    パートナー個社データ
    （input）
    売り場データ
    （output）
    ユーザー
    アプリに載せる
    ・
    ・
    ・
    A社
    基幹データ
    X社
    基幹データ
    A社
    売り場データ
    X社
    売り場データ
    Data Product
    X社の
    ネットスーパーアプリ
    「なんとかしないといけない」大変なこと
    

    View Slide

34. ©2023 10X, Inc.
    データ処理 by
    パートナー個社データ
    （input）
    売り場データ
    （output）
    ユーザー
    アプリに載せる
    ・
    ・
    ・
    A社
    基幹データ
    X社
    基幹データ
    A社
    売り場データ
    X社
    売り場データ
    X社の
    ネットスーパーアプリ
    「なんとかしないといけない」大変なこと①
    ①処理の共通化が難しい
    - 自動化と効率化のカナメ、つまりビジネススケールのキモ
    - しかし想像を超える各社のデータのバラツキ
    - 「仕様なので出来ません」と「特別に実装します」のせめぎ合い。プラットフォーマーの苦悩。実装コストとビジネ
    スインパクトの兼ね合い
    - 技術だけでは突破できない要件にどう落とし所をつけるか
    

    View Slide

35. ©2023 10X, Inc.
    データ処理 by
    パートナー個社データ
    （input）
    売り場データ
    （output）
    ユーザー
    アプリに載せる
    ・
    ・
    ・
    A社
    基幹データ
    X社
    基幹データ
    A社
    売り場データ
    X社
    売り場データ
    X社の
    ネットスーパーアプリ
    「なんとかしないといけない」大変なこと②
    ②商品マスタのデータ品質
    の担保が難しい
    - データ処理基盤のアウトプット品質がアプリ評価に直結する。データ品質がシビアに問われる。
    - 一方、受領データが個社でバラバラ + 個社独自ロジック → データ品質の崩壊脅威
    - データプロダクトの頭痛の種。何をクリアしたら「品質が守られている」といえるか？
    - 膨大なデータに対し”期待挙動”をビジネス的にも厳密に定義できるか？
    

    View Slide

36. ©2023 10X, Inc.
    データプロダクトの　旅は続くよ　どこまでも
    https://10x.co.jp/recruit/
    TASUKETE
    

    View Slide

37. ©2023 10X, Inc. 37
    スキルやキャリアの話
    おまけ
    

    View Slide

38. ©2023 10X, Inc.
    受託分析データサイエンティスト時代のよしだ（テキトーです）
    ①PM/PdM
    project/productの全般に責任を持つ。
    ②データアナリスト
    ビジネスとデータを繋ぎ、意思決定に
    コミットする人
    ③データサイエンティスト
    統計学などを駆使して分析を行う人
    ④データエンジニア
    データウェアハウス、基盤を作り運用する人
    ⑤アナリティクスエンジニア
    分析にすぐ使えるデータやその環
    境を作成する人
    ⑥機械学習エンジニア
    MLを駆使してプロダクトに
    非線形な発展を加える人
    ※受託分析なので担当した案件, 個人の能力にも大きく依存。話半分で。
    謎の俺々職能チャート（独断と偏見により作成）
    前職で使っていたスキル - どの肩書に近いか
    

    View Slide

39. ©2023 10X, Inc.
    受託分析データサイエンティスト時代のよしだ（テキトーです）
    謎の俺々職能チャート（独断と偏見により作成）
    ②データアナリスト
    ビジネスとデータを繋ぎ、意思決定に
    コミットする人
    ③データサイエンティスト
    統計学などを駆使して分析を行う人
    ④データエンジニア
    データウェアハウス、基盤を作り運用する人
    ⑥機械学習エンジニア
    MLを駆使してプロダクトに
    非線形な発展を加える人
    ここのスキルもっと伸ばしたいな
    （今後ニーズ増えるだろうな しらんけど
    ）
    受託分析時代の最後に感じていたこと
    上流データのガバナンス・質が
    後続の分析タスクの全てに影響する
    「分析PoC以上」を作れなかった
    無念さ
    ①PM/PdM
    project/productの全般に責任を持つ。
    ⑤アナリティクスエンジニア
    分析にすぐ使えるデータやその環
    境を作成する人
    

    View Slide

40. ©2023 10X, Inc.
    10X DPMとして必要だなと感じているスキル
    ②データアナリスト
    ビジネスとデータを繋ぎ、意思決定に
    コミットする人
    ③データサイエンティスト
    統計学などを駆使して分析を行う人
    ④データエンジニア
    データウェアハウス、基盤を作り運用する人
    ⑥機械学習エンジニア
    MLを駆使してプロダクトに
    非線形な発展を加える人
    他チームに専門メンバー有り 他チームに専門メンバー有り
    ①PM/PdM
    project/productの全般に責任を持つ。
    ⑤アナリティクスエンジニア
    分析にすぐ使えるデータやその環
    境を作成する人
    謎の俺々職能チャート（独断と偏見により作成）
    ※個人の意見です。
    

    View Slide

41. ©2023 10X, Inc.
    分析をしてた人が基盤側（エンジニアリング側）に行く大変さ
    “システム開発” のお作法へのキャッチアップ
    - git管理・エラー通知・テスト・品質・アジャイル開発・障害対応ど
    うするか ...等
    「作ったデータが負債になる」という怖さ
    - 良くも悪くも”システム”として動き続ける
    - 希望通り「PoC以上」をやれているが今度は逆の苦悩が...
    システムへの問い合わせが多い
    - 分析してたころの比じゃない
    - 対応への優先度付け
    - 開発のペースを保つための組織運営, タスク融通の仕組み
    ギャップがデカい...
    いろいろ挑戦中です
    

    View Slide

42. ©2023 10X, Inc.
    まとめ
    10Xの「データプロダクト」とは
    - inputが各パートナーの基幹データ , outputが各パートナーの売り場データとなるデータ処理
    パイプライン（by dbt）のこと
    - 各社のバラバラなデータに対して共通処理を実現し、処理の自動化 /スケールすることがキモ
    - データプロダクトの生成物 = 商品マスタ のデータ品質がCからもBからも厳しく問われる
    10Xの「データプロダクトマネージャー」とは
    - データ特化型のPMの一種であり、データプロダクトを ”なんとかする” 人
    - データプロダクト特有のデータマネジメントへの理解も必要
    - ビジネスとエンジニアリングの両面から総合的に判断することが多い
    

    View Slide

43. ©10X, Inc. All Rights Reserved.
    XのDMも歓迎！
    

    View Slide