データプロダクトとは何か

by 10xinc

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

©2023 10X, Inc. 今日の話いただいたテーマ - 「データプロダクトマネージャー」をキャリアの選択肢の一つにするきっかけとなる話 - データプロダクトマネージャーの役割。データアナリストやデータエンジニアと何が違うか - 10X社の具体事例話すこと - 「データプロダクト」とは何か - 10Xのデータプロダクトについて - 「データプロダクトマネージャー」の仕事 - キャリア話ちょっと話さないこと - データマネジメント/dbt/データ基盤 ← @takimoさんをフォローしてください！！

Slide 4

Slide 4 text

©10X, Inc. All Rights Reserved. 4 お客様アプリ提供プロダクト AIによる推薦や高精度の検索により数万点の SKUからスムーズに買い物ができる UX 主な機能 • 数万SKUから商品からスムーズにカゴを作成 • キーワード・カテゴリ検索・お気に入り・注文変更・購入履歴といった基本機能 • 商品の受け取り方法を選択 • 注文状況・配達状況の確認や通知 • Web(オプションにて提供)

Slide 5

Slide 5 text

©10X, Inc. All Rights Reserved. 5 お客様アプリ提供プロダクト AIによる推薦や高精度の検索により数万点の SKUからスムーズに買い物ができる UX 主な機能 • 数万SKUから商品からスムーズにカゴを作成 • キーワード・カテゴリ検索・お気に入り・注文変更・購入履歴といった基本機能 • 商品の受け取り方法を選択 • 注文状況・配達状況の確認や通知 • Web(オプションにて提供) UIが天才なので騙されたと思って使ってみて！！！！（一ファンの声）

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©2023 10X, Inc. データプロダクトとは？ @dpatil former United States Chief Data Scientist 8.2万 follower “a product that facilitates an end goal through the use of data” データの利用によって最終目標を促進するプロダクト著書『Data Jujitsu: The Art of Turning Data into Product』（2012年）より “

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

©2023 10X, Inc. https://towardsdatascience.com/designing-data-products-b6b93edf3d23 I would add an important distinction here; the distinction between products that use data to facilitate an end goal and products whose primary objective is to use data to facilitate an end goal. データを使って最終的な目標を達成する製品と、データを使って最終的な目標を達成することを第一の目的とする製品の違いである。 “

Slide 14

Slide 14 text

Slide 15

Slide 15 text

©2023 10X, Inc. データプロダクトの5つのタイプ人間の考えるコスト小大データプロダクトは広い概念なので具体事例と接し方も多様であるデータプロダクト例データを使って最終的な目標を達成することを第一の目的とする製品人間とのインターフェース生データ派生データアルゴリズム意思決定の支援意思決定の自動化データウェアハウスビジネスの主要KPIを視覚化する企業ダッシュボード自動運転 SQL 可視化 Visualization 車「Data as a Product vs data products. What are the differences?」の内容を図示 , 発表者が一部加筆

Slide 16

Slide 16 text

©2023 10X, Inc. データプロダクトのポジションマップ「Designing Data Products」の内容を図示 , 発表者が一部加筆生データ派生データアルゴリズム意思決定の支援意思決定の自動化 API・コーディングダッシュボード・可視化 webアプリなどデバイス・ハードウェアインターフェースのフレンドリーさ易難人間の考えるコスト小大オープンデータデータウェアハウス企業ダッシュボードレコメンドカーナビなどレコメンド・カーナビなど DeepL翻訳 ML駆動検品システム ML駆動検品システム ML駆動癌検知画像システム ML駆動癌検知画像システム自動運転・石油プラントの最適運転システム

Slide 17

Slide 17 text

©2023 10X, Inc. データプロダクトのポジションマップ生データ派生データアルゴリズム意思決定の支援意思決定の自動化 API・コーディングダッシュボード・可視化 webアプリなどデバイス・ハードウェアインターフェースのフレンドリーさ易難人間の考えるコスト小大オープンデータデータウェアハウス企業ダッシュボードレコメンドカーナビなどレコメンドカーナビなど DeepL翻訳 ML駆動検品システム ML駆動検品システム ML駆動癌検知画像システム ML駆動癌検知画像システム自動運転石油プラントの最適運転システムソフトウェアビジネス化 AIビジネス化「Designing Data Products」の内容を図示 , 発表者が一部加筆

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

©2023 10X, Inc. 10Xにおける「データプロダクト」の超概要データ処理 by パートナー個社データ（input）売り場データ（output）ユーザー Stailer App （Dart）アプリに載せる・・・ A社基幹データ X社基幹データ A社売り場データ X社売り場データ Data Product （BigQuery with dbt） X社のネットスーパーアプリ ① 商品・在庫数等のデータを受領して

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

©2023 10X, Inc. 売り場データ（商品マスタ）とは 23 参考資料: - ネットスーパーの要 !? あなたの知らない「商品マスタ」の世界 - 10Xブログ - 10Xのネットスーパーデータプロダクトとは何か - 界隈.chat 商品カテゴリーセールス種類商品画像商品名金額（税率）当該店舗の在庫有無商品説明文簡単にいうと、どの商品が、いつ、どの店舗に、何個在庫があるかを日単位で整理されたデータ郡これをdbtで全パートナー、全店舗、全商品で、毎日計算している 1店舗だけで数万種類の商品！

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

©2023 10X, Inc. 10Xのデータプロダクトの現在地はたぶんこのへん生データ派生データアルゴリズム意思決定の支援意思決定の自動化 API・コーディングダッシュボード・可視化 webアプリなどデバイス・ハードウェアインターフェースのフレンドリーさ易難人間の考えるコスト小大オープンデータデータウェアハウス企業ダッシュボードレコメンドカーナビなどレコメンド・カーナビ DeepL翻訳 ML駆動検品システム ML駆動検品システム ML駆動癌検知画像システム ML駆動癌検知画像システム自動運転・石油プラントの最適運転システム 10Xのデータプロダクト dbtによるスケーラブルなデータ処理パイプラインいろいろ頑張り中「Designing Data Products」の内容を図示 , 発表者が一部加筆

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

©2023 10X, Inc. https://logmi.jp/business/articles/329145 データ処理 by パートナー個社データ（input）売り場データ（output）ユーザーアプリに載せる・・・ A社基幹データ X社基幹データ A社売り場データ X社売り場データ Data Product X社のネットスーパーアプリデータプロダクトマネージャーとはこれを「なんとかする人」

Slide 33

Slide 33 text

Slide 34

Slide 34 text

©2023 10X, Inc. データ処理 by パートナー個社データ（input）売り場データ（output）ユーザーアプリに載せる・・・ A社基幹データ X社基幹データ A社売り場データ X社売り場データ X社のネットスーパーアプリ「なんとかしないといけない」大変なこと① ①処理の共通化が難しい - 自動化と効率化のカナメ、つまりビジネススケールのキモ - しかし想像を超える各社のデータのバラツキ - 「仕様なので出来ません」と「特別に実装します」のせめぎ合い。プラットフォーマーの苦悩。実装コストとビジネスインパクトの兼ね合い - 技術だけでは突破できない要件にどう落とし所をつけるか

Slide 35

Slide 35 text

©2023 10X, Inc. データ処理 by パートナー個社データ（input）売り場データ（output）ユーザーアプリに載せる・・・ A社基幹データ X社基幹データ A社売り場データ X社売り場データ X社のネットスーパーアプリ「なんとかしないといけない」大変なこと② ②商品マスタのデータ品質の担保が難しい - データ処理基盤のアウトプット品質がアプリ評価に直結する。データ品質がシビアに問われる。 - 一方、受領データが個社でバラバラ + 個社独自ロジック → データ品質の崩壊脅威 - データプロダクトの頭痛の種。何をクリアしたら「品質が守られている」といえるか？ - 膨大なデータに対し”期待挙動”をビジネス的にも厳密に定義できるか？

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

©2023 10X, Inc. 受託分析データサイエンティスト時代のよしだ（テキトーです） ①PM/PdM project/productの全般に責任を持つ。 ②データアナリストビジネスとデータを繋ぎ、意思決定にコミットする人 ③データサイエンティスト統計学などを駆使して分析を行う人 ④データエンジニアデータウェアハウス、基盤を作り運用する人 ⑤アナリティクスエンジニア分析にすぐ使えるデータやその環境を作成する人 ⑥機械学習エンジニア MLを駆使してプロダクトに非線形な発展を加える人 ※受託分析なので担当した案件, 個人の能力にも大きく依存。話半分で。謎の俺々職能チャート（独断と偏見により作成）前職で使っていたスキル - どの肩書に近いか

Slide 39

Slide 39 text

©2023 10X, Inc. 受託分析データサイエンティスト時代のよしだ（テキトーです）謎の俺々職能チャート（独断と偏見により作成） ②データアナリストビジネスとデータを繋ぎ、意思決定にコミットする人 ③データサイエンティスト統計学などを駆使して分析を行う人 ④データエンジニアデータウェアハウス、基盤を作り運用する人 ⑥機械学習エンジニア MLを駆使してプロダクトに非線形な発展を加える人ここのスキルもっと伸ばしたいな（今後ニーズ増えるだろうなしらんけど）受託分析時代の最後に感じていたこと上流データのガバナンス・質が後続の分析タスクの全てに影響する「分析PoC以上」を作れなかった無念さ ①PM/PdM project/productの全般に責任を持つ。 ⑤アナリティクスエンジニア分析にすぐ使えるデータやその環境を作成する人

Slide 40

Slide 40 text

©2023 10X, Inc. 10X DPMとして必要だなと感じているスキル ②データアナリストビジネスとデータを繋ぎ、意思決定にコミットする人 ③データサイエンティスト統計学などを駆使して分析を行う人 ④データエンジニアデータウェアハウス、基盤を作り運用する人 ⑥機械学習エンジニア MLを駆使してプロダクトに非線形な発展を加える人他チームに専門メンバー有り他チームに専門メンバー有り ①PM/PdM project/productの全般に責任を持つ。 ⑤アナリティクスエンジニア分析にすぐ使えるデータやその環境を作成する人謎の俺々職能チャート（独断と偏見により作成） ※個人の意見です。

Slide 41

Slide 41 text

©2023 10X, Inc. 分析をしてた人が基盤側（エンジニアリング側）に行く大変さ “システム開発” のお作法へのキャッチアップ - git管理・エラー通知・テスト・品質・アジャイル開発・障害対応どうするか ...等「作ったデータが負債になる」という怖さ - 良くも悪くも”システム”として動き続ける - 希望通り「PoC以上」をやれているが今度は逆の苦悩が... システムへの問い合わせが多い - 分析してたころの比じゃない - 対応への優先度付け - 開発のペースを保つための組織運営, タスク融通の仕組みギャップがデカい... いろいろ挑戦中です

Slide 42

Slide 42 text

©2023 10X, Inc. まとめ 10Xの「データプロダクト」とは - inputが各パートナーの基幹データ , outputが各パートナーの売り場データとなるデータ処理パイプライン（by dbt）のこと - 各社のバラバラなデータに対して共通処理を実現し、処理の自動化 /スケールすることがキモ - データプロダクトの生成物 = 商品マスタのデータ品質がCからもBからも厳しく問われる 10Xの「データプロダクトマネージャー」とは - データ特化型のPMの一種であり、データプロダクトを ”なんとかする” 人 - データプロダクト特有のデータマネジメントへの理解も必要 - ビジネスとエンジニアリングの両面から総合的に判断することが多い