XP に取り組むデータサイエンティストが思うこと

Transcript

1. XP に取り組む データサイエンティストが思うこと 2023/03/28 田中 賢治
2. 自己紹介 田中 賢治 • 2021/03 Uzabase 入社（3社目） • データサイエンスを始めたきっかけ： 2社目で悪質コメント分類のプロジェクト を担当した時。それまでは Rails でバック エンドの開発をやってました。 • 趣味： 大学（UEC夜間在学中） • 最近ハマっていること： 大量の鶏皮から鶏油を抽出すること 2
3. 3 初めての技術イベント登壇です。 暖かい目で見ていただけると嬉しいです。
4. この発表で伝えたいこと 4
5. データサイエンティストに対しても XP はいいぞ！ 5
6. データサイエンティストのつらみ 6
7. 1. PoC死 2. データを集めるのが大変 3. プロダクトへの組み込みが大変 4. … データサイエンティストのつらみ 7
8. 1. PoC死 2. データを集めるのが大変 3. プロダクトへの組み込みが大変 4. … データサイエンティストのつらみ 8 XP で解消される 話をします
9. 1. PoC死 9
10. 1. PoC死 10 中島 洋一 . “AI導入の失敗あるある、「 PoC死」の罠とは。” . NewsPicks . 2020/01/14 . https://newspicks.com/news/4494535/body/ “例えばよくあるのが「とりあえず作ってみよう。PoCの精度は 高ければ高いほどいいね！」とゴールが曖昧なままスタートす ることがあります。これでは、機械学習エンジニアとプラン ナー、マネージャーとで認識が違った状態でプロジェクトが進 んでしまいます。そしてPoCを作った後に、こうした認識の違い が明らかになり、炎上に近い「PoC死」を招くのです。”
11. 1. PoC死 11 ゴールが曖昧なまま スタート ↓ 認識が違った状態で プロジェクトが進む ↓ PoC実装後に認識の違いが 明らかになり炎上
12. 1. PoC死 12 XP があると なぜ「PoC死」しない？？
13. 1. PoC死 13 ストーリー 週次サイクル
14. 1. PoC死 14 ゴールが曖昧なまま スタート ↓ 認識が違った状態で プロジェクトが進む ↓ PoC実装後に認識の違いが 明らかになり炎上 XP があると... 「ストーリー」でユーザーの価値 を明文化 ↓ 「週次サイクル」でゴールの認識 が揃った状態を保つ ↓ 「PoC死」しない
15. プロダクトマネー ジャーは mecab-ipadic-NEolo gd を辞書に指定した 業界推定モデルを訓 練した時のスコアを 知っている。 1. PoC死 15 ストーリー ＝ ユーザーの価値を明文化したチケットのようなもの→ ビジ ネスサイドにも伝わる ユーザーは SPEEDA で企業情 報に新語を多く含む 企業に正しく業界が 紐づいていることを確 認できる。 実験のストーリーの例 実装のストーリーの例 NEologd を辞書にして実験 新語を扱うモデルになってる か確認 →
16. 1. PoC死 16 週次サイクル → ゴールに向かってフィードバックサイクルを回す 実験 評価 フィードバック 実装 良い精度が出たら … … … … 施策のたびに実験のストーリーを書く ストーリー書く
17. 1. PoC死 17 フィードバックサイクルを回して ユーザーに価値を届ける！
18. 2. データを集めるのが大変 18
19. 2. データを集めるのが大変 19 • データの居場所がわからない • アクセス権限をもらうための社内調整が大変 → チーム間連携の壁に阻まれる
20. 2. データを集めるのが大変 XP はどうやって チーム間連携の壁を 超えているのか？？ 20
21. 全員同席 2. データを集めるのが大変 21
22. 2. データを集めるのが大変 22 Product Team ソフトウェアエンジニア（ SwE） データサイエンティスト（ DS） サイトリライアビリティエンジニア（ SRE） テストエンジニア（TE） → Gather （リモートオフィス）に全員同席
24. 24 SRE SwE + TE DS SwE + TE SwE + TE SwE + TE
25. わからないことは サクッと聞いて サクッと解決！ → XP のバリューを共有しているからこそできること 2. データを集めるのが大変 25
26. 2. データを集めるのが大変 26 XP のバリュー 1. コミュニケーション 2. シンプリシティ 3. フィードバック 4. 勇気 5. リスペクト
27. 3. プロダクトへの組み込みが大変 27
28. 3. プロダクトへの組み込みが大変 28 • プロダクトによってインフラが違う • プロダクトによって言語が違う → スキルの壁に阻まれる
29. 3. プロダクトへの組み込みが大変 29 XP はどうやって スキルの壁を 超えているのか？？
30. 3. プロダクトへの組み込みが大変 30 ペアプロ
31. 3. プロダクトへの組み込みが大変 31 Product Team XP ソフトウェアエンジニア（ SwE） データサイエンティスト（ DS） サイトリライアビリティエンジニア（ SRE） テストエンジニア（TE）
32. 3. プロダクトへの組み込みが大変 32 Product Team XP ソフトウェアエンジニア（ SwE） テストエンジニア（TE） データサイエンティスト（ DS） サイトリライアビリティエンジニア（ SRE） 「バリュー」「原則」「プラクティス」 の共有 • 常時ペアプロ • 常時 TDD • トランクベース開発 • 継続的デリバリー • ストーリー • 週次サイクル • 四半期サイクル • 朝会 • ふりかえり • …
33. 3. プロダクトへの組み込みが大変 33 Product Team XP ソフトウェアエンジニア（ SwE） テストエンジニア（TE） データサイエンティスト（ DS） サイトリライアビリティエンジニア（ SRE） 「バリュー」「原則」「プラクティス」の 共有 • 常時ペアプロ • 常時 TDD • トランクベース開発 • 継続的デリバリー • ストーリー • 週次サイクル • 四半期サイクル • 朝会 • ふりかえり • … → 「プラクティス」を通じた連携 → 職種を超えたペアプロ
34. 3. プロダクトへの組み込みが大変 34 スキルを補完し合い 相乗効果で成果を出す！
35. まとめ 35 データサイエンティストのつらみ PoC死 データを集めるのが大変 プロダクトへの組み込みが大変 ストーリー 週次サイクル 全員同席 ペアプロ 有効なプラクティス フィードバックサイクルを回して ユーザーに価値を届ける！ わからないことは サクッと聞いてサクッと解決！ スキルを補完し合い 相乗効果で成果を出す！ 目指すもの
36. とはいえ、、 XP で全てが解決できるわけではない 36
37. 37 精度を評価 R&D 実装 プロダクトマネージャー は mecab-ipadic-NEologd を辞書に指定した業界 推定モデルを訓練した 時のスコアを知ってい る。 ユーザーは SPEEDA で企業情報に新語を多 く含む企業に正しく業界 が紐づいていることを 確認できる。 実験の実装 実験を実行し てスコアを出 力 精度が良かったら CD パイプライン - モデル訓練 - モデルリリース - API デプロイ TDD で実装 CI パイプライン - 自動テスト
38. 38 精度を評価 R&D 実装 プロダクトマネージャー は mecab-ipadic-NEologd を辞書に指定した業界 推定モデルを訓練した 時のスコアを知ってい る。 ユーザーは SPEEDA で企業情報に新語を多 く含む企業に正しく業界 が紐づいていることを 確認できる。 実験の実装 実験を実行し てスコアを出 力 精度が良かったら CD パイプライン - モデル訓練 - モデルリリース - API デプロイ TDD で実装 CI パイプライン - 自動テスト
39. 39 精度を評価 R&D 実装 プロダクトマネージャー は mecab-ipadic-NEologd を辞書に指定した業界 推定モデルを訓練した 時のスコアを知ってい る。 ユーザーは SPEEDA で企業情報に新語を多 く含む企業に正しく業界 が紐づいていることを 確認できる。 実験の実装 実験を実行し てスコアを出 力 精度が良かったら CD パイプライン - モデル訓練 - モデルリリース - API デプロイ TDD で実装 CI パイプライン - 自動テスト CD4ML ???