DeNA Sponsored Session at the MLOps Community

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© DeNA Co., Ltd. 2 自己紹介玉木竜二 MLエンジニアグループ所属のMLOpsエンジニア ● 機械学習モデルをプロダクトとして使えるように機械学習パイプラインを作ったり、推論用のシステムを作ったり経歴 ● データサイエンティスト 3年 ○ 自然言語処理プロジェクトのモデル開発担当 ● ITコンサルタント 1.5年 ○ お客様と話したりバックエンドの開発したり ● 機械学習エンジニア 2年(現在) ○ 機械学習プロジェクトのシステム開発、運用担当

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© DeNA Co., Ltd. 9 DeNAのデータ組織紹介ソリューション事業本部データ統括部データ基盤部データ活用推進グループ AI技術開発部 ● AI技術開発部 ○ 機械学習系の研究者、データサイエンティストなどが在籍 ○ 研究開発、機械学習モデルの作成などを行う ● データ基盤部 ○ データエンジニア、MLOpsエンジニアが在籍 ○ データの管理、機械学習モデルの組み込み、データの提供などを行う ● データ活用推進グループ ○ AI案件のプロジェクトマネージャーが在籍 ○ AI案件の提案、プロジェクトマネジメントなどを行うゲームサービス事業本部ライブコミュニティ事業本部 … デザイン統括本部マーケティング統括本部 …

Slide 10

Slide 10 text

© DeNA Co., Ltd. 10 AI案件登場人物ポジション役割の例プロジェクトマネージャー(PM) クライアント、社内各事業における課題発掘、QCD管理プロダクトマネージャー(PdM) 何をなぜ作るかを定義、推進するデータサイエンティスト(DS) 機械学習モデルの開発、評価を行う MLOpsエンジニア(MLE) 機械学習モデルを用いたシステムの開発、運用をするデータエンジニア(DE) データ分析、機械学習に必要なデータの収集、加工、提供を行う『事例でわかるMLOps 機械学習の成果をスケールさせる処方箋』と少々変わっております󰢛 案件の規模や本人の希望により、以下のようなこともあります ● PMとPdMを同じ人が担当する(書籍のケース) ● PMとPdMと、DS or MLE or DEを同じ人が担当する(PM兼PdM兼DSなど) ● 小規模な案件だと1人〜2人ぐらいでPoC、MVPまで作る

Slide 11

Slide 11 text

© DeNA Co., Ltd. 11 機械学習プロジェクトの大まかなフェーズ分け AI Project Management Flow and Build Trap Review - Speaker Deck の内容から少しずつ変わっていますフェーズ概要ヒアリング各事業のサービスオーナーからどのような課題があるかを聞くアセスメント PoC実施に向けて検討を進める。実施内容を明確にする PoC(Proof of Concept) アルゴリズム、システム的に実現可能かを検証する MVP(Minimum Viable Product) プロトタイプを作り、簡単に仮説を検証する本開発実際にユーザーが使うものを作る ● PoCではアルゴリズムだけでなく、システム的に実現可能かも検証します ○ 書籍ではシステム的に実現可能か検証するフェーズをMVPと定義しています ● 書籍ではヒアリング、アセスメントなどは省略しています

Slide 12

Slide 12 text

© DeNA Co., Ltd. 12 ヒアリングゲームライブストリーミングスポーツ・スマートシティメディカル・ヘルスケアその他（エンタメ・ソリューション等）事業強化学習（ゲーム）マッチングコンピュータービジョン音声処理自然言語処理技術 AIPM 繋いで推進 ①事業に入り込み課題（既存・潜在）を肌感で捉える・課題ドリブンで中立の立場で判断・各事業のプロダクトオーナー(事業部PO) 　からの初期相談対応 ③課題にマッチする技術を選択し推進 ②課題からAI利活用を発見・『大きなアウトカムが見込める』・『AIでしか解決できない』・『AIでユーザー体験を改善』（DS/研究者）

Slide 13

Slide 13 text

© DeNA Co., Ltd. 13 アセスメント ● プロダクトの仮説を4階層(Core, Why, What, How)に分けて定義する(※) ○ ビジョンは何か ○ 誰をどんな状態にしたいか ● 上記を明確にすることで、「なぜ作るのか」、「どんなインパクトがあるのか」などをチーム全体で共有できる。アウトカムを意識し、最大化することが目標 ○ ここの認識があっていないといいプロダクトが作れない ○ なぜ作るのかの認識があっていないのにどうやって作るか話してもうまくいかない ● 機械学習モデルを現場で実運用するのにあたって個人的にとても重要なことだと考えています ※参考: 2020年にしたプロダクト系図解まとめ｜小城久美子 / ozyozyo 事業部PO AI PM AI PdM DS MLE DE 最初に全員の認識を合わせる！

Slide 14

Slide 14 text

© DeNA Co., Ltd. 14 PoC DSが機械学習モデルを開発、評価を行います(PoC1) 例: ● レコメンドモデル開発。ローカルの検証データのAUCがこれくらい ● 違反検知モデル開発。ローカルの検証データのAUCがこれくらい ● LLMでの情報抽出検証。ローカルでの数件でのサンプルではこのようなアウトプット MLEが要件にあった最小限のシステムを開発します(PoC2) 例: ● レコメンドモデルに想定した負荷を与えてみたらレイテンシーが1秒ほど。0.2秒に抑えたい ○ PoC1に戻る。特徴量、モデルサイズの削減などができないかまた試す ○ あくまで例で最初は小さいモデルのことが多いです ● 違反検知モデルに想定した負荷を与えてみたらかかるコストが月30万円。月10万円ほどに抑えたい ○ PoC1に戻る。複数のモデルを使う想定であったが単一のモデルで同程度の精度にできないかなどを検証する ○ システム側で効率的にサービングできないかなどの検証も行う

Slide 15

Slide 15 text

© DeNA Co., Ltd. 15 MVP 実際のユースケースを満たすような最小限のプロダクトを作って検証する PoCで検証したい仮説が検証できていたり、A/Bテストなどで検証したい場合はスキップ例: ● 社内向け検索ツールをStreamlitで作って使ってもらう ● レコメンド結果を検証環境にデプロイ。POやPdMが想定していたような結果になっているか確認 ● 違反検知結果をGoogle スプレッドシートに書き出し。POに確認してもらう

Slide 16

Slide 16 text

© DeNA Co., Ltd. 16 本開発 PoC、MVPではとりあえず動くものを作成したが、実際の運用に耐えられるプロダクトを実装する例: ● 機械学習における学習と推論の自動化 ● サービス間の連携の実装 ● 主にシステム観点でのQA ● 監視などの追加 ● フロントエンドをReactで実装ここまできて本番リリースになります🎉 このあと例えばレコメンドシステムであれば、A/Bテストで効果検証したり、違反検知システムであれば、どの程度人間の工数を削減できたかを調査します。この本開発以降は、違う仮説を検証するため新しいPoCを始めたり、違う案件に着手したりします。以上がDeNAでの機械学習プロジェクトの進め方でした！書籍ではモバオクでのレコメンドシステムの事例を載せています！

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© DeNA Co., Ltd. 18 一緒に働きませんか AI案件のプロジェクトマネージャーキャリア採用をしております！少しでもご興味お持ちの方はDeNA社員までお声がけいただくか、採用HPよりご応募お待ちしております！ゲームライブストリーミングスポーツ・スマートシティメディカル・ヘルスケアその他（エンタメ・ソリューション等）事業強化学習（ゲーム）マッチングコンピュータービジョン音声処理自然言語処理技術 AIPM 繋いで推進 ①事業に入り込み課題（既存・潜在）を肌感で捉える・課題ドリブンで中立の立場で判断・事業部からの初期相談対応 ③課題にマッチする技術を選択し推進 ②課題からAI利活用を発見・『大きなアウトカムが見込める』・『AIでしか解決できない』・『AIでユーザー体験を改善』（DS/研究者）特に募集している領域・AI活用が進んでいない・明確にアウトカムが見込めるこちらのポジション