ポップインサイトウェビナー freeeのデータサイエンティストが語る イシューからはじめるAI開発のプロダクトマネジメント

freeeのデータサイエンティストが語る
イシューからはじめるAI開発のプロダクトマネジメント

セミナー内容
1.なぜAI開発プロジェクトは失敗するのか？
2.AI開発プロジェクトにおけるプロダクトマネジメントの重要性
3.成功する課題の見分けるフレームワーク
4.フレームワークをとおしたケーススタディ
5.質疑応答

本セミナーの対象
・AIまわりにいるプロダクトマネージャーや開発者、企画の方
・AIに限らず、プロダクトマネージャーや開発者、企画の方
・AI開発が上手く進まない・失敗した方
・これからAI開発を始めようとしている方

https://popinsight.jp/seminar/detail.php?id=134

Transcript

1. freee 株式会社
 イシューからはじめる
 AI開発のプロダクトマネジメント
 
 2020/03/10 Kenji Usui

2. 首都大学東京（現 東京都立大学）化学修士
 某半導体メーカーへ新卒で入社し生産技術開発
 某SESへ転職しNLPと株価予測システム開発
 2017年1月、freee株式会社へ参加
 スモールビジネスAIラボにて機械学習を用いた研究開発に従事
 企画〜分析〜モデリング〜実装と幅広く担当
 
 最近の趣味はVTuber
 推しは白上フブキと星街すいせい
 
 Twitter: @grahamian2317
 Usui Kenji 薄井 研二
 freee株式会社 smb-AI-Lab
 Data Scientist
 2
3. freee 株式会社

4. 4 About Products
 ❂ 納税する
 ↗ 育てる
 ↻ 運営する 
 ✩ はじめる
 会社設立 freee
 開業 freee
 クラウド会計ソフト freee
 人事労務 freee
 (マイナンバー管理 freee 含む)
 クラウド申告 freee
 
 * 2017年8月より、クラウド給与計算ソフト freeeは、機能を強化し、「人事労務 freee」というサービス名に変更しました。
 スモールビジネスの創業からIPOまで一気通貫でサポートする7つのプロダクト 2013.3リリース
 2014.5リリース
 2015.6リリース
 中小企業の経理業務を効率 化。帳簿や決算書作成、請求 業務に対応。
 給与計算や年末調整、入社手 続きから勤怠管理まで労務労 務管理を大幅に効率化。
 会社設立に必要な書類を5分 で作成できる無料サービス。
 2016.10リリース 2015.9リリース 2017.1リリース 低コストでマイナンバーの収集、管 理、破棄までクラウド上で完結。
 個人事業の開業手続きが無料、簡 単、最速で完了する。
 税務申告書作成業務を効率化。 法人税・消費税・法定調書・申請 届出や電子申告にも対応。
 Webで申し込みでき、最短4営業日で発 行。創業時でも本人確認書類だけで審査 可能。

5. 最新テクノロジーでリアルタイムデータ収集
 5 クレジット
 金融機関
 決済サービス
 業務データ
 freee Core Engine 

6. 6 　
 
 いつでもどこでも推測された仕訳をチェック

7. 7 　
 
 あらゆるツールを用い証憑を電子取り込み
 複合機・スキャナ
 【API連携】 ファイル取込

8. 機械学習で文字認識した結果をチェックし高速処理
 8 OCR結 果 推測結果 OCR結 果
9. 現預金を予測する資金繰り改善ナビ
 9
10. AI開発を成功させるための考え方
 • なぜAIプロジェクトは失敗するのか？
 • AIプロジェクトにおけるプロダクトマネジメント
 • 適切な解決方法を選定するためのシンプルなフレームワーク
 • フレームワークを通したケーススタディ
 今日お話すること
 10 ハッシュタグ #メンバーズウェビナー
11. なぜAI開発プロジェクトは
 失敗するのか？
 11
12. AI導入の失敗話
 • AI技術活用プロジェクトを始めたけどPoCから進まない
 • 動くものはできたけど現場で誰も使っていない
 • サービスに導入したけどユーザーが使ってくれない
 • 思っていたよりも成果に貢献しなかった
 ...etc
 こんな話を聞いたことはないですか？
 12
13. プロジェクトごとに理由はたくさんありそう
 • 求める精度に到達しなかった
 • 思ったより使えるデータがなかった
 • 現場が反発した
 • 改善にリソースが割けなかった
 • そもそも顧客が求めていなかった
 • UIが悪かった
 • レスポンスが悪かった
 ...etc
 なぜ失敗してしまうのか？
 13
14. • 課題解決に必要なモデルを構築できなかった
 • 使い勝手が悪いから使ってくれなかった
 • 課題の設計が間違っていた
 
 失敗の理由を抽象化してみる
 14
15. 事前の見積もりが甘くて技術的に解決ができなかったケース
 • 技術的難易度が高かった・見積もりが甘かった
 • データが不足していた
 課題解決に必要なモデルを構築できなかった
 15
16. モデルは予定どおりできたけど使い勝手が悪くて使われなかったケース
 • ユーザービリティが適切でない
 • UXが考えられていない
 
 使い勝手が悪いから使ってくれなかった
 16
17. そもそもユーザーが求めているものではなかったケース
 • ペインを解決できていない
 • 課題に対して適切な解決方法でなかった
 
 課題の設計が間違っていた
 17
18. これAIじゃなくて
 プロダクトマネジメントの問題では？？
 抽象化した課題を眺めていて思ったのは…
 18
19. 
 
 
 今までのプロダクトマネジメントにAI技術をアップデートする
 AI時代のプロダクトマネジメントをしていこう！
 AI開発で成功するためには
 19
20. AI開発プロジェクトにおける
 プロダクトマネジメント
 20
21. プロダクトマネジメントに失敗しているから
 ではAI開発では特別なプロダクトマネジメントが必要なのか？
 私の考えは半分YES・半分NO
 なぜAI開発で失敗するのか？
 21 ハッシュタグ #メンバーズウェビナー
22. 基本は一般的なプロダクトマネジメントと変わらない
 • ユーザーの課題を考える
 • 課題から解決方法を考える
 • 問題なく使えるUXを構築する
 • 価値が届くようにサクセス活動を構築する...etc
 これに、AI技術というオプションが増えるだけ
 （だけなんだけど、それが以外と難しい）
 AI開発で必要なプロダクトマネジメント
 22 ハッシュタグ #メンバーズウェビナー
23. 機械学習への期待が誤っている
 • この課題は機械学習で解くのが最適だ
 • この課題は機械学習じゃないと解けない
 • 今のデータ・システム環境で機械学習を開発できる
 AI技術を考慮するとなぜ難しいのか？
 23 ハッシュタグ #メンバーズウェビナー
24. 機械学習をよくわかっていないから？
 →それっぽいけど根本の原因はここじゃない
 そもそも手段選定の前段階にある目的・目標が不明瞭だから
 なぜ機械学習の期待値を間違うのか
 24 ハッシュタグ #メンバーズウェビナー
25. 1. 目的が曖昧だと
 2. 解決の定義が曖昧になる
 3. ゴールが見えないので解決方法への期待も見えない
 4. 手法への期待が不明なので手法を選ぶことができない
 目的とその定義が明確であれば、それを満たす最も妥当な手段を選べば良い
 そして、それは機械学習かもしれないしそうじゃないかもしれない
 目的が曖昧だと手法が選べない
 25 ハッシュタグ #メンバーズウェビナー
26. イシューからはじめよ――知的生産の「シンプルな本質」
 を参考にイシューを組み立てる
 イシューとは？
 ここでは 根本に関わる問題 という定義
 本質的に価値があり、いま解決すべき問題のこと
 目的・目標ってどうやって決めたらいいの？
 26 ハッシュタグ #メンバーズウェビナー
27. 今回で特に大事なのは次の2点
 • 本質的である
 ◦ それが本当に価値があるものでありインパクトがある
 • 答えがだせる
 ◦ その問題は本質的に答えをだすことができるのか？
 
 バリューを組み立てるときに気をつけること
 27
28. それが本当に価値があるものでありインパクトがあるものが良いイシュー
 逆に、今考えなくても良いもの・考えても価値の弱いものは悪いイシュー
 そのイシューに答えを出すと価値があるとなぜ言えるのか考えることが大事
 • 前提は正しいか？
 • 誰に向けたものか？
 • 得られる価値は何？
 当たり前ですが、
 本質的に価値がない問題は機械学習で解いても価値は生まれません
 本質的である
 28 ハッシュタグ #メンバーズウェビナー
29. 答えをだすことができないイシューは当然だが解くことはできない
 まして機械学習で解くことなんで不可能
 しかも機械学習で解く場合は答えが数値である必要がある
 数値や分類問題に落とし込めないイシューでないと機械学習で解くことができない
 ということは見落としがちです
 答えがだせる
 29 ハッシュタグ #メンバーズウェビナー
30. 解くべき課題を見つけたら仮説を立てる
 • 現状ではどのように処理されているのか？
 • 処理するときどのような思考が存在するのか？
 • ペインポイントはどこか？
 人間をよく観察し仮説を立て検証する
 イシューから仮説を立てる
 30 ハッシュタグ #メンバーズウェビナー
31. 重要なのは人間がどうやっているか？という視点
 機械学習の基本は自動化にあるので人間がやっている方法を理解する
 理解しルールベース or 機械学習で解決方法をそれぞれ考える
 機械学習を使っても人間ができないことは実現できない
 （一部例外はあるけど）
 機械学習を使うときの仮説のポイント
 31 ハッシュタグ #メンバーズウェビナー
32. 
 
 
 次からは具体的にどのようにして手段を検討したらよいのか、
 簡単なフレームワークに則って解説します
 イシューと仮説の次は手段を考えていこう
 32 ハッシュタグ #メンバーズウェビナー
33. 適切な解決方法を選定するための
 シンプルなフレームワーク
 33
34. 基本は機械学習でも手段を選ぶ基本は同じ
 今回は簡単に要点を抑えられる3つの観点から評価する方法を提案
 • 得られる利益
 • 効果の確実性
 • 開発コスト
 機械学習を踏まえた手段選定のフレームワーク
 34 ハッシュタグ #メンバーズウェビナー
35. それぞれの手法で得られる利益を比較した差分がその技術の利得
 ここでいう利益とはKPIへの寄与や眼の前の課題における精度（指標）
 • ルールベースで十分な性能が出るならまずルールベースでリリースしてみる
 • ルールベースだと不足するが機械学習で性能がでるなら機械学習を検討する
 
 得られる利益
 35 ハッシュタグ #メンバーズウェビナー
36. 課題解決のために必要なクオリティまで到達できるのか？という観点
 開発優先度を考えるためにどれくらい確実にインパクトを生み出せるのか考える
 • ルールベースはデータ分析などからおおよその結果を予測が可能
 • 機械学習は学習で得られる効果が不正確なので不確実性は高まる
 ◦ とはいえ、機械学習エンジニアならばおおよそ見積もることができる
 不確実性
 36 ハッシュタグ #メンバーズウェビナー
37. 実装までに必要なコスト
 当たり前だけど、簡単に出せてインパクトがあるならすぐにやるべきだし、
 時間がかかってインパクトが無いならば後回しにすべき。
 • ルールベースは機械学習に比べて（知見も多く）工数が明確だし小さくしやすい
 • 機械学習は学習以外にデータ準備やインフラ構築など工数が膨れがち
 開発コスト
 37 ハッシュタグ #メンバーズウェビナー
38. • 機械学習を最適な方法だと思いこむ
 • フルスクラッチ以外の方法を検討しない
 よく見かける機械学習に係る選定のミス
 38 ハッシュタグ #メンバーズウェビナー
39. 一度、機械学習で解けるんじゃないかと考えると、
 途端に機械学習が最適な方法に思えてしまう
 実際は機械学習が有効なケースの方が少ない
 イシューに対してフェアに手法を比較・検討する
 そのためにはイシューを明確に定義しておくことが重要
 機械学習を最適な方法だと思いがち
 39 ハッシュタグ #メンバーズウェビナー
40. 実は、機械学習を使うにしてもいろんな方法がある
 • 機械学習がラップされたサービスを使う
 ◦ 迷惑メールを除外したいならGmail
 • 汎用的なAPIサービスを使う
 ◦ 画像に写っているものをラベル付けしたいならGoogle Vision API
 • 学習済みモデルや自動学習サービスを使う
 ◦ 簡単な画像分類問題でカスタマイズしたいならGoogle AutoML Vision
 • フルスクラッチで開発する
 ◦ 問題が複雑だったり特殊な推測をしたいならフルスクラッチ
 適切な手法を選ぶことでコストを減らし不確実性を下げることができる
 →フルスクラッチでは機械学習を使うことが難しい課題でも機械学習を使える可能性 がある
 フルスクラッチ以外の手札を持つ
 40
41. 機械学習を使うべきか3つの視点から検討する方法を紹介
 • 得られる利益
 • 効果の確実性
 • 開発コスト
 次は具体的な事例を踏まえながら理解を深めていきましょう
 フレームワークから具体例へ
 41 ハッシュタグ #メンバーズウェビナー
42. フレームワークをとおした
 ケーススタディ
 42
43. フレームワークを踏まえながらfreeeであった具体的な事例を考えてみる
 具体的な事例
 43 ハッシュタグ #メンバーズウェビナー
44. 記帳に必要な項目（勘定科目など）を
 明細データから推測して記帳を効率化する機能
 最初期はキーワードベース
 →すぐに機械学習に変更（今も改善中）
 記帳項目推測機能
 44 ハッシュタグ #メンバーズウェビナー
45. - 本質的に価値があるか？
 記帳作業は大きなユーザーペインだとユーザーリサーチなどから調査済み
 項目を自動化することで選択時間を削減して効率化できる
 - 答えをだせるか？
 勘定科目など項目の分類問題に落とし込める
 推測結果と記帳結果を比較することで精度を算出することができる
 イシューから考える
 45 ハッシュタグ #メンバーズウェビナー
46. - メリット
 明細は偏りがあるためルールベース（キーワードマッチング）でもある程度は可能
 機械学習の方がキーワードのヒューリスティックが減り可用性も広がる
 記帳の効率化はユーザーメリットが大きいのでキーワードマッチングに比べて
 性能を極められる機械学習の方が将来的なメリットは大きい
 - リスク
 明細と仕訳の関係は独特なので既存のNLP技術では一筋縄にはいかない
 長期的な改善が必要になる
 - 工数
 明細と仕訳の関係は独特なのでデータ関係も特殊
 シンプルな形ならば簡単だが精度を高めるには工数が必要
 →まずはシンプルな形でリリース。時間を掛けて継続的に改善中。
 
 フレームワークから考えてみる
 46 ハッシュタグ #メンバーズウェビナー
47. 固定資産の資産分類入力を効率化する機能
 入力した固定資産名から資産分類を推測
 機械学習 or ルールベースで検討
 →機械学習で実装してリリース
 
 
 
 
 
 プレスリリース
 固定資産分類推測
 47 ハッシュタグ #メンバーズウェビナー
48. - 本質的に価値があるか？
 固定資産の資産分類を選ぶことが難しいことはヒアリングでわかっている
 - 答えをだせるか？
 資産分類は決まっており分類問題に落とし込める
 推測結果と記帳結果を比較することで精度を算出することができる
 イシューから考える
 48 ハッシュタグ #メンバーズウェビナー
49. - メリット
 固定資産名は偏りがあるためルールベース（キーワードマッチング）でもある程度は 可能だが機械学習の方がキーワードのヒューリスティックが減り可用性も広がる
 - リスク
 いくつかのエッジケースはあるがシンプルな機械学習モデリングで対応できそう
 - 工数
 データの準備は容易で学習もシンプル
 →機械学習で実装してリリース！！
 フレームワークから考えてみる
 49 ハッシュタグ #メンバーズウェビナー
50. Summary
 50 • AI活用プロジェクトの失敗はプロダクトマネジメントの失敗だ！
 • まずはプロジェクトのイシューを明確に定義しよう
 • 技術選定は利益 x 不確実性 x 開発コストで考えよう

51. freeeは様々なポジションで一緒にはたらくメンバーを募集しています！
 興味をもった方は是非あそびに来てください！！
 • 公式採用ページ
 • Wantedly
 PR!!!!!!
 51 ハッシュタグ #メンバーズウェビナー
52. スモールビジネスを、
 世界の主役に。