MNTSQ社内勉強会 #4 AI系新規事業でコードを書く前にやると良いかもしれない8つの論点

Transcript

1. AI系新規事業で
 事前に検討すると 良いかもしれない 8問
 MNTSQ Product Management 社内勉強会 2022.04.15 #4
2. 2 • AI系の新規事業をやる時に、「コードを書く」前段階ででき ることって結構あるのでは？ • MNTSQ社でも将来、新規領域に染み出していく検討が走 ることがありそう • AI系事業立ち上げの経験から、事前に答えておくと良いと 思った論点を8つほどシェアしたい 今日話したいこと
3. 3 染み出すドメインの見極めに有用かもしれない8問 • d. どんなタスクを解くことになりそう？ ◦ 世の中的に定義済みのタスクか？ • e. そのタスクで既に達成できていることは？　今後できそうなことは？ • f. Modelは顧客ごとに使いまわせるか？ ◦ 単一モデルか顧客固有モデルかで COGSに大きな違いがみられた （a16z) • g. データの入手可能性は？ • h. アノテーションコストは？ 技術的見極め 事業的見極め • a. 精度100％の時のマックスバリューはどの程度か？ • b. 精度付加価値曲線（ Accuracy-Value Curve）はどんな形か？ ◦ Minimum Viable Accuracyはどの程度か？ ◦ 精度モックテスト • c. 海外のテックジャイアントへのブロッカーがあるか？ ◦ 投資額の桁が本当に違う ◦ 中長期の分散をめっちゃ変えうる
4. 4 事業的見極めに有用な精度付加価値曲線 accuracy value 精度100％の ときの マックス バリュー 価値を 感じられる 最小限の 地点 精度付加価値曲線は どういう形をしているか？ 価値を感じられる 最小限の正確さ(MVA)
5. 5 よくある危険パターン 精度100％でも 付加価値がないやつ （問題間違ってるやつ） マックスバリューは 良いけど、精度が高く ならないと価値が 出ないやつ(=MVAが高い) （自動運転とか）
6. 6 ① 価値を出せるドメインを見極める MVA低い （技術的 難易度低） MVA高い （技術的 難易度高） Max Value 大 Max Valueが 小
7. 7 ① 価値を出せるドメインを見極める MVA低い （技術的 難易度低） MVA高い （技術的 難易度高） Max Value 大 Max Valueが 小 死ぬ
8. 8 ① 価値を出せるドメインを見極める MVA低い （技術的 難易度低） MVA高い （技術的 難易度高） Max Value 大 Max Valueが 小 死ぬ ノンプロダクト
9. 9 ① 価値を出せるドメインを見極める MVA低い （技術的 難易度低） MVA高い （技術的 難易度高） Max Value 大 Max Valueが 小 死ぬ GAFAと ガチる ノンプロダクト
10. 10 ① 価値を出せるドメインを見極める MVA低い （技術的 難易度低） MVA高い （技術的 難易度高） Max Value 大 Max Valueが 小 死ぬ GAFAと ガチる 産業 特化型 (非技術的障壁) ノンプロダクト
11. 11 ① 価値を出せるドメインを見極める 研究開発系 スタートアップ
12. 12 ① 価値を出せるドメインを見極める ノンプロダクト 受託AI系ビジネス 研究開発系 スタートアップ
13. 13 ① 価値を出せるドメインを見極める ノンプロダクト AI SaaS スタートアップの 成長ルート 受託AI系ビジネス 研究開発系 スタートアップ
14. 14 ① 価値を出せるドメインを見極める MVA低い （技術的 難易度低） MVA高い （技術的 難易度高） Max Value 大 Max Valueが 小 死ぬ GAFAと ガチる ノンプロダクト MNTSQ （Now） MNTSQ （数年後） MNTSQ (創業時) MNTSQ (NOW) MNTSQ (数年後) TechGiant Blockerが ある領域
15. 15 ① 価値を出せるドメインを見極める: MNTSQの事例 • d. どんなタスクを解くことになりそう？ ◦ 契約書解析 ▪ 綺麗な日本語の解析 ▪ 条項号の構造 ▪ 強いドメイン知識の注入ができそう • e. そのタスクで既に達成できていることは？　今後できそうなことは？ ◦ SQuADの事例 (2018) ◦ 大きい言語モデル（BERT, GPT-3等)の応用は色々出てきており 確実にできることの幅は広がりそう ◦ 一方で日本語で巨大なモデルの運用がどこまでいけるか未知数 • f. Modelは顧客ごとに使いまわせるか？ ◦ 契約書の会社ごとに違わない => 単一モデル運用が可能 • g. データの入手可能性は？ ◦ データは手に入れにくいが、壁を乗り越えれば moatになる ◦ 米国ではEdgar等開示されるのでそこまで日本ほどではない • h. アノテーションコストは？ ◦ 弁護士、パラリーガルじゃないと判断がつかないところがありそう ◦ アノテーションコストが高い 技術的見極め 事業的見極め • a. 精度100％の時のマックスバリューはどの程度か？ ◦ 法務DDならxxx億円市場 ◦ 「法務」という意味でざくっといえば 2兆円市場 • b. 精度付加価値曲線（ Accuracy-Value Curve）はどんな形か？ ◦ Minimum Viable Accuracyはそれなりに高そう ◦ ドメイン知識の注入と、タスク特性（ Precision重視、Recall重視）を踏ま えた調整をすれば不可能ではなさそう • c. 海外のテックジャイアントへのブロッカーがあるか？ ◦ 日本語、日本法の壁