MNTSQ社内勉強会 #3 AI SaaSに埋め込んでおくと良いかもしれない打ち手3つ

Transcript

1. AI SaaSに
 埋め込んでおくと 良いかもしれない 打ち手3つ
 MNTSQ Product Management 社内勉強会 2022.04.08 #3
2. 2 • AI SaaSにはある種の勝ちパターンがあるのでは？ • 二社AI SaaSを経験してきて、埋め込んでおくと良いと思っ た3つの打ち手についてシェアしたい 今日話したいこと
3. 3 機械学習系のプロダクトは基本的に データが増加することで精度が上がる構造 100% データ量
4. 4 プロダクトの成長を設計する • バリューが提供できる最低限の精度を達成できるよう に問題の切り取り方やアルゴリズムを工夫する(=初期 巡航精度の達成) • 精度が100%ではない中で、エラーを補完できる フェールセーフなメカニズム • 使っていくことで自然とデータが蓄積されていくような オペレーションフロー 1 2 3
5. 5 1) データが一番少ない初期から価値が出せるラインを 上回れるような工夫をする 100% データ量 MVA 1
6. 6 NLPで使えるワザ (戦術レベル) • (初期に有用）敵対的データを作って効率よく学習する ◦ NLPの教師データは比較的作りやすい ▪ 例えば画像データや音声データの トレーニングデータを集めるのは超大変 • 例：猫のようにも見える角度で犬の写真を集めるの、できます？ ▪ エキスパートがいればNLPでは「成長に効く」 データを作りやすい（オーバーフィットには注意） ▪ 弱教師＋Adversarial Exampleのループ • プリトレーンドモデルをレバレッジする ◦ BERT等の学習済みのモデルを使うことで該当ドメインの データ量がある程度少なくとも精度が出せる • Small Clean Dataに投資する ◦ Small Clean Data > Big Data ◦ "Data量を倍にするのとデータを きれいにするのは同じ効果" (Andrew Ng)
7. 7 2) 精度100%の達成が難しい中 ミスを補完できるフェールセーフな仕組みを用意しておく 100% データ量 2
8. 8 2) 精度100%の達成が難しい中 ミスを補完できるフェールセーフな仕組みを用意しておく もし自動応答に満足いただけない場合はすぐに マニュアル応答に切り替え （自動応答のログを見ながら素早い対応が可能）
9. 9 PrecisionとRecallのどちらが重視されるかに応じて 調整をかけることも可能 9 真陽性 偽陽性 偽陰性 真陰性 陽性のもの 機械学習モデルが 陽性と判断したもの モデルが陽性と判断した もののうちどの程度が本 当に陽性か 陽性のもののうち どの程度をモデルが 検出できたか Precision Recall Precisionが高いと モデルの検出した 条項や契約類型を より信頼できる （検索等で有用） Recallが高いと モデルの見つけ漏れが 少なくなる （危険条項検出等で有用） 例えば、Precision重視のタスクなのであれば Recallを犠牲にしてPrecisionの値を伸ばすことが可能
10. 10 3) オペレーションの中で人間の知見がアルゴリズムに 自然と反映されるプロダクト設計 100% データ量 3
11. 11 3) オペレーションの中で人間の知見がアルゴリズムに 自然と反映されるプロダクト設計
12. 12 Professional Serviceの併用も検討すべき
13. 13 Enterprise SaaSはProfessional Serviceの売り上げ比率が 初期に高い(売上の40％以上がPS由来)
14. 14 ② プロダクトの成長を設計する • バリューが提供できる最低限の精度を達成できるよう に問題の切り取り方やアルゴリズムを工夫する(=初期 巡航精度の達成) • 精度が100%ではない中で、エラーを補完できる フェールセーフなメカニズム • 使っていくことで自然とデータが蓄積されていくような オペレーションフロー 1 2 3
15. 15 AI SaaSの成長で設計するべき3つの工夫 100% データ量 3 2 MVA 1