評価指標入門を読んでみた

Transcript

1. 0 評価指標入門を読んでみた 2023-06-09 第47回NearMe技術勉強会 Takuma Kakinoue
2. 1 レビュー • 評価指標入門（技術評論社）
 ◦ 総評：技術書というより、データサイエンティストの
 　　　　　 心構えが学べる本。
 
 ▪ 良かった点
 • 機械学習とビジネスのつながりが詳しく書いてある。
 • 他の参考書にはない視点で語っており、
 ハッと気づかされたことが多い。
 
 ▪ 個人的にイマイチだった点
 • 機械学習の誤差関数（RMSEなど）についての説明が若干長かった。 （ある程度、機械学習やってる人なら当たり前に
 知ってそう）
 

3. 2 評価指標入門の概要 • 近年のデータサイエンス事情
 ◦ モデルの性能に固執するデータサイエンティストが増えた
 
 • 高性能な機械学習モデル ≠ ビジネス上で価値のあるモデル
 ◦ モデルの評価指標（損失関数）とビジネスの評価指標（KPI）は異なる
 
 • データサイエンティストの役割はサイエンスとビジネスの橋渡し
 ◦ ビジネスの問題をどうやってサイエンスの問題へ落とし込むか
 ▪ 評価指標、問題設定
 そもそも企業のデータサイエンティストは売上を伸ばすために雇われている！

4. 3 適切な評価指標を選ぶ • ECサイトでのクーポン配布の例
 ◦ 男性と女性のどちらにクーポンを配布すべきかの意思決定に機械学習を用いる
 ▪ 性別に応じて、クーポン配布によって売上がいくら伸びるか予測するモデルを作った
 ◦ モデルAの方が誤差が少ないので、モデルAを意思決定に使おう！
 ▪ モデルAによると、男性にクーポンを配布すれば売上が伸びる！
 • しかし、実際は、男性にクーポンを配布しても売上は-100になる...
 ◦ 評価指標を、平均絶対誤差ではなく、符号的中率にすれば良い！
 ※参考文献：評価指標入門

5. 4 問題設定の再設計 • 回帰か？分類か？
 ◦ 株価の自動売買
 ▪ 株価は連続値なので回帰問題として解きたくなる。
 • しかし、連続値は取りうる値が無数にあるので予測が難しい。
 ▪ 結局、重要なのは上がるか下がるかの2択なので2値分類として解くことが多い。
 
 ◦ 降水量の予測（あまりビジネスとは関係ないが..）
 ▪ これも一見、回帰問題で解きたくなるが..
 ▪ 同じ入力に対しても、3mmにも6mmにもなり得る（多峰性がある）。
 • 単一の値を学習する代わりに、離散的な確率分布を多クラス分類で学習する。
 ※参考文献：評価指標入門
6. 5 参考文献 • 評価指標入門，高柳慎一，長田怜士，技術評論社，2023
 

7. 6 Thank you