評価指標入門を読んでみた

Transcript

1. 0
   評価指標入門を読んでみた
   2023-06-09 第47回NearMe技術勉強会
   Takuma Kakinoue
   

   View Slide

2. 1
   レビュー
   ● 評価指標入門（技術評論社）

   ○ 総評：技術書というより、データサイエンティストの

   　　　　　 心構えが学べる本。

   

   ■ 良かった点

   ● 機械学習とビジネスのつながりが詳しく書いてある。

   ● 他の参考書にはない視点で語っており、

   ハッと気づかされたことが多い。

   

   ■ 個人的にイマイチだった点

   ● 機械学習の誤差関数（RMSEなど）についての説明が若干長かった。
   （ある程度、機械学習やってる人なら当たり前に

   知ってそう）

   

   

   View Slide

3. 2
   評価指標入門の概要
   ● 近年のデータサイエンス事情

   ○ モデルの性能に固執するデータサイエンティストが増えた

   

   ● 高性能な機械学習モデル ≠ ビジネス上で価値のあるモデル

   ○ モデルの評価指標（損失関数）とビジネスの評価指標（KPI）は異なる

   

   ● データサイエンティストの役割はサイエンスとビジネスの橋渡し

   ○ ビジネスの問題をどうやってサイエンスの問題へ落とし込むか

   ■ 評価指標、問題設定

   そもそも企業のデータサイエンティストは売上を伸ばすために雇われている！

   

   View Slide

4. 3
   適切な評価指標を選ぶ
   ● ECサイトでのクーポン配布の例

   ○ 男性と女性のどちらにクーポンを配布すべきかの意思決定に機械学習を用いる

   ■ 性別に応じて、クーポン配布によって売上がいくら伸びるか予測するモデルを作った

   ○ モデルAの方が誤差が少ないので、モデルAを意思決定に使おう！

   ■ モデルAによると、男性にクーポンを配布すれば売上が伸びる！

   ● しかし、実際は、男性にクーポンを配布しても売上は-100になる...

   ○ 評価指標を、平均絶対誤差ではなく、符号的中率にすれば良い！

   ※参考文献：評価指標入門

   

   View Slide

5. 4
   問題設定の再設計
   ● 回帰か？分類か？

   ○ 株価の自動売買

   ■ 株価は連続値なので回帰問題として解きたくなる。

   ● しかし、連続値は取りうる値が無数にあるので予測が難しい。

   ■ 結局、重要なのは上がるか下がるかの2択なので2値分類として解くことが多い。

   

   ○ 降水量の予測（あまりビジネスとは関係ないが..）

   ■ これも一見、回帰問題で解きたくなるが..

   ■ 同じ入力に対しても、3mmにも6mmにもなり得る（多峰性がある）。

   ● 単一の値を学習する代わりに、離散的な確率分布を多クラス分類で学習する。

   ※参考文献：評価指標入門
   

   View Slide

6. 5
   参考文献
   ● 評価指標入門，高柳慎一，長田怜士，技術評論社，2023

   

   

   View Slide

7. 6
   Thank you
   

   View Slide