Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
評価指標入門を読んでみた
Search
NearMeの技術発表資料です
PRO
June 09, 2023
Business
0
190
評価指標入門を読んでみた
NearMeの技術発表資料です
PRO
June 09, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
ESLintをもっと有効活用しよう
nearme_tech
PRO
0
6
リファクタリングのための第一歩
nearme_tech
PRO
0
29
ガウス過程回帰とベイズ最適化
nearme_tech
PRO
1
75
確率的プログラミング入門
nearme_tech
PRO
2
69
Observability and OpenTelemetry
nearme_tech
PRO
2
35
観察研究における因果推論
nearme_tech
PRO
1
100
React
nearme_tech
PRO
2
41
Architecture Decision Record (ADR)
nearme_tech
PRO
1
860
遺伝的アルゴリズムを実装する
nearme_tech
PRO
1
62
Other Decks in Business
See All in Business
クロス・オペレーショングループ採用資料
xopg
2
24k
株式会社ispec 会社紹介資料
emikamihara
0
5.9k
Amazon Q Developerの 最新アップデート情報まとめ
o2mami
1
1.1k
The AI-savvy operating model - Matthew Skelton, Conflux - Agile to Agility conference
matthewskelton
PRO
2
200
会社説明資料_20241001.pdf
mina0307
0
170
TORCH, Inc. - Company Deck
torch
0
220
ネクストビートコーポレートガイド/corporate-guide
nextbeat
3
77k
合議で決めたいわけではないけれど、 集合知で助けてほしい。_pmconf_2024
tomosooon
1
5.3k
1LDK会社紹介資料
1ldkinc
1
730
人材育成プラットフォーム としてのBacklog
junkoon
1
130
Ampersand Company Profile
cuebicventures
PRO
0
510
タケウチグループRecruit
takeuchigroup
0
2.1k
Featured
See All Featured
Six Lessons from altMBA
skipperchong
27
3.5k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.5k
Music & Morning Musume
bryan
46
6.2k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.2k
Visualization
eitanlees
146
15k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
RailsConf 2023
tenderlove
29
940
Building an army of robots
kneath
302
44k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
Documentation Writing (for coders)
carmenintech
67
4.5k
Writing Fast Ruby
sferik
628
61k
Transcript
0 評価指標入門を読んでみた 2023-06-09 第47回NearMe技術勉強会 Takuma Kakinoue
1 レビュー • 評価指標入門(技術評論社) ◦ 総評:技術書というより、データサイエンティストの 心構えが学べる本。 ▪
良かった点 • 機械学習とビジネスのつながりが詳しく書いてある。 • 他の参考書にはない視点で語っており、 ハッと気づかされたことが多い。 ▪ 個人的にイマイチだった点 • 機械学習の誤差関数(RMSEなど)についての説明が若干長かった。 (ある程度、機械学習やってる人なら当たり前に 知ってそう)
2 評価指標入門の概要 • 近年のデータサイエンス事情 ◦ モデルの性能に固執するデータサイエンティストが増えた • 高性能な機械学習モデル ≠
ビジネス上で価値のあるモデル ◦ モデルの評価指標(損失関数)とビジネスの評価指標(KPI)は異なる • データサイエンティストの役割はサイエンスとビジネスの橋渡し ◦ ビジネスの問題をどうやってサイエンスの問題へ落とし込むか ▪ 評価指標、問題設定 そもそも企業のデータサイエンティストは売上を伸ばすために雇われている!
3 適切な評価指標を選ぶ • ECサイトでのクーポン配布の例 ◦ 男性と女性のどちらにクーポンを配布すべきかの意思決定に機械学習を用いる ▪ 性別に応じて、クーポン配布によって売上がいくら伸びるか予測するモデルを作った ◦ モデルAの方が誤差が少ないので、モデルAを意思決定に使おう!
▪ モデルAによると、男性にクーポンを配布すれば売上が伸びる! • しかし、実際は、男性にクーポンを配布しても売上は-100になる... ◦ 評価指標を、平均絶対誤差ではなく、符号的中率にすれば良い! ※参考文献:評価指標入門
4 問題設定の再設計 • 回帰か?分類か? ◦ 株価の自動売買 ▪ 株価は連続値なので回帰問題として解きたくなる。 • しかし、連続値は取りうる値が無数にあるので予測が難しい。
▪ 結局、重要なのは上がるか下がるかの2択なので2値分類として解くことが多い。 ◦ 降水量の予測(あまりビジネスとは関係ないが..) ▪ これも一見、回帰問題で解きたくなるが.. ▪ 同じ入力に対しても、3mmにも6mmにもなり得る(多峰性がある)。 • 単一の値を学習する代わりに、離散的な確率分布を多クラス分類で学習する。 ※参考文献:評価指標入門
5 参考文献 • 評価指標入門,高柳慎一,長田怜士,技術評論社,2023
6 Thank you