Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
評価指標入門を読んでみた
Search
NearMeの技術発表資料です
June 09, 2023
Business
0
130
評価指標入門を読んでみた
NearMeの技術発表資料です
June 09, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
OR-Toolsの中⾝ -VRPの解法について-
nearme_tech
0
48
GTFSのデータを Streamlitで可視化してみた
nearme_tech
0
38
Offset / Cursor Paginationについて
nearme_tech
2
77
⼤規模⾔語モデルの拡張(RAG)が 終わったかも知れない件について
nearme_tech
23
15k
VRPを深層強化学習で解く
nearme_tech
0
71
Let’s go monorepo - intro to Nx.dev
nearme_tech
0
23
Dynamic Vehicle Routing のシミュレーションを Streamlitで作ってみた
nearme_tech
0
65
ログ監視ツールについて調べてみた
nearme_tech
0
59
(インターン生が大学院で行なっている)研究紹介
nearme_tech
0
48
Other Decks in Business
See All in Business
Experience counts: why SEO needs a name change
emilygoodyear
0
130
LT資料作成の基礎 / Basics of LT Slide Preparation
pauli
8
1.4k
Nstock 採用資料 / We are hiring
nstock
21
160k
データ分析基盤構築に役立つAWSマネージドサービス紹介
ryo5043617
0
230
Product Info
urbanxtechnologies
0
130
新卒向けふりかえり研修
viva_tweet_x
10
2.5k
We are Wunderbar, Culture Deck Min
wunderbar
0
18k
Zeit für Klarheit
arnekittler
0
160
Delivering More With Less: An Introduction to Value Streams
helenjbeal
3
500
福岡から小樽へ、 1400kmのマネジメントの旅
mshdfukui86
0
130
Dist.43.英語仕事で地味につかうChatGPT 配布版
karad
0
510
20240416_SuperMaskedDevOps
takusamar
1
340
Featured
See All Featured
The Cult of Friendly URLs
andyhume
74
5.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
126
32k
How to name files
jennybc
65
93k
Gamification - CAS2011
davidbonilla
77
4.6k
A Modern Web Designer's Workflow
chriscoyier
689
190k
Designing for Performance
lara
601
67k
Code Review Best Practice
trishagee
56
15k
The Mythical Team-Month
searls
217
42k
Visualization
eitanlees
137
14k
Become a Pro
speakerdeck
PRO
13
4.6k
Build The Right Thing And Hit Your Dates
maggiecrowley
25
2k
GitHub's CSS Performance
jonrohan
1025
450k
Transcript
0 評価指標入門を読んでみた 2023-06-09 第47回NearMe技術勉強会 Takuma Kakinoue
1 レビュー • 評価指標入門(技術評論社) ◦ 総評:技術書というより、データサイエンティストの 心構えが学べる本。 ▪
良かった点 • 機械学習とビジネスのつながりが詳しく書いてある。 • 他の参考書にはない視点で語っており、 ハッと気づかされたことが多い。 ▪ 個人的にイマイチだった点 • 機械学習の誤差関数(RMSEなど)についての説明が若干長かった。 (ある程度、機械学習やってる人なら当たり前に 知ってそう)
2 評価指標入門の概要 • 近年のデータサイエンス事情 ◦ モデルの性能に固執するデータサイエンティストが増えた • 高性能な機械学習モデル ≠
ビジネス上で価値のあるモデル ◦ モデルの評価指標(損失関数)とビジネスの評価指標(KPI)は異なる • データサイエンティストの役割はサイエンスとビジネスの橋渡し ◦ ビジネスの問題をどうやってサイエンスの問題へ落とし込むか ▪ 評価指標、問題設定 そもそも企業のデータサイエンティストは売上を伸ばすために雇われている!
3 適切な評価指標を選ぶ • ECサイトでのクーポン配布の例 ◦ 男性と女性のどちらにクーポンを配布すべきかの意思決定に機械学習を用いる ▪ 性別に応じて、クーポン配布によって売上がいくら伸びるか予測するモデルを作った ◦ モデルAの方が誤差が少ないので、モデルAを意思決定に使おう!
▪ モデルAによると、男性にクーポンを配布すれば売上が伸びる! • しかし、実際は、男性にクーポンを配布しても売上は-100になる... ◦ 評価指標を、平均絶対誤差ではなく、符号的中率にすれば良い! ※参考文献:評価指標入門
4 問題設定の再設計 • 回帰か?分類か? ◦ 株価の自動売買 ▪ 株価は連続値なので回帰問題として解きたくなる。 • しかし、連続値は取りうる値が無数にあるので予測が難しい。
▪ 結局、重要なのは上がるか下がるかの2択なので2値分類として解くことが多い。 ◦ 降水量の予測(あまりビジネスとは関係ないが..) ▪ これも一見、回帰問題で解きたくなるが.. ▪ 同じ入力に対しても、3mmにも6mmにもなり得る(多峰性がある)。 • 単一の値を学習する代わりに、離散的な確率分布を多クラス分類で学習する。 ※参考文献:評価指標入門
5 参考文献 • 評価指標入門,高柳慎一,長田怜士,技術評論社,2023
6 Thank you