Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
評価指標入門を読んでみた
Search
NearMeの技術発表資料です
PRO
June 09, 2023
Business
0
170
評価指標入門を読んでみた
NearMeの技術発表資料です
PRO
June 09, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
観察研究における因果推論
nearme_tech
PRO
1
10
React
nearme_tech
PRO
2
17
Architecture Decision Record (ADR)
nearme_tech
PRO
1
740
遺伝的アルゴリズムを実装する
nearme_tech
PRO
1
25
Fractional Derivative!
nearme_tech
PRO
1
21
GitHub Projectsにおける チケットの ステータス更新自動化について
nearme_tech
PRO
1
31
2つの曲線を比較する方法ってあるの? 〜フレシェ距離を試してみた〜 with Python
nearme_tech
PRO
1
150
Constrained K-means Clustering (クラスタサイズの制限をしたK-means法) を調べてみた
nearme_tech
PRO
1
59
VRPの近傍操作SWAP*について調べてみた
nearme_tech
PRO
1
81
Other Decks in Business
See All in Business
タウンWiFi会社紹介資料 (2024/09/12)
townwifi
1
5.5k
モベンシス株式会社 会社紹介資料
movensys
1
1.4k
UTMD 修士論文報告会スケジューリングツール 解説
shunyanoda
0
1k
Paw Patrol Mighty Movie Story Sample
artist_redacted
0
210
トラックレコード式採用ブランディング
trackrecords
PRO
1
100
株式会社日本ケアコミュニケーションズ会社紹介資料(新卒採用)
nccsaiyo
0
120
test
okamoto0913
0
330
採用ピッチ資料(2024年9月版)|ナカソネ住設株式会社
nakasonejusetsu
0
620
"Cold start" fast flow - using external suppliers to bootstrap a nimble, flow-centric organization
matthewskelton
PRO
1
190
図面・記録管理システム
jtes
0
160
【エンジニア採用】BuySell Technologies会社説明資料
buyselltechnologies
1
49k
From Strategy to Practice: Insights on How Team Topologies Drives Organizational Success
mfpais
PRO
0
260
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
249
21k
Debugging Ruby Performance
tmm1
73
12k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
1
230
Git: the NoSQL Database
bkeepers
PRO
425
64k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
26
4k
How GitHub Uses GitHub to Build GitHub
holman
473
290k
VelocityConf: Rendering Performance Case Studies
addyosmani
324
23k
Producing Creativity
orderedlist
PRO
341
39k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Transcript
0 評価指標入門を読んでみた 2023-06-09 第47回NearMe技術勉強会 Takuma Kakinoue
1 レビュー • 評価指標入門(技術評論社) ◦ 総評:技術書というより、データサイエンティストの 心構えが学べる本。 ▪
良かった点 • 機械学習とビジネスのつながりが詳しく書いてある。 • 他の参考書にはない視点で語っており、 ハッと気づかされたことが多い。 ▪ 個人的にイマイチだった点 • 機械学習の誤差関数(RMSEなど)についての説明が若干長かった。 (ある程度、機械学習やってる人なら当たり前に 知ってそう)
2 評価指標入門の概要 • 近年のデータサイエンス事情 ◦ モデルの性能に固執するデータサイエンティストが増えた • 高性能な機械学習モデル ≠
ビジネス上で価値のあるモデル ◦ モデルの評価指標(損失関数)とビジネスの評価指標(KPI)は異なる • データサイエンティストの役割はサイエンスとビジネスの橋渡し ◦ ビジネスの問題をどうやってサイエンスの問題へ落とし込むか ▪ 評価指標、問題設定 そもそも企業のデータサイエンティストは売上を伸ばすために雇われている!
3 適切な評価指標を選ぶ • ECサイトでのクーポン配布の例 ◦ 男性と女性のどちらにクーポンを配布すべきかの意思決定に機械学習を用いる ▪ 性別に応じて、クーポン配布によって売上がいくら伸びるか予測するモデルを作った ◦ モデルAの方が誤差が少ないので、モデルAを意思決定に使おう!
▪ モデルAによると、男性にクーポンを配布すれば売上が伸びる! • しかし、実際は、男性にクーポンを配布しても売上は-100になる... ◦ 評価指標を、平均絶対誤差ではなく、符号的中率にすれば良い! ※参考文献:評価指標入門
4 問題設定の再設計 • 回帰か?分類か? ◦ 株価の自動売買 ▪ 株価は連続値なので回帰問題として解きたくなる。 • しかし、連続値は取りうる値が無数にあるので予測が難しい。
▪ 結局、重要なのは上がるか下がるかの2択なので2値分類として解くことが多い。 ◦ 降水量の予測(あまりビジネスとは関係ないが..) ▪ これも一見、回帰問題で解きたくなるが.. ▪ 同じ入力に対しても、3mmにも6mmにもなり得る(多峰性がある)。 • 単一の値を学習する代わりに、離散的な確率分布を多クラス分類で学習する。 ※参考文献:評価指標入門
5 参考文献 • 評価指標入門,高柳慎一,長田怜士,技術評論社,2023
6 Thank you