Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
評価指標入門を読んでみた
Search
NearMeの技術発表資料です
PRO
June 09, 2023
Business
0
220
評価指標入門を読んでみた
NearMeの技術発表資料です
PRO
June 09, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
今だからこそ入門する Server-Sent Events (SSE)
nearme_tech
PRO
3
260
ReactNative のアップグレード作業が (意外に)楽しかった話
nearme_tech
PRO
2
80
強化学習アルゴリズムPPOの改善案を考えてみた
nearme_tech
PRO
0
8
Apple Containerについて調べて触ってみた
nearme_tech
PRO
0
150
Rust 並列強化学習
nearme_tech
PRO
0
24
並列で⽣成AIにコーディングをやらせる
nearme_tech
PRO
1
150
希望休勤務を考慮したシフト作成
nearme_tech
PRO
0
40
Hub Labeling による高速経路探索
nearme_tech
PRO
0
100
Build an AI agent with Mastra
nearme_tech
PRO
0
84
Other Decks in Business
See All in Business
Corporate Story (GA technologies Co., Ltd.)
gatechnologies
0
190
Data Cloudで実現する、 Agentforce が飛び交う Next Generation Platform
marreta27
0
160
エンジニア採用を引き継いだあなたへ〜EMが採用に向き合うとき、まず知っておきたいこと〜
kkun_22
PRO
1
560
メドピアグループ紹介資料
medpeer_recruit
10
140k
“成果”を出すためのプレゼン準備 プレゼン資料作成の前にやること
bunnchinn3
1
130
Strh株式会社 採用資料
strh
0
220
newmo 採用資料 / Join Our Team
newmo
2
140k
【UI/UXデザイナー職】中途採用向け会社説明資料(テックファーム株式会社)
techfirm
0
330
IT子会社のグローバルトレンド #scrumsendai / Global Trends in IT Subsidiaries
kyonmm
PRO
3
1.1k
「なんとなく使いにくい」を論理的に説明する方法 〜プロダクトエンジニアとしてUXを議論できる第一歩〜
mkitahara01985
0
440
映像×AI×IoT:領域を越境するプロダクトマネージメント
maeshima
2
840
エンジニア職/新卒向け会社紹介資料(テックファーム株式会社)
techfirm
1
4.7k
Featured
See All Featured
Music & Morning Musume
bryan
46
6.8k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
How STYLIGHT went responsive
nonsquared
100
5.8k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.2k
BBQ
matthewcrist
89
9.8k
What's in a price? How to price your products and services
michaelherold
246
12k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.1k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
930
How to train your dragon (web standard)
notwaldorf
96
6.2k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.9k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
3k
Building Applications with DynamoDB
mza
96
6.6k
Transcript
0 評価指標入門を読んでみた 2023-06-09 第47回NearMe技術勉強会 Takuma Kakinoue
1 レビュー • 評価指標入門(技術評論社) ◦ 総評:技術書というより、データサイエンティストの 心構えが学べる本。 ▪
良かった点 • 機械学習とビジネスのつながりが詳しく書いてある。 • 他の参考書にはない視点で語っており、 ハッと気づかされたことが多い。 ▪ 個人的にイマイチだった点 • 機械学習の誤差関数(RMSEなど)についての説明が若干長かった。 (ある程度、機械学習やってる人なら当たり前に 知ってそう)
2 評価指標入門の概要 • 近年のデータサイエンス事情 ◦ モデルの性能に固執するデータサイエンティストが増えた • 高性能な機械学習モデル ≠
ビジネス上で価値のあるモデル ◦ モデルの評価指標(損失関数)とビジネスの評価指標(KPI)は異なる • データサイエンティストの役割はサイエンスとビジネスの橋渡し ◦ ビジネスの問題をどうやってサイエンスの問題へ落とし込むか ▪ 評価指標、問題設定 そもそも企業のデータサイエンティストは売上を伸ばすために雇われている!
3 適切な評価指標を選ぶ • ECサイトでのクーポン配布の例 ◦ 男性と女性のどちらにクーポンを配布すべきかの意思決定に機械学習を用いる ▪ 性別に応じて、クーポン配布によって売上がいくら伸びるか予測するモデルを作った ◦ モデルAの方が誤差が少ないので、モデルAを意思決定に使おう!
▪ モデルAによると、男性にクーポンを配布すれば売上が伸びる! • しかし、実際は、男性にクーポンを配布しても売上は-100になる... ◦ 評価指標を、平均絶対誤差ではなく、符号的中率にすれば良い! ※参考文献:評価指標入門
4 問題設定の再設計 • 回帰か?分類か? ◦ 株価の自動売買 ▪ 株価は連続値なので回帰問題として解きたくなる。 • しかし、連続値は取りうる値が無数にあるので予測が難しい。
▪ 結局、重要なのは上がるか下がるかの2択なので2値分類として解くことが多い。 ◦ 降水量の予測(あまりビジネスとは関係ないが..) ▪ これも一見、回帰問題で解きたくなるが.. ▪ 同じ入力に対しても、3mmにも6mmにもなり得る(多峰性がある)。 • 単一の値を学習する代わりに、離散的な確率分布を多クラス分類で学習する。 ※参考文献:評価指標入門
5 参考文献 • 評価指標入門,高柳慎一,長田怜士,技術評論社,2023
6 Thank you