Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習プロジェクトでのPythonアップデートの難しさと得られた知見
Search
Yudai Hayashi
November 15, 2023
3
390
機械学習プロジェクトでのPythonアップデートの難しさと得られた知見
みんなのPython勉強会#99 で発表した資料です
https://startpython.connpass.com/event/300831/
Yudai Hayashi
November 15, 2023
Tweet
Share
More Decks by Yudai Hayashi
See All by Yudai Hayashi
ジョブマッチングプラットフォームにおける推薦アルゴリズムの活用事例
yudai00
0
32
ユーザーのプロフィールデータを活用した推薦精度向上の取り組み
yudai00
0
620
MCP Clientを活用するための設計と実装上の工夫
yudai00
1
1.1k
人とシゴトのマッチングを実現するための機械学習技術
yudai00
1
43
MCPを理解する
yudai00
16
12k
データバリデーションによるFeature Storeデータ品質の担保
yudai00
1
180
「仮説行動」で学んだ、仮説を深め ていくための方法
yudai00
8
1.9k
相互推薦システムでのPseudo Label を活用したマッチ予測精度向上の取り組み
yudai00
1
900
Wantedly Visitにおけるフリーワード検索時の推薦のオンライン化事例紹介
yudai00
1
290
Featured
See All Featured
Producing Creativity
orderedlist
PRO
347
40k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
How to Ace a Technical Interview
jacobian
279
23k
Raft: Consensus for Rubyists
vanstee
140
7.1k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Speed Design
sergeychernyshev
32
1.1k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
920
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
Mobile First: as difficult as doing things right
swwweet
224
9.9k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Transcript
© 2023 Wantedly, Inc. 機械学習プロジェクトでのPythonアップデー トの難しさと得られた知見 みんなのPython勉強会#99 Nov. 15 2023
- Yudai Hayashi
© 2023 Wantedly, Inc. 自己紹介 林 悠大 • 経歴: ◦ 東京大学工学系研究科でPh.D取得
◦ 2022年にウォンテッドリーにデータサイ エンティストとして新卒入社 • Twitter(X): @python_walker • 趣味: ◦ 読書 ◦ 音楽聴くこと ◦ ウイスキー Twitter
© 2023 Wantedly, Inc. Pythonアップデートをどのような順番で進めていくべきか Poetryで管理しているプロジェクト pyproject.toml Pythonと一緒にライブラリのアップデートも必 要になることが多い •
メインライブラリに破壊的変更が入る • Linterの挙動が変わる • ライブラリがメンテされてない 発生しうる問題 どこから始めたら効率的にPythonをアッ プデートできる? 機械学習周りだと破壊的変更やメンテス トップは頻繁に見られる
© 2023 Wantedly, Inc. Step 1:Warningを消していく • FutureWarning: 将来廃止されたり挙動が変わったりするという警告 •
DeprecationWarning: 将来廃止される予定であるという警告 e.g. Warning系はライブラリをアップデートすることで動かなくなる原因になりやすいのでアップ デート前に潰せるものは潰しておく
© 2023 Wantedly, Inc. Step 2:Dev dependenciesのバージョンを上げる 返り値の型がAとBで違う と怒られる (mypy)
typing.Selfが使えるのは 3.11から... Linterライブラリはバージョンアップデートで挙動が変わることがある
© 2023 Wantedly, Inc. Step 3:main dependenciesのバージョンを上げる メインの依存ライブラリのバージョンを上げていく • PyPIで公開されていてPythonを上げてもサポートが続いているライブラリ
• 自前で管理しているライブラリ • 外部が管理しているがメンテが止まっているライブラリ 自前で管理しているライブラリ メンテが止まっているライブラリ • 頑張ってバージョン制約を上げる • tagをつけて他のリポジトリに影響が出 ないように気をつける • 乗り換えを考える • 頑張って.whlをビルドする ここまでできたらPythonのバージョンを上げる
© 2023 Wantedly, Inc. Pythonのバージョンを上げた後は... BigQuery Looker モデルに意図しない変化が生じていないか、継 続的にモニタリングする体制が重要
© 2023 Wantedly, Inc. まとめ • Pythonのバージョンを上げるときには 落とし穴があちこちにあるので小さく進 めていくのが重要 •
機械学習の場合にはアップデートでモ デルの性能に意図しない変化が生じる 可能性がある。継続的に性能をモニタ リングする体制を作ることが重要 バージョンを上げたときの Issue