Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習プロジェクトでのPythonアップデートの難しさと得られた知見
Search
Yudai Hayashi
November 15, 2023
3
400
機械学習プロジェクトでのPythonアップデートの難しさと得られた知見
みんなのPython勉強会#99 で発表した資料です
https://startpython.connpass.com/event/300831/
Yudai Hayashi
November 15, 2023
Tweet
Share
More Decks by Yudai Hayashi
See All by Yudai Hayashi
ジョブマッチングプラットフォームにおける推薦アルゴリズムの活用事例
yudai00
0
39
ユーザーのプロフィールデータを活用した推薦精度向上の取り組み
yudai00
0
630
MCP Clientを活用するための設計と実装上の工夫
yudai00
1
1.2k
人とシゴトのマッチングを実現するための機械学習技術
yudai00
1
51
MCPを理解する
yudai00
17
12k
データバリデーションによるFeature Storeデータ品質の担保
yudai00
1
190
「仮説行動」で学んだ、仮説を深め ていくための方法
yudai00
8
1.9k
相互推薦システムでのPseudo Label を活用したマッチ予測精度向上の取り組み
yudai00
1
910
Wantedly Visitにおけるフリーワード検索時の推薦のオンライン化事例紹介
yudai00
1
290
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
Site-Speed That Sticks
csswizardry
11
890
For a Future-Friendly Web
brad_frost
180
9.9k
Facilitating Awesome Meetings
lara
56
6.6k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
The Invisible Side of Design
smashingmag
301
51k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
Six Lessons from altMBA
skipperchong
28
4k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Writing Fast Ruby
sferik
629
62k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Transcript
© 2023 Wantedly, Inc. 機械学習プロジェクトでのPythonアップデー トの難しさと得られた知見 みんなのPython勉強会#99 Nov. 15 2023
- Yudai Hayashi
© 2023 Wantedly, Inc. 自己紹介 林 悠大 • 経歴: ◦ 東京大学工学系研究科でPh.D取得
◦ 2022年にウォンテッドリーにデータサイ エンティストとして新卒入社 • Twitter(X): @python_walker • 趣味: ◦ 読書 ◦ 音楽聴くこと ◦ ウイスキー Twitter
© 2023 Wantedly, Inc. Pythonアップデートをどのような順番で進めていくべきか Poetryで管理しているプロジェクト pyproject.toml Pythonと一緒にライブラリのアップデートも必 要になることが多い •
メインライブラリに破壊的変更が入る • Linterの挙動が変わる • ライブラリがメンテされてない 発生しうる問題 どこから始めたら効率的にPythonをアッ プデートできる? 機械学習周りだと破壊的変更やメンテス トップは頻繁に見られる
© 2023 Wantedly, Inc. Step 1:Warningを消していく • FutureWarning: 将来廃止されたり挙動が変わったりするという警告 •
DeprecationWarning: 将来廃止される予定であるという警告 e.g. Warning系はライブラリをアップデートすることで動かなくなる原因になりやすいのでアップ デート前に潰せるものは潰しておく
© 2023 Wantedly, Inc. Step 2:Dev dependenciesのバージョンを上げる 返り値の型がAとBで違う と怒られる (mypy)
typing.Selfが使えるのは 3.11から... Linterライブラリはバージョンアップデートで挙動が変わることがある
© 2023 Wantedly, Inc. Step 3:main dependenciesのバージョンを上げる メインの依存ライブラリのバージョンを上げていく • PyPIで公開されていてPythonを上げてもサポートが続いているライブラリ
• 自前で管理しているライブラリ • 外部が管理しているがメンテが止まっているライブラリ 自前で管理しているライブラリ メンテが止まっているライブラリ • 頑張ってバージョン制約を上げる • tagをつけて他のリポジトリに影響が出 ないように気をつける • 乗り換えを考える • 頑張って.whlをビルドする ここまでできたらPythonのバージョンを上げる
© 2023 Wantedly, Inc. Pythonのバージョンを上げた後は... BigQuery Looker モデルに意図しない変化が生じていないか、継 続的にモニタリングする体制が重要
© 2023 Wantedly, Inc. まとめ • Pythonのバージョンを上げるときには 落とし穴があちこちにあるので小さく進 めていくのが重要 •
機械学習の場合にはアップデートでモ デルの性能に意図しない変化が生じる 可能性がある。継続的に性能をモニタ リングする体制を作ることが重要 バージョンを上げたときの Issue