Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps Workshopでの学びと弥生の研究開発基盤 / takeaways from M...
Search
yayoi_dd
January 31, 2023
Technology
0
6.3k
MLOps Workshopでの学びと弥生の研究開発基盤 / takeaways from MLOps workshop and YAYOI's research and development infrastructure
弥生株式会社 もくテク
AWS re:Invent 2022 参加報告会(2023/01/26)
https://mokuteku.connpass.com/event/266065/
yayoi_dd
January 31, 2023
Tweet
Share
More Decks by yayoi_dd
See All by yayoi_dd
“お客さま視点”を手に入れろ!! / Get the Customer’s Perspective!!
yayoi_dd
0
100
プロジェクト改善、まずは“ネタ出しの文化”から / Improving Projects Starts with a Culture of Idea Generation
yayoi_dd
0
100
使いにくい仕様を改善した件 / How We Improved a Difficult-to-Use Feature
yayoi_dd
0
110
弥生のQAエンジニア 品質保証活動と今後の課題 / Yayoi QA engineers, Quality assurance activities and future challenges
yayoi_dd
0
130
【弥生】20250130_AWSマルチアカウント運用セミナー登壇資料
yayoi_dd
2
4.3k
Amazon OpenSearchのコスト最適化とZeroETLへの期待 / Amazon OpenSearch Cost Optimization and ZeroETL Expectations
yayoi_dd
1
130
フロントエンドとバックエンド非同期連携パターンのセッションを見てきた話 / Talk about seeing a session on front-end and back-end asynchronous coordination patterns
yayoi_dd
0
94
reInventで学んだWebシステム運用のBadDayへの備え方 / How to Prepare for BadDay in Web System Operations Learned at reInvent
yayoi_dd
0
73
AWS reInventで感じた世界に見る生成AIの競争 / Competition in Generative AI as Seen Around the World at AWS reInvent
yayoi_dd
0
80
Other Decks in Technology
See All in Technology
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
shisyu_gaku
0
150
ブロックテーマ時代における、テーマの CSS について考える Toro_Unit / 2025.09.13 @ Shinshu WordPress Meetup
torounit
0
110
AIエージェント開発用SDKとローカルLLMをLINE Botと組み合わせてみた / LINEを使ったLT大会 #14
you
PRO
0
100
20250903_1つのAWSアカウントに複数システムがある環境におけるアクセス制御をABACで実現.pdf
yhana
3
540
おやつは300円まで!の最適化を模索してみた
techtekt
PRO
0
290
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.7k
なぜテストマネージャの視点が 必要なのか? 〜 一歩先へ進むために 〜
moritamasami
0
210
大「個人開発サービス」時代に僕たちはどう生きるか
sotarok
20
9.8k
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
21
9.8k
人工衛星のファームウェアをRustで書く理由
koba789
14
7.4k
ハードウェアとソフトウェアをつなぐ全てを内製している企業の E2E テストの作り方 / How to create E2E tests for a company that builds everything connecting hardware and software in-house
bitkey
PRO
1
120
「何となくテストする」を卒業するためにプロダクトが動く仕組みを理解しよう
kawabeaver
0
380
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
51
5.6k
Faster Mobile Websites
deanohume
309
31k
A Modern Web Designer's Workflow
chriscoyier
696
190k
Six Lessons from altMBA
skipperchong
28
4k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Balancing Empowerment & Direction
lara
3
620
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Producing Creativity
orderedlist
PRO
347
40k
Music & Morning Musume
bryan
46
6.8k
Transcript
LT2 MLOps Workshopでの学びと 弥生の研究開発基盤 弥生株式会社 鍋谷 碧衣 2023/01/26
自己紹介 名前:鍋谷 碧衣(なべや あおい) 職歴:弥生に新卒入社し、エンジニア4年目 業務:YAYOI SMART
CONNECTの機械学習を使った推論部分を実装、研究開発
re:Inventでいろいろ参加しました! AWSのCEOやCTO、その他各分野責任者によるKeynote AWSの活用に関する様々なBreakout Session ゲーム形式で課題を解くAWS Jam
実際に手を動かす形式のWorkshop Swami SivasubramanianのKeynoteより
道中いろいろありましたが… 海外旅行名物、飛行機が大幅に遅れる お弁当に丸ごとりんごが入っていて どうしようか悩む
行ってよかったです! AWSのサービスで世界を盛り上げようという熱気を肌で感じられた 普段業務でなかなか触れないサービスに現地で触れて、便利さに感動した 普段使うサービスを学び直し、新たな知見を得ることができた 学びの尽きない、楽しくあっという間の5日間でした!
今回のお話 AWSのサービスで世界を盛り上げようという熱気を肌で感じられた 普段業務でなかなか触れないサービスに現地で触れて、便利さに感動した 普段使うサービスを学び直し、新たな知見を得ることができた re:Inventで参加した MLOps WorkShop
について話します
参加したWorkshop Amazon SageMaker MLOps Workshop https://catalog.us-east-1.prod.workshops.aws/workshops/7acdc7d8-0ac0-44de-bd9b- e3407147a59c/en-US
Amazon SageMakerを活用したMLOps実現のベストプラクティスをハンズオン形式で 学ぶ
現地でWorkshopに参加することの良さ あらかじめ用意されたSandbox環境で手軽にハンズオンを実施できる 導入部分で躓くことなく、コアな部分の学習に集中できる 操作面で迷った際にすぐに質問できる 文章だと言い表しにくいところなども画面を見せながら質問できる
インストラクターの作業を見ることで学べることも多い SageMakerに限らず、Jupyter Notebookの使い方のTipsなども学べる
MLOpsとは? DevOpsの機械学習(ML)版 MLモデルの開発~デプロイサイクルを自動化するもの MLプロジェクトを円滑に進め、早く大きな成果を出していくための取り組み
AWSにおけるMLOps Amazon SageMakerの各種サービスを使用してMLOpsを実現
弥生の研究開発基盤の状況 1年ほど前からAmazon SageMakerを利用し、クラウド上の実験環境を構築して いる それ以前はローカルやVMで個々で研究開発をしていた Amazon SageMakerの機能については段階的に利用を進めている途中
弥生の研究開発基盤の状況 活用状況 検証 SageMaker上のJupyter Notebookでの実験が中心 Jobについてはまだ実用的な活用は進められていない 検証結果管理 現在は手動で実施 モデル管理 研究開発環境では特にモデル管理をしていない
本番環境は独自の管理機構を構築している パフォーマンス監視 研究開発環境とサービスの開発環境が完全に別 本番環境は独自の監視機構を構築している SageMakerでMLOpsを実現するためのベストプラクティスを知りたい!
MLOpsのベストプラクティス 使用するサービス 学習・検証 SageMaker Processing Job、SageMaker Training Job 検証結果管理 SageMaker
Experiments モデル管理 SageMaker Model Registry 自動化 SageMaker Pipeline 推論 SageMaker Endpoint CI/CD SageMaker Deployment 監視 SageMaker Model Monitor Amazon SageMakerに用意されている様々なサービスを用いて、MLOpsを実現 SageMaker Python SDKを使用し、SageMaker Notebook上から環境を構築していく
SageMakerで実現するMLOpsの全体像 引用元:https://catalog.us-east-1.prod.workshops.aws/workshops/7acdc7d8-0ac0-44de-bd9b-e3407147a59c/en-US/module2/projects 今回は特に検証フェーズ 中心に確認しました
SageMakerで実現するMLOpsの全体像 引用元:https://catalog.us-east-1.prod.workshops.aws/workshops/7acdc7d8-0ac0-44de-bd9b-e3407147a59c/en-US/module2/projects 検証フェーズの SageMaker部分構成
実際に触ってみて特によいと思った点 検証段階でSageMaker Experimentsを使用できるが、これが便利 SageMaker Experimentsは、Training Jobの結果をUI上から確認できるツール 過去検証のパラメーター(条件)やトレーニング結果をUI上から確認できる
実際に触ってみて特によいと思った点 複数の検証ごとに訓練誤差等を可視化し比較
実際に触ってみて特によいと思った点 どの検証でどんなパラメーターを用いたのかも確認しやすい
実際に触ってみて特によいと思った点 検証ではパラメーターを変えながら同じアルゴリズムを動かすことも多い 手動でこれらの結果を一元管理するには独自のコードを記述する必要がある、 自動で管理してくれるのは便利
まとめ re:Inventに参加し、プロジェクトで使用しているAWSサービスについてより深 く知ることができた 研究開発の促進のためにも、AWSサービスについてもっと学んでいきたい