Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2022-01-29 KServe概要@機械学習の社会実装勉強会
Search
Naka Masato
January 29, 2022
Technology
0
890
2022-01-29 KServe概要@機械学習の社会実装勉強会
1. KServe概要
2. KServeのコンポーネント
3. KServeのアーキテクチャ
4. QuickStartの紹介
5. SklearnServerの仕組み紹介
Naka Masato
January 29, 2022
Tweet
Share
More Decks by Naka Masato
See All by Naka Masato
2025-01-26 Platform EngineeringがあればSREはいらない!? 新時代のSREに求められる役割とは@SREKaigi 2025
nakamasato
0
44
2025-01-25 Devin.aiを使ってみた使用感@機械学習社会実装勉強会第43回
nakamasato
0
460
2024-07-11 Mercari Hallo 立ち上げ時のSRE
nakamasato
2
570
2024-07-03 Eliminating toil with LLM
nakamasato
1
230
2024-05-25LangChain Agentの仕組み@機械学習社会実装勉強会第35回
nakamasato
0
300
2022-06-18 Ray Trainの紹介@機械学習の社会実装勉強会第12回
nakamasato
0
220
Ray Serve@機械学習の社会実装勉強会第11回
nakamasato
0
620
2022-04-29 Ray紹介@機械学習の社会実装勉強会
nakamasato
0
260
2022-03-26 TensorFlow Parameter Server Training紹介@機械学習の社会実装勉強会
nakamasato
0
170
Other Decks in Technology
See All in Technology
Should Our Project Join the CNCF? (Japanese Recap)
whywaita
PRO
0
290
生成AI時代 文字コードを学ぶ意義を見出せるか?
hrsued
1
730
タイミーのデータモデリング事例と今後のチャレンジ
ttccddtoki
4
1.6k
5min GuardDuty Extended Threat Detection EKS
takakuni
0
180
自律的なスケーリング手法FASTにおけるVPoEとしてのアカウンタビリティ / dev-productivity-con-2025
yoshikiiida
0
540
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
0
430
ビズリーチが挑む メトリクスを活用した技術的負債の解消 / dev-productivity-con2025
visional_engineering_and_design
0
200
「良さそう」と「とても良い」の間には 「良さそうだがホンマか」がたくさんある / 2025.07.01 LLM品質Night
smiyawaki0820
1
430
How Community Opened Global Doors
hiroramos4
PRO
1
130
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
0
450
Tech-Verse 2025 Keynote
lycorptech_jp
PRO
0
1.3k
Liquid Glass革新とSwiftUI/UIKit進化
fumiyasac0921
0
300
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
720
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Automating Front-end Workflow
addyosmani
1370
200k
What's in a price? How to price your products and services
michaelherold
246
12k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
5
230
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Practical Orchestrator
shlominoach
188
11k
Transcript
KServe概要 2022/01/29 Naka Masato
自己紹介 名前 那珂将人 経歴 • アルゴリズムエンジニアとしてレコメンドエンジン開発 • インフラ基盤整備 GitHub: https://github.com/nakamasato
Twitter: https://twitter.com/gymnstcs
コンテンツ • KServe 概要 • KServe アーキテクチャ • QuickStart •
SKlearnServer の仕組みの紹介
KServeとは ML model を本番環境へのデプロイと監視に関するチャレンジを解消するために作られ たモデル推論プラットフォーム Highly scalable and standards based
Model Inference Platform on Kubernetes for Trusted API.
KServeの特徴 1. Kubernetes の CustomResourceDefinition を 使ってモデルのサービングを管理 2. Kubernetes の機能を駆使して
ML モデルデ プロイ・管理の問題を解決 a. デプロイ b. モニタリング c. スケール 3. さまざまな ML ライブラリのモデルをサポート 🔺複雑に見えて、初心者にはとっつきにくい ! https://kserve.github.io/website/master/
1. KServe: CRD によってサービングしたいモデルを記述して作成する 2. Knative: オートスケーリング、バージョン管理、 Routing など全部やってくれるパック 3.
Istio: Microservices の可観測性、トラッフィク管理、セキュリティをコード変更なしで実 現 4. Cert Manager: TLS の certificate を管理 KServeで使われているコンポーネント KServce Knative Istio Cert Manager Serving するもの を定義 残りは、いろんなコンポーネントがうまく Deploy 管理、トラフィック管理、スケー リング、モニタリング、セキュリティなどをやってくれる Pod gateway
Control Planeのアーキテクチャ https://kserve.github.io/website/master/modelserving/control_plane/ 超複雑!
Control Planeのアーキテクチャ https://kserve.github.io/website/master/modelserving/control_plane/ 2. KServing の Controller が Knative を
通じて Deployment を作成 3. Pod が Deployment によって作成さ れます 4. AI app からのトラフィックは Transformer → Predictor 1. CustomResource の InferenceService を作成
QuickStart Prerequisite 1. Kubernetes Cluster Install Create InferenceService Check curl
-s "https://raw.githubusercontent.com/kserve/kserve/release-0.7/hack/quick_install.sh" | bash kubectl create ns kserve-test kubectl apply -f sklearn-inference-service.yaml -n kserve-test https://kserve.github.io/website/master/get_started/ curl -H "Host: ${SERVICE_HOSTNAME}" http://$INGRESS_HOST:$INGRESS_PORT/v1/models/sklearn-iris:predict -d @./data/iris-input.json
SKLearn Serverについて scikit-learn server は、 serving Scikit-learn models の実装になります https://github.com/kserve/kserve/tree/master/python/sklearnserver
sklearnserver というのが実装してあり、ローカルや s3 にある sklearn model を指定してサー ビング https://github.com/kserve/kserve/blob/master/python/sklearnserver/sklearnserver/__main__.py
SKLearn Serverについて SKLearnModel には 以下のメソッドが実装されている 1. load 2. predict
SKLearn Serverについて KServe で動かした QuickStart は、こちらがコンテナで動いていた ローカルで動かす場合は、以下のようにできる 1. モデルのファイルを準備 2.
sklearnserver を起動 3. client からアクセス python -m sklearnserver --model_dir ./ --model_name svm
まとめ 1. KServe を紹介 2. KServe の各コンポーネントの大まかな役割を紹介 3. KServe の
QuickStart を紹介 4. KServe の SKlearn Server がどのように作られているかを紹介