Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2022-01-29 KServe概要@機械学習の社会実装勉強会
Search
Naka Masato
January 29, 2022
Technology
0
920
2022-01-29 KServe概要@機械学習の社会実装勉強会
1. KServe概要
2. KServeのコンポーネント
3. KServeのアーキテクチャ
4. QuickStartの紹介
5. SklearnServerの仕組み紹介
Naka Masato
January 29, 2022
Tweet
Share
More Decks by Naka Masato
See All by Naka Masato
Dev Containerで安全に Claude Codeを使う
nakamasato
0
69
2025-01-26 Platform EngineeringがあればSREはいらない!? 新時代のSREに求められる役割とは@SREKaigi 2025
nakamasato
0
50
2025-01-25 Devin.aiを使ってみた使用感@機械学習社会実装勉強会第43回
nakamasato
0
480
2024-07-11 Mercari Hallo 立ち上げ時のSRE
nakamasato
2
590
2024-07-03 Eliminating toil with LLM
nakamasato
1
240
2024-05-25LangChain Agentの仕組み@機械学習社会実装勉強会第35回
nakamasato
0
330
2022-06-18 Ray Trainの紹介@機械学習の社会実装勉強会第12回
nakamasato
0
230
Ray Serve@機械学習の社会実装勉強会第11回
nakamasato
0
650
2022-04-29 Ray紹介@機械学習の社会実装勉強会
nakamasato
0
280
Other Decks in Technology
See All in Technology
Snowflakeの生成AI機能を活用したデータ分析アプリの作成 〜Cortex AnalystとCortex Searchの活用とStreamlitアプリでの利用〜
nayuts
0
280
生成AI時代のデータ基盤設計〜ペースレイヤリングで実現する高速開発と持続性〜 / Levtech Meetup_Session_2
sansan_randd
1
140
Grafana MCPサーバーによるAIエージェント経由でのGrafanaダッシュボード動的生成
hamadakoji
1
1.3k
LLM翻訳ツールの開発と海外のお客様対応等への社内導入事例
gree_tech
PRO
0
540
Kubernetes における cgroup v2 でのOut-Of-Memory 問題の解決
pfn
PRO
0
460
allow_retry と Arel.sql / allow_retry and Arel.sql
euglena1215
1
150
AIのグローバルトレンド2025 #scrummikawa / global ai trend
kyonmm
PRO
1
230
Vault meets Kubernetes
mochizuki875
0
270
DDD集約とサービスコンテキスト境界との関係性
pandayumi
2
260
AWSで始める実践Dagster入門
kitagawaz
0
240
【Grafana Meetup Japan #6】Grafanaをリバプロ配下で動かすときにやること ~ Grafana Liveってなんだ ~
yoshitake945
0
230
クラウドセキュリティを支える技術と運用の最前線 / Cutting-edge Technologies and Operations Supporting Cloud Security
yuj1osm
2
270
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
19k
Designing for humans not robots
tammielis
253
25k
RailsConf 2023
tenderlove
30
1.2k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
How to Ace a Technical Interview
jacobian
279
23k
BBQ
matthewcrist
89
9.8k
Embracing the Ebb and Flow
colly
87
4.8k
A better future with KSS
kneath
239
17k
Code Reviewing Like a Champion
maltzj
525
40k
Transcript
KServe概要 2022/01/29 Naka Masato
自己紹介 名前 那珂将人 経歴 • アルゴリズムエンジニアとしてレコメンドエンジン開発 • インフラ基盤整備 GitHub: https://github.com/nakamasato
Twitter: https://twitter.com/gymnstcs
コンテンツ • KServe 概要 • KServe アーキテクチャ • QuickStart •
SKlearnServer の仕組みの紹介
KServeとは ML model を本番環境へのデプロイと監視に関するチャレンジを解消するために作られ たモデル推論プラットフォーム Highly scalable and standards based
Model Inference Platform on Kubernetes for Trusted API.
KServeの特徴 1. Kubernetes の CustomResourceDefinition を 使ってモデルのサービングを管理 2. Kubernetes の機能を駆使して
ML モデルデ プロイ・管理の問題を解決 a. デプロイ b. モニタリング c. スケール 3. さまざまな ML ライブラリのモデルをサポート 🔺複雑に見えて、初心者にはとっつきにくい ! https://kserve.github.io/website/master/
1. KServe: CRD によってサービングしたいモデルを記述して作成する 2. Knative: オートスケーリング、バージョン管理、 Routing など全部やってくれるパック 3.
Istio: Microservices の可観測性、トラッフィク管理、セキュリティをコード変更なしで実 現 4. Cert Manager: TLS の certificate を管理 KServeで使われているコンポーネント KServce Knative Istio Cert Manager Serving するもの を定義 残りは、いろんなコンポーネントがうまく Deploy 管理、トラフィック管理、スケー リング、モニタリング、セキュリティなどをやってくれる Pod gateway
Control Planeのアーキテクチャ https://kserve.github.io/website/master/modelserving/control_plane/ 超複雑!
Control Planeのアーキテクチャ https://kserve.github.io/website/master/modelserving/control_plane/ 2. KServing の Controller が Knative を
通じて Deployment を作成 3. Pod が Deployment によって作成さ れます 4. AI app からのトラフィックは Transformer → Predictor 1. CustomResource の InferenceService を作成
QuickStart Prerequisite 1. Kubernetes Cluster Install Create InferenceService Check curl
-s "https://raw.githubusercontent.com/kserve/kserve/release-0.7/hack/quick_install.sh" | bash kubectl create ns kserve-test kubectl apply -f sklearn-inference-service.yaml -n kserve-test https://kserve.github.io/website/master/get_started/ curl -H "Host: ${SERVICE_HOSTNAME}" http://$INGRESS_HOST:$INGRESS_PORT/v1/models/sklearn-iris:predict -d @./data/iris-input.json
SKLearn Serverについて scikit-learn server は、 serving Scikit-learn models の実装になります https://github.com/kserve/kserve/tree/master/python/sklearnserver
sklearnserver というのが実装してあり、ローカルや s3 にある sklearn model を指定してサー ビング https://github.com/kserve/kserve/blob/master/python/sklearnserver/sklearnserver/__main__.py
SKLearn Serverについて SKLearnModel には 以下のメソッドが実装されている 1. load 2. predict
SKLearn Serverについて KServe で動かした QuickStart は、こちらがコンテナで動いていた ローカルで動かす場合は、以下のようにできる 1. モデルのファイルを準備 2.
sklearnserver を起動 3. client からアクセス python -m sklearnserver --model_dir ./ --model_name svm
まとめ 1. KServe を紹介 2. KServe の各コンポーネントの大まかな役割を紹介 3. KServe の
QuickStart を紹介 4. KServe の SKlearn Server がどのように作られているかを紹介