Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2022-01-29 KServe概要@機械学習の社会実装勉強会
Search
Naka Masato
January 29, 2022
Technology
0
410
2022-01-29 KServe概要@機械学習の社会実装勉強会
1. KServe概要
2. KServeのコンポーネント
3. KServeのアーキテクチャ
4. QuickStartの紹介
5. SklearnServerの仕組み紹介
Naka Masato
January 29, 2022
Tweet
Share
More Decks by Naka Masato
See All by Naka Masato
2022-06-18 Ray Trainの紹介@機械学習の社会実装勉強会第12回
nakamasato
0
150
Ray Serve@機械学習の社会実装勉強会第11回
nakamasato
0
310
2022-04-29 Ray紹介@機械学習の社会実装勉強会
nakamasato
0
180
2022-03-26 TensorFlow Parameter Server Training紹介@機械学習の社会実装勉強会
nakamasato
0
110
2022-02-26 Kubeflow Training Operator - TFJob紹介@機械学習の社会実装勉強会
nakamasato
0
360
2021-12-18 Kubeflow Pipelines概要@機械学習の社会実装勉強会
nakamasato
0
250
2021-11-27 Online Learning Python Library: river
nakamasato
0
180
2021-10-23 Amazon SagaMaker with MLflow
nakamasato
0
210
2021-09-25 SageMaker from Zero@機械学習の社会実装勉強会
nakamasato
0
150
Other Decks in Technology
See All in Technology
開発生産性向上サービスを作るFindyが自分たちで開発生産性を爆上げした組織づくりの歩み / Findy's path to boosting its own development productivity 2024-04-17
ma3tk
3
650
Azure犬駆動開発の記録/GlobalAzureFukuoka2024_20240420
nina01
1
210
Terraformあれやこれ/terraform-this-and-that
emiki
8
1.4k
オーナーシップを持つ領域を明確にする
konifar
13
3.1k
Tellus の衛星データを見てみよう #mf_fukuoka
kongmingstrap
0
180
AOAI をきっかけに 社内の Azure 管理を見直した話
recruitengineers
PRO
1
270
Java EE/Jakarta EEの現状と将来―クラウドネイティブ時代にJava EEは対応できるのか?―
takakiyo
1
150
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
560
アクセス制御にまつわる改善 / Improving access control
itkq
0
530
Google Cloud Next '24 Recap(Cloud Run/k8s)
mokocm
0
110
リテール金融(キャッシュレス・ネット銀行・ネット証券)の競争環境と経済圏
8maki
0
790
非同期推論システムによるコスト削減と信頼性向上
koki_nishihara
0
230
Featured
See All Featured
Bash Introduction
62gerente
604
210k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
2
1.3k
A Tale of Four Properties
chriscoyier
151
22k
Optimising Largest Contentful Paint
csswizardry
8
2.4k
Building Flexible Design Systems
yeseniaperezcruz
319
37k
Product Roadmaps are Hard
iamctodd
44
9.7k
Creatively Recalculating Your Daily Design Routine
revolveconf
210
11k
Web Components: a chance to create the future
zenorocha
305
41k
Robots, Beer and Maslow
schacon
PRO
155
7.9k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
Become a Pro
speakerdeck
PRO
11
4.5k
Transcript
KServe概要 2022/01/29 Naka Masato
自己紹介 名前 那珂将人 経歴 • アルゴリズムエンジニアとしてレコメンドエンジン開発 • インフラ基盤整備 GitHub: https://github.com/nakamasato
Twitter: https://twitter.com/gymnstcs
コンテンツ • KServe 概要 • KServe アーキテクチャ • QuickStart •
SKlearnServer の仕組みの紹介
KServeとは ML model を本番環境へのデプロイと監視に関するチャレンジを解消するために作られ たモデル推論プラットフォーム Highly scalable and standards based
Model Inference Platform on Kubernetes for Trusted API.
KServeの特徴 1. Kubernetes の CustomResourceDefinition を 使ってモデルのサービングを管理 2. Kubernetes の機能を駆使して
ML モデルデ プロイ・管理の問題を解決 a. デプロイ b. モニタリング c. スケール 3. さまざまな ML ライブラリのモデルをサポート 🔺複雑に見えて、初心者にはとっつきにくい ! https://kserve.github.io/website/master/
1. KServe: CRD によってサービングしたいモデルを記述して作成する 2. Knative: オートスケーリング、バージョン管理、 Routing など全部やってくれるパック 3.
Istio: Microservices の可観測性、トラッフィク管理、セキュリティをコード変更なしで実 現 4. Cert Manager: TLS の certificate を管理 KServeで使われているコンポーネント KServce Knative Istio Cert Manager Serving するもの を定義 残りは、いろんなコンポーネントがうまく Deploy 管理、トラフィック管理、スケー リング、モニタリング、セキュリティなどをやってくれる Pod gateway
Control Planeのアーキテクチャ https://kserve.github.io/website/master/modelserving/control_plane/ 超複雑!
Control Planeのアーキテクチャ https://kserve.github.io/website/master/modelserving/control_plane/ 2. KServing の Controller が Knative を
通じて Deployment を作成 3. Pod が Deployment によって作成さ れます 4. AI app からのトラフィックは Transformer → Predictor 1. CustomResource の InferenceService を作成
QuickStart Prerequisite 1. Kubernetes Cluster Install Create InferenceService Check curl
-s "https://raw.githubusercontent.com/kserve/kserve/release-0.7/hack/quick_install.sh" | bash kubectl create ns kserve-test kubectl apply -f sklearn-inference-service.yaml -n kserve-test https://kserve.github.io/website/master/get_started/ curl -H "Host: ${SERVICE_HOSTNAME}" http://$INGRESS_HOST:$INGRESS_PORT/v1/models/sklearn-iris:predict -d @./data/iris-input.json
SKLearn Serverについて scikit-learn server は、 serving Scikit-learn models の実装になります https://github.com/kserve/kserve/tree/master/python/sklearnserver
sklearnserver というのが実装してあり、ローカルや s3 にある sklearn model を指定してサー ビング https://github.com/kserve/kserve/blob/master/python/sklearnserver/sklearnserver/__main__.py
SKLearn Serverについて SKLearnModel には 以下のメソッドが実装されている 1. load 2. predict
SKLearn Serverについて KServe で動かした QuickStart は、こちらがコンテナで動いていた ローカルで動かす場合は、以下のようにできる 1. モデルのファイルを準備 2.
sklearnserver を起動 3. client からアクセス python -m sklearnserver --model_dir ./ --model_name svm
まとめ 1. KServe を紹介 2. KServe の各コンポーネントの大まかな役割を紹介 3. KServe の
QuickStart を紹介 4. KServe の SKlearn Server がどのように作られているかを紹介