Slide 14
Slide 14 text
まとめ
1. Ray Serve
の基本的な使い方
a. Cluster + Ray Serve (serve.start() + xxx.deploy())
b. Request (HTTP or ServeHandle)
2. Ray Serve
の強み
a. Framework
に縛られない
b. Python
で設定、
Deploy
までが管理できる
c.
スケーラブルなシステムを簡単に構築できる
3.
他の
Serving
との比較
a. TFServing, TorchServe, ONNXServe: Framework
特化
b. AWS SageMaker, AzureML, Google AI Platform:
i. RayServe
は
Kubernetes
、
On-premise
でもどの
Cloud Provider
でも構築可能
Ray Cluster
が
local
でもすぐ立つので開発効率がよさそう
<-> Kubernetes, Cloud ML Platform