AWS Glue for Ray の普及にささやかで微力な貢献を

Transcript

1. AWS Glue for Ray の普及に ささやかで微力な貢献を 2024/7/25 株式会社エーピーコミュニケ―ションズ 坂口 拓生
2. 自己紹介
3. 3 プロフィール 名前 坂口拓生 (さかぐちたくみ) 会社 エーピーコミュニケーションズ AWS歴 5年~ (お仕事としては3年目) 最近のハイライト EMR Serverless をもう少し掘り下げたい
4. 本題
5. 5 今日のお話し AWS Glue for Ray を使おうとしたときに、 今一(私がアクセスしやすく、かつよく理解しやすい)ドキュメントや記事が 充実しているように思えない… 少しでも周知を広げられれば (都合)良い方向にいきやすいのでは!? 他力本願の心
6. 6 AWS GlueでのETLジョブ AWS Glue についてはよしとして AWS Glue for Ray AWS Glue for Apache Spark AWS Glue for Python Shell ・マルチノード環境での分散処理 ・Apache Spark 環境で実行 ・Sparkの学習コストがかかる ・シングルノードでの処理 ・分散処理をしないため、小～中規模向け ・マルチノード環境での分散処理 ・オープンソースフレームワーク Ray を使用できる ・学習コストが低め
7. 7 AWS Glue for Ray – 表面上 2022/11 にプレビュー利用開始 2023/6 に一般利用開始 AWSクラウド製品 で 検索すると出てくる アイコンもある
8. 8 AWS Glue for Ray - Ray AWS Glue for Ray ・Python アプリケーションをスケーリングするための統合フレームワーク ・オープンソースのライブラリ • Ray Core • Ray Data - Pure Pythonコードを分散アプリケーションとして ビルド、スケーリングするための機能の提供 - Rayアプリケーションにおける分散データ処理のた めのAPIを提供 https://github.com/ray-project/ray
9. 9 AWS Glue for Ray - Ray https://docs.ray.io/en/latest/data/api /from_other_data_libs.html Pandas DataFrame API と Ray Data API の比較
10. 10 AWS Glue for Ray – お試し Glue for Ray のジョブを作成
11. 11 AWS Glue for Ray – お試し Glue for Ray のジョブを作成 変更できる設定 Glue for Apache Spark ジョブ
12. 12 AWS Glue for Ray – お試し ray.init() :初期化 @ray.remote :分散処理した い関数やクラスに付与 remote() :分散処理したい関数を実行 ray.get :実行結果取得
13. 13 AWS Glue for Ray – お試し 実行してみたログ 関数8回実行 wait 5sec 関数8回実行 wait 10sec 関数4回実行 wait 10sec
14. 14 AWS Glue for Ray 以外での Ray 実行 Ray は使ってみたいけど AWS Glue for Ray はちょっと... Cloud9 なりでも一応使える $ pip3 install ray クラスター設定する場合はまた 変わってくるので注意！！ CloudShellでも デフォルトでインストールされる Ray バージョンは AWS Glue for Ray のものと異なる
15. 15 さいごに • Python触っている人にとってはそこまで大変じゃない • ただ、まだまだ情報は不足気味で機能もこれから(あくまで個人の感想です) • (最悪、)Ray.io (https://docs.ray.io/en/latest/index.html) のドキュメントや O’Reilly 本の熟読で… • 今後情報が増えていくと嬉しい AWS Glue 製品ページの 料金 (https://aws.amazon.com/jp/glue/pricing/) が まだ「プレビュー」表記の図 (2024/7/25時点)
16. THANKS