Apache Spark 徹底入門のご紹介

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明 (やよいたかあき) Databricks アカウントSA部部長 ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。 2 @taka_aki

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved Apache Spark徹底入門 4/12発売！ Learning Spark 2nd Editionの翻訳 + αの内容となっています！本書は、ビッグデータを主な対象としたデータ分析フレームワークであるApache Spark、MLﬂow、Delta Lakeの中級入門書です。「動かしてみる」だけではなく、どのような仕組みになっているのか、どうすれば効率的な実装が行えるかまで踏み込みつつ、データAIの実装者が Apache Spark、MLﬂow、および Delta Lakeを使いこなすための解説を行います。

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved Learning Spark 2nd Editionとは 2020/8にオライリーから出版されました改訂版ではSpark 3.0を含めており、2nd Editionでは、データエンジニアとデータサイエンティストにとってSparkにおける構造化と統合が意味を持つのかを説明します。特に、本書ではシンプルなデータ分析、複雑なデータ分析や機械学習アルゴリズムの適用をどのように行うのかを説明しています。

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

©2024 Databricks Inc. — All rights reserved ハイライト Learning Spark 2nd Editionの翻訳 + αの内容となっています！ Apache Sparkとは何か？ ● Python、SQL、Scala、またはJavaの高レベルの構造化 APIの学習 ● Sparkの操作とSQLエンジンの理解 ● Spark構成とSpark UIを使用したSpark操作の検査、調整、デバッグ ● JSON、Parquet、CSV、Avro、ORC、Hive、S3、またはKafkaといったデータソースへの接続 ● 構造化ストリーミングを使用したバッチデータとストリーミングデータの分析の実施 Delta Lake ● オープンソースのDelta LakeとSparkを使用した信頼性の高いデータパイプラインの構築 MLlib / MLflow ● MLlibを使用する機械学習パイプラインの開発、 MLflowを使用するモデルの管理、本番化オリジナルコンテンツ ● pandasデータフレーム、sparkデータフレームに関する各種データフレームの使い分け ● LLMやEnglish SDK for SparkなどAIを活用した新たなコーディングスタイル、 LLMの実践

Slide 8

Slide 8 text

©2024 Databricks Inc. — All rights reserved ハイライト：章立て Learning Spark 2nd Editionの翻訳 + αの内容となっています！第1章: Apache Spark入門第2章: Apache Sparkのダウンロードと入門第3章: Apache Sparkの構造化API 第4章: Spark SQLとDataFrame: 組み込みデータソースの紹介第5章: Spark SQLとDataFrame: 外部データソースとのインタラクション第6章: Spark SQLと Dataset 第7章: Sparkアプリケーションの最適化およびチューニング第8章: 構造化Streaming 第9章: Apache Sparkを用いた信頼性の高いデータレイクの構築第10章: MLlibによる機械学習第11章: Apache Sparkによる機械学習パイプラインの管理、デプロイおよびスケール第12章: エピローグ：Apache Spark 3.x

Slide 9

Slide 9 text

Slide 10

Slide 10 text

©2024 Databricks Inc. — All rights reserved ハイライト: オリジナルコンテンツ English SDK for Apache Spark ● 英語(日本語)でSparkを操作 Pandas vs. Spark / English SDK for Apache Spark / Spark Connect / MLOps + LLMOpsなどをカバーしています

Slide 11

Slide 11 text

©2024 Databricks Inc. — All rights reserved 苦労したポイント初の翻訳作業ということもあり、試行錯誤の日々でした初回翻訳では生成AI(LLM)の力を借りましたが... ● 翻訳結果の確認は人手で行う必要があるので、ひたすらアウトプットを確認しました。 ● propertyが「不動産」だったりしてました。どこまで翻訳するのか問題 ● Driver、Worker、Executor、DataFrameのようにSpark固有の用語は原文のままとしました ● Structured Streamingは構造化Streamingとしました。長文入れるのか問題 ● 宗教問題になりそうですが、クエリ、パラメータなどに統一しています。