改訂新版データ分析基盤入門

改訂新版データ分析基盤入門 3/3 インフラエンジニア Books 30分でわかる「改訂新版データ分析基盤入門」 @APコミュニケーションズ　 YUKI
SAITO

@yuki_saito_en 斎藤友樹(SAITO YUKI) 2 https://menta.work/plan/2650 https://www.udemy.com/user/yuki-saito-7/ @yuki_saito_en https://service.visasq.com/users/6078548267368448 趣味に生きる人(エンジニア)
https://note.com/yukinkoyuki

@yuki_saito_en 3 エンジニアのためのデータ分析基盤入門とは？データ分析基盤のコンテキスト（データ量、規模、ユースケースなど）を理解して、適切な技術と機能を選べるようにする。ことを目指した本(の基本編)ですエンジニアな方々が世界観を掴んでもらったり、流れを理解して新たな情報に当たるための体力をつける位置付け

@yuki_saito_en 4 改定におけるリリースノート基盤と外部システムの連携に関する論点の追加が主 1. オープンテーブルフォーマット(とレイクハウス) 2. セマンティックレイヤーとヘッドレスBI 3. リバースETL
4. データプロダクト 5. 非データエンジニア向けの0/9章の追加

@yuki_saito_en 5 システムとプラットフォーム再利用性と拡張性を最大化するのがプラットフォームの役割項目データ分析システムデータ(分析)プラットフォーム範囲部門単位組織横断的
柔軟性低い高い対象者ビジネス部門、アナリストデータエンジニア、運用チーム規模小規模運用大規模運用データ管理単一データソース複数データソース

@yuki_saito_en 6 0章非データエンジニアが全体像を掴むための章

@yuki_saito_en 7 オープンテーブルフォーマットソフトウェアエンジニアリングの世界観をデータ分析基盤へデータレイク /DWH(with Parquet) 1. トランザクション性がない ◦
一部の書き込みが失敗でデータが不整合状態に ◦ 更新操作が困難（上書きや削除が手間）。 2. パフォーマンスの問題 ◦ スモールファイル問題 3. 一般的な開発のプロセスと統合しにくい ◦ 「今」を管理することに主眼 i. DEV/ST/PRODのような使い分けがしづらい ii. メタデータ(スキーマなど)の変更履歴が追いにくいデータレイク /DWH(with オープンテーブルフォーマット ) 1. トランザクション性を一部サポート ◦ ファイル単位のトランザクションであることには注意 ◦ 行レベルでの変更が可能に 2. パフォーマンス問題の解決がシンプルに ◦ コンパクションの登場 3. 一般的な開発のプロセスと統合がしやすく ◦ ブランチング機能/タイムトラベル ◦ メタデータ管理がより統合しやすく i. 現在だけでなく履歴を管理可能に ii. REST API形式でクラウドネイティブに ◦ (本番のデータを利用するものの ) i. データの使い分けの管理が格段に上昇

@yuki_saito_en 8 データレイクハウスオープンテーブルフォーマットを軸にデータレイクを拡張参考: https://www.imagazine.co.jp/datalake-house-series-001 / REST API型のカタログデータカタログ
データカタログメタデータ用途への適用

@yuki_saito_en 9 リバースETL プラットフォームと外部システムを連携するための方策

@yuki_saito_en 10 セマンティックレイヤーデータの利用を統一化し不確実性の低減を目的とする概念

@yuki_saito_en 11 ヘッドレス BI 共通の利用インターフェース経由でデータを提供する参考：https://www.palantir.com/docs/foundry/api/ontologies-v2-resources/ontology-objects/aggregate-objects

@yuki_saito_en 12 データプロダクトシステムの概念がデータ分析基盤にも入ってきたネイティブアプリケーションとの連携連携例： • ダッシュボードやレポート • 機械学習モデルやその結果を利用したシステム
◦ 推奨システムやパーソナライズサービス • ヘッドレスBIなどのデータ駆動型のAPIの活用

@yuki_saito_en 13 9章０〜８章までの知識の一部を利用して、シンプルなユースケースでデータ分析基盤を設計・構築してみる章です

@yuki_saito_en 14 Tech Books Plus シリーズデータエンジニアリングの言語化の進捗を感じる昨今

@yuki_saito_en ありがとうございました 15

改訂新版データ分析基盤入門

改訂新版データ分析基盤入門

Yuki

More Decks by Yuki

Featured

Transcript