５分ちょいでわかった気になるラムダアーキテクチャ

５分ちょいでわかった気になるラムダアーキテクチャ @yubessy 0x64 物語 Reboot #06 " システムアー
キテクチャ"

Lambda Architecture

Lambda Architecture ≠

ラムダアーキテクチャとは？ = ビッグデータ処理システムの設計指針例えるなら: Web アプリの設計指針 -> MVC
ビッグデータ処理システムの設計指針 -> ラムダアーキテクチャ提唱者: Nathan Marz Apache Storm の開発者

ビッグデータの例ログ最新の状態だけでなく過去の全事象を記録 -> 時間に対して線形にデータ量が増加ソーシャルネットワーク
ユーザ同士がサービス内でつながる -> ユーザ数 n に対して O(n^2) の関係データ

ビッグデータ処理システムの例データ分析基盤データドリブンな意思決定を支援するアドホックなクエリにも答えなければならない機械学習基盤データから直接サー
ビスや機能を創り出す非常に大きな計算量が必要となる

ビッグデータ処理の課題スケーラビリティデータ増に応じてリソースを追加 RDB では処理能力が追いつかない堅牢性
データ量が多いと耐障害性を保ちにくい汎用性どんな処理が実行されるか事前に予想しにくい

登場背景従来の状況個別の課題を対処療法的に解決 -> トレードオフによるいたちごっこ -> プロジェクト毎に同じ仕事の繰り返しラムダアーキテクチャ
課題を整理・一般化し、それらを包括的に解決 -> トレードオフを統制下に置く -> 一般的な枠組みに昇華

原理全ての処理はデータ集合に対するクエリである KPI 分析もレコメンド生成もデータ集合から価値を生み出す計算(= クエリ) とみなすクエリはデー
タに対する関数である関数は必要に応じて分割・合成できる -> 計算フローを垂直・水平に分割できる

全貌 https://dzone.com/articles/lambda-architecture-with-apache- spark

全貌バッチ層過去からの全データをマスタデータ化して蓄積マスタデータからバッチビューを生成スピード層
生データを低レイテンシのストリームに流すストリームからリアルタイムビューを生成サービス層２つのビューからクエリの結果を計算

マスタデータ

マスタデータ永続性を必要とする唯一のデータストアビューが失われてもマスタデータから再生成可純粋な事実データのみを追記方式で記録他の値から導出できる値は保持しない
削除・更新を行わない(≠RDB のテーブル) 分散ファイルシステム(HDFS, S3 等) を利用スキーマを強制できるフォーマットを利用

バッチビュー・リアルタイムビュー

バッチビュー・リアルタイムビュー計算量の多いクエリのために事前計算を行う e. g. アクセスログの時間毎・日毎の集計値バッチビューマスタデータに定期的なバッチ処理を実行
MapReduce, Apache Spark などを利用リアルタイムビュー生データをストリーム集計 Apache Storm, Amazon Kinesis などを利用

ラムダアーキテクチャの利点クエリの計算フローを２層に分けることで様々なトレードオフを回避正確性 <-> レイテンシ
クエリの自由度 <-> 計算量永続性をマスタデータのみに求めることで堅牢性とスケーラビリティを両立冗長化が容易 DB サーバ管理が不要

Livesense Analytics と Lambda Architecture アクセスログテーブルの生成バッチで導入マスタデータ (S3)
( ユーザID, タイムスタンプ, URL) のみを保持バッチビュー (Spark on EMR) visit_id や page_type などはこちらで生成リアルタイムビュー: 作ってない詳しくは↓ でデータ分析を支える「便利カラム」の問題点とその解決策 - LIVESENSE made*

Livesense Analytics と Lambda Architecture

まとめだいたいこの本に書いてる

参考 Lambda Architecture » λ lambda-architecture.net Lambda Architecture with Apache
Spark - DZone Big Data O'Reilly Japan - スケーラブルリアルタイムデータ分析入門

５分ちょいでわかった気になるラムダアーキテクチャ

５分ちょいでわかった気になるラムダアーキテクチャ

yubessy

More Decks by yubessy

Other Decks in Programming

Featured

Transcript