スケールアウト・インメモリ分析の標準フォーマットを目指す Apache Arrow と Value Vectors

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2016 MapR Technologies 3 © 2016 MapR Technologies 3 Apache Arrow プロジェクト •  カラム型インメモリ分析のデファクト標準を目指す Apache プロジェクト •  2016年2月にトッププロジェクトとして登場 •  Apache Drill のスタートアップ Dremio がプロジェクトの中心となっており、Arrow は Drill の Value Vectors フォーマットが発祥 “Apache Arrowプロジェクトは、これらの協力プロジェクトのコミュニティや専門家集団の存在を理由として、通常は必要とされるプロジェクトの有効性を検証するためのインキュベーターフェーズを省略し、...” インメモリビッグデータシステムをつなぐ「Apache Arrow」 http://japan.zdnet.com/article/35078163/

Slide 4

Slide 4 text

© 2016 MapR Technologies 4 © 2016 MapR Technologies 4 課題：インメモリ分析の流行ビッグデータ初期の課題: •  バッチ処理に特化された処理エンジンの非効率性 •  高速な分析レスポンスのニーズに対するディスクアクセスの遅さ新たな課題: •  各製品が独自のインメモリデータ表現を採用することによる非効率性インメモリ処理を最大限活用する製品の登場 •  Impala, Drill, SAP HANA のような SQL エンジン •  Spark, Flink のような実行フレームワーク •  Storm, Kafka, Apex のようなストリーム処理エンジン

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2016 MapR Technologies 7 © 2016 MapR Technologies 7 分析テクノロジーのトレンドとビジネス要件インメモリ複合データと動的スキーマカラム型分析に適した、Apache Parquet を始めとするカラム型データフォーマットの普及データ格納に必要なストレージ容量の削減と分析ワークロードの性能向上メモリ上にデータを保持することによる、分析処理レスポンスの大幅な短縮もはやデータのアクセス待ちをしたい人はいない・・・現実のデータは階層構造、ネスト構造を使うことでより簡潔に表現できる場合がある JSONやドキュメントデータベースの普及に伴い、分析システムはこれらを直接扱える必要がある 3つの要件を満たし、性能面のメリットと同時に分析の柔軟性を得ることが求められる

Slide 8

Slide 8 text

© 2016 MapR Technologies 8 © 2016 MapR Technologies 8 Arrow とは •  SQL、JSON で定義済みの型を含む基本データ型 •  基本データ型を用いた任意の複合レコード構造をサポートするための、カラム型インメモリデータ表現形式 •  Pick-List、Hash Table、Queue のような補助データ構造 •  共有メモリ、TCP/IP、RDMA を介したプロセス間通信データ構造アルゴリズムクロス言語バインディングのコンビネーション •  Java、C、C++、Python 等の言語向けのデータアクセスライブラリ •  ビットマップ選択、ハッシュ、フィルタリング、バケッティング、ソート、マッチング等の操作のための、パイプライン化された SIMD アルゴリズム •  カラム型インメモリ圧縮 •  不揮発性メモリ、SSD、HDD への短期的なデータ格納のためのツール

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2016 MapR Technologies 11 © 2016 MapR Technologies 11 Arrow を支持するプロジェクト • Calcite (データ処理エンジン) • Cassandra (NoSQLデータストア) • Drill (SQL-on-Hadoop) • Hadoop (ビッグデータ基盤) • HBase (NoSQLデータストア) • Ibis (データ分析フレームワーク) • Impala (SQL-on-Hadoop) •  Kudu (分析用ストレージ) •  Pandas (データ分析ライブラリ) •  Parquet (データフォーマット) •  Phoenix (SQL-on-HBase) •  Spark (データ分析フレームワーク) •  Storm (ストリーミング処理)

Slide 12

Slide 12 text

© 2016 MapR Technologies 12 © 2016 MapR Technologies 12 カラム型フォーマット c2 c3 c1 v12 v13 v11 v22 v23 v21 v32 v33 v31 v42 v43 v41 v52 v53 v51 c2 c3 c1 v12 v13 v11 v22 v23 v21 v32 v33 v31 v42 v43 v41 v52 v53 v51 Row-oriented フォーマット (CSV, 従来のRDB, …) Column-oriented フォーマット (Parquet, ORC, …)

Slide 13

Slide 13 text

© 2016 MapR Technologies 13 © 2016 MapR Technologies 13 カラム型フォーマット •  分析ワークロードの性能向上 –  一部のカラムの射影 –  特定カラムの値の条件によるフィルタリング –  特定カラムの値の集計 –  すべてのデータをスキャンする必要がないケースが多い •  ストレージ容量の削減 –  カラム内のデータは似たデータが並ぶため圧縮効率が高い –  例: ID、日付、性別 •  ・・・ただしここまではディスク上のフォーマットの話

Slide 14

Slide 14 text

© 2016 MapR Technologies 14 © 2016 MapR Technologies 14 カラム型フォーマット: メモリ上のフォーマットの場合 •  最新の CPU の機能を最大限に使いきることが最大の目標 –  キャッシュ局所性を最大化 –  パイプライン実行 –  SIMD 命令の活用 –  これらにより10〜100倍の実行性能向上も •  メモリ利用の効率化 –  ベクトル化されたデータは Record Batch という単位（最大64kレコード）でグループ化 –  メモリ上に載り切らないサイズのデータの扱いが可能 Record Batch VV VV VV VV Record Batch VV VV VV VV Record Batch VV VV VV VV VV: Value Vector

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2016 MapR Technologies 17 © 2016 MapR Technologies 17 データレイアウト: List 型 •  同じ型を持つ、各要素が可変長の連続した値を持つネストされた配列 –  違う型を持つ場合は Union 型で •  値の配列とオフセット配列からなる –  オフセットは先頭からの要素数 –  すべての要素に O(1) で到達可能 •  ネストデータは階層を n とすると O(n) [ 　　[‘j’, ‘o’, ‘e’], 　　null, 　　[‘m’, ‘a’, ‘r’, ‘k’] ]

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2016 MapR Technologies 19 © 2016 MapR Technologies 19 データレイアウト: Struct 型 •  順序と型を持つ「フィールド」要素から構成されるネストデータ型 •  フィールドは通常名前を持つが、名前や型は物理メモリレイアウトとは別のメタデータとして管理 •  Struct 全体の Null ビットマスクを持つことも可能 Struct [nullable] < name: String (= List) [nullable], age: Int32 [not-nullable] >

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2016 MapR Technologies 21 © 2016 MapR Technologies 21 データレイアウト: Sparse Union 型 •  Dense Union 型からオフセット配列を除いたもの –  各子配列の長さは Union の長さと一致する •  Dense Union 型と比べると大幅にメモリを必要とするが利点もある –  例: 同じ長さの複数の配列がある時、タイプ配列を定義するだけでUnion型に変換可能

Slide 22

Slide 22 text

© 2016 MapR Technologies 22 © 2016 MapR Technologies 22 Intel の SIMD 技術（SSE/AVX） SSE AVX Nehalem世代以前 128bit幅 SIMDレジスタ 8単精度FP演算/クロック  4倍精度FP演算/クロック 128bit整数演算 AVX2 AVX-512 2015 2013 2011 〜2010 Sandy Bridge世代 256bit幅 SIMDレジスタ 16単精度FP演算/クロック  8倍精度FP演算/クロック Haswell世代 256bit幅 SIMDレジスタ 32単精度FP演算/クロック  16倍精度FP演算/クロック 256bit整数演算 Skylake世代 512bit幅 SIMDレジスタ 64単精度FP演算/クロック  32倍精度FP演算/クロック 512bit整数演算

Slide 23

Slide 23 text

© 2016 MapR Technologies 23 © 2016 MapR Technologies 23 ベクトル化 •  一般の RDBMS では 1 レコード単位の処理 •  Arrow では同時に複数レコードの処理を実行 –  複数のレコードから取り出されたカラムのセット •  Record Batch という –  最新の CPU の機能を考慮 •  最新の CPU アーキテクチャに最適化 •  SIMD (Single Input Multiple Data) インストラクション –  AVX インストラクションの利用により時に 100 倍の性能向上も •  CPU パイプライン高速化のためブランチングを回避 –  処理ループをなるべく小さく、単純化 •  すべてのパイプラインが埋まっている状態にすることで効率を最大化

Slide 24

Slide 24 text

© 2016 MapR Technologies 24 © 2016 MapR Technologies 24 ベクトル化同時に複数のレコードに対し操作を行う Id Name Age 101 abc 22 102 def 37 104 ghi 45 105 jkl 25 108 mno 31 112 pqr 27 114 owx 35 リレーションベクトル化された Record Batch Id 101 102 104 105 Name abc def ghi jkl Age 22 37 45 25 108 112 114 mno pqr owx 31 27 35

Slide 25

Slide 25 text

© 2016 MapR Technologies 25 © 2016 MapR Technologies 25 ロードマップ •  2016年内に Drill, Impala, Kudu, Ibis, Spark が Arrow に対応予定 •  R, Julia, JavaScript の言語バインディングも開発進行中 •  Strata + Hadoop World San Jose の次の講演 (3/30) にも注目 –  Faster conclusions using in-memory columnar SQL and machine learning Wes McKinney (Cloudera), Jacques Nadeau (Dremio)