Slide 10
Slide 10 text
© Hitachi, Ltd. 2018. All rights reserved.
2-4 FPGAによるデータ分析処理の高速化
9
FPGAはSQL on Hadoop配下で動作し、ユーザからは⾒えない
Scan/Filter, Group by, Aggregationを、並列・パイプライン処理して高速化
データ量を1/100〜1/10,000に削減して、ソフトウェア処理に渡す
⇒ リソース(CPU、ネットワーク)利⽤率の緩和
データレイク
Hadoop
分散ストレージ
SQL on Hadoop(分散DBエンジン)
・・・
分析ツール
クエリ(SQL)
データ量を1/100 から 1/10,000 に削減
DB
テーブル
FPGA
SSD FPGA
SSD
PCIe
SSD
DB
テーブル
キーテクノロジー: 並列処理、パイプライン処理
FPGA(DB
FPGA(DB
FPGA(DB
FPGA(DBアクセラレータ
アクセラレータ
アクセラレータ
アクセラレータ)
)
)
)
Data
Data
Data
Data
Filter
Filter
Filter
Filter
Scan/
Scan/
Scan/
Scan/
Filter
Filter
Filter
Filter
Agregation
Agregation
Agregation
Agregation