20181130__Hadoop.pptx.pdf

Transcript

1. CDH最新情報 「SQL Query Engine」技術の比較 加藤 雅行
2. 調査動機
3. おさらい（Hive）
4. おさらい（Impala）
5. HiveとImpalaの比較 Hive Impala アルゴリズム 結合処理も集約処理もソートベー ス(MapReduce) 結合処理も集約処理もハッシュベース 設計 ・ 二次記憶に中間データを記録し ながら処理を進める。 → ロバスト性や耐障害性を重視し た設計 → I/O量が多くなる ・ 内部でMapReduceの変換を行っ ているのでジョブの開始が遅く、他 にも多くのオーバーヘッドを有して いる。 ・ 最初の読み出し以外は基本的にメモリ 上で処理が行われる。 →中間データがメモリに収まらない、途中 で障害が発生した場合はクエリを正常に 終了することができない。 用途 バッチ処理 クエリ結果をインタラクティブに受け取る データソース ファイル（TEXTFILE、 SEQUENCEFILE、RCFILE、 etc…） HDFS、s3、Hbase、etc… 5 様々な外部要因から影 響をされにくい性質
6. 一旦結論
7. Clouderaの今後のHiveへの対応
8. Hiveを高速化する方法について
9. 結論と提案
10. 参考資料