オンプレDWHエンジニアがクラウドDWHに期待している事

【クラスメソッド・アクセンチュア デジタル共催】 最新テクノロジー案件最前線！実践ノウハウから伝えるLT×10本勉強会 〜サーバーレス、ビッグデータ、IoT、認証、そしてDevOpsなど〜
https://dev.classmethod.jp/news/190716-lt-ac-vs-cm/

アクセンチュア登壇資料

Transcript

1. オンプレDWHエンジニアが クラウドDWHに期待している事 佐々木 雅文 2019.07.16
2. • 佐々木雅文 • ずーっとDBに携わってきた（パフォチューが好きでした） • DBの性能可視化、監視、監査パッケージの開発をしてきました 海の近くのオフィスでビーサン履いて出社してました • 主に触ってきたDBは Oracle, SQL Server, Postgres, Netezza, Greenplum, Redshift(絶賛構築中) 自己紹介
3. • オンプレのDWH(MPP)を運用したしみじみ話を共有したい • で、クラウドのDWH に期待していること 今日話したいこと 出典:データウェアハウスシステムのアーキテクチャ
4. • MPP, オープンソース, ソフトウェアパッケージ • 128TBのストレージ（フラッシュストレージ） • 計算ノード x 8 • 主にPOSデータを格納 1.5億件/日 • 用途は分析用とのデータ蓄積と加工 オンプレDWH
5. • 対応には非常に大きな時間と手間がかかる イベント 2016 2017 2018 • 計算ノードの追加 • 基盤移行 • ストレージ追加 • 運用開始 現在 • S/Wバージョンアップ 過去データの移行が進むと バッチが終わらなくなる オンラインの性能がでない クエリ処理時に生成する 一時領域を賄えなくなる サポートが切れる H/Wの調達が遅れるも、、 データの再分散に時間がかかる 結局はFSベースでの移行を行った サービス停止の調整が大変
6. • 運用面だけではなく、メリット・デメリットがあることを当然理解する必要があります エンジニア目線だけどいうとクラウドの場合アーキテクチャ・仕様の理解は難しい • 今はRedshift(AWS MPP)の構築に携わっている 運用面での負担がオンプレに比べると楽になりそうな期待は大いにある • クラウド提供されているDWH、クラウドデータ処理基盤も評価を続けているところです 弾力性の高いアーキテクチャ 混合ワークロード（バッチ、オンライン、アドホック）の解決 データサービス提供 クラウドDWHへ期待