PoCにおけるRedshiftへの データ格納時に感じた課題・疑問点の解決

【クラスメソッド・アクセンチュア デジタル共催】 最新テクノロジー案件最前線！実践ノウハウから伝えるLT×10本勉強会 〜サーバーレス、ビッグデータ、IoT、認証、そしてDevOpsなど〜
https://dev.classmethod.jp/news/190716-lt-ac-vs-cm/

アクセンチュア登壇資料

Transcript

1. PoCにおけるRedshiftへの データ格納時に感じた課題・疑問点の解決 Accenture Digital Applied Intelligence 新井 康平 (Kohei Arai) 2019/07/16(火) 1
2. █ PoCにおけるRedshiftへのデータ格納時に感じた課題・疑問点の解決 - 自己紹介 - 概要 - 背景 - 課題・解決 Agenda 2
3. 自己紹介  2016年7月Accenture新卒入社 新井 康平 (Kohei Arai) #R #Python #Node.js #AWS  Digital Business Integration Consultant 3
4. 概要 触ったことも無かったRedshift データ取り込みに困った 課題・疑問とその解決の話
5. 背景 Copyright © 2019 Accenture. All rights reserved. PoCプロジェクトにおけるデータ受領 分析チーム クライアント 月次 データ提供 S3 アクセンチュア AWSアカウント Redshift  データ取り込み時間…  ストレージ不足… 1ファイル毎 Copy
6. 1ファイル最大でCopyに7時間ほどかかって辛い… Copyright © 2019 Accenture. All rights reserved.
7. 課題①データ取り込み時間 当初のRedshiftクラスター Redshift リーダー ノード コンピュート ノード コンピュート ノード コンピュート ノード (dc2.large) コンピュート ノード スライス数(2×4=8スライス)にファイルを分割 最大7時間ほどかかっていたCopyが約1時間で終わるようになった RAM RAM Core Core Disk Disk RAM RAM Core Core Disk Disk RAM RAM Core Core Disk Disk RAM RAM Core Core Disk Disk Copyright © 2019 Accenture. All rights reserved.
8. ストレージが不足していて辛い… Copyright © 2019 Accenture. All rights reserved.
9. 課題②ストレージ不足 Elastic Resize Elastic Resizeの結果、ストレージ問題は解決 Copyright © 2019 Accenture. All rights reserved.
10. 課題②ストレージ不足 想定していたElastic Resize後のRedshiftクラスター Redshift リーダー ノード コンピュート ノード (dc2.large) RAM RAM Core Core Disk Disk コンピュート ノード RAM RAM Core Core Disk Disk コンピュート ノード RAM RAM Core Core Disk Disk コンピュート ノード RAM RAM Core Core Disk Disk コンピュート ノード RAM RAM Core Core Disk Disk コンピュート ノード RAM RAM Core Core Disk Disk コンピュート ノード RAM RAM Core Core Disk Disk コンピュート ノード RAM RAM Core Core Disk Disk Elastic Resizeの結果、上記クラスター(2×8=16スライス)になると想定 Copyright © 2019 Accenture. All rights reserved.
11. ファイルを16分割すればより速くデータが取り込まれるのでは？ Copyright © 2019 Accenture. All rights reserved.
12. 課題②ストレージ不足 8スライスしか動いていない… Copy時に動いていたスライス Copyright © 2019 Accenture. All rights reserved.
13. 課題②ストレージ不足 Copyright © 2019 Accenture. All rights reserved. AWS見解 Elastic Resizeでは既存スライスを新ノードに割り当てているだけ
14. 課題②ストレージ不足 Elastic Resize後のRedshiftクラスター Redshift リーダー ノード コンピュート ノード (dc2.large) コンピュート ノード コンピュート ノード コンピュート ノード コンピュート ノード コンピュート ノード コンピュート ノード コンピュート ノード RAM Core Disk RAM Core Disk RAM Core Disk RAM Core Disk RAM Core Disk RAM Core Disk RAM Core Disk RAM Core Disk 上記クラスター(1×8=8スライス)になっていると思われる Copyright © 2019 Accenture. All rights reserved.
15. 課題②ストレージ不足 Copyright © 2019 Accenture. All rights reserved. ClassMethod記事 元クラスターのノードがdc2.largeであれば Elastic Resizeは1回しか行えない様子
16. Copyright © 2019 Accenture. All rights reserved. ご清聴ありがとうございました