Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS SONIC 2020 HPC
Search
porcaro33
September 13, 2020
1
400
JAWS SONIC 2020 HPC
porcaro33
September 13, 2020
Tweet
Share
More Decks by porcaro33
See All by porcaro33
Hello! Parallel Computing Service!
porcaro33
0
190
HPC-Updates@jawshpc#19
porcaro33
0
250
top500 scheduler
porcaro33
0
520
jawsbgnr#21 kobayashi
porcaro33
1
730
Introducing_AWS_Batch-JAWS-UG
porcaro33
0
410
GPU_FPGA_Briefing+March+2017
porcaro33
0
360
Featured
See All Featured
Statistics for Hackers
jakevdp
796
220k
Building Better People: How to give real-time feedback that sticks.
wjessup
363
19k
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
Practical Orchestrator
shlominoach
186
10k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
7
150
Navigating Team Friction
lara
183
14k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Designing for Performance
lara
604
68k
Measuring & Analyzing Core Web Vitals
bluesmoon
1
40
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Transcript
ParallelClusterを使い倒してみる JAWS-UG HPC専⾨⽀部 ⼩林広志 @JAWS SONIC 2020
Who Am I - Name : Hiroshi Kobayashi - Organization
: [ JAWS-HPC, Cloud_Admin@storage_company, ] - Favorite services : [ AWSCLI, Batch, ParallelCluster, ] - Award : AWS Samurai 2017
HPC専⾨⽀部紹介 • HPC = High Performance Computing • テーマ︓「クラウドでだれでもHPC」 •
2015年8⽉設⽴ • 特徴 • ハードウェアの話が⼀番盛り上がりがち • たまにハンズオン • たまにAWS本社からの登壇者も • 開催17回、参加者総数648名
What is ParallelCluster? • 流体計算、遺伝⼦解析、気象予測などの計算を⾏うLinux クラスターの管理ツール • シンプルなコンフィグファイルにクラスターの構成を記述して、 それを元に計算クラスターを作成・更新・削除 •
AWS Batchへのジョブ投⼊も可能 • バックグラウンドで様々なAWSサービスが稼働 (CloudFormation, EC2, S3, DynamoDB, SQS, …etc ) • ジョブ投⼊に応じてオートスケールする計算機で queue待ち無しサイコー︕
はじめの⼀歩 • 管理ノードにParallelClusterをインストール • アプリケーションやライブラリの追加はMaster Nodeにsshして⼿作業 • やったー、ジョブ流れたー、オートスケールして queue待ち無し、サイコー︕ •
オンプレ = A Cluster For All • クラウド = A Cluster For You • クラスターの数増えると地獄 Admin Users pcluster xxx AWS Cloud ParallelCluster AutoScaling Spot/Ondemand Compute Nodes Master Node Management Node ssh/vnc ssh manual setup
With Pipeline • ⼿作業は全部post_instalスクリプト化 • クラスターConfigもpost_instalスクリプトもGit に突っ込む、Jenkinsでファイル配置 • クラスターの起動から設定まで⾃動化 •
最重要指標=(計算スループット) / (コスト) • パフォーマンスとコスト最適化ループを⾼速で回す • 全部Gitに⼊ってるから、変更管理もバッチリ Admin Users hook push push scripts push configs pcluster xxx run post install scripts Amazon CloudWatch put metrics AWS Cloud ParallelCluster AutoScaling Spot/Ondemand Compute Nodes Master Node S3 Bucket Management Node Git Jenkins ssh/vnc
ParallelCluster v2.9.0 • 2020/09/12 Releaed • ENHANCEMENTS • 複数コンピュートインスタンスタイプのサポート(Slurmスケジューラーのみ対応) •
ARMインスタンスでのNICE DCVサポート • .metalインスタンスでのDisabling Hyperthreadingのサポート • https://github.com/aws/aws-parallelcluster/releases/tag/v2.9.0 • 4年越しの願いがかなったー
re:Invent 2019 • 同じ話をre:Invent2019のParallelClusterワークショップでしてきました。 • CMP402 Setting up and optimizing
your HPC cluster on AWS • 自前のハンズオン https://qiita.com/porcaro33/items/0d3d7458322af60e400f
富岳 – ARM – Graviton2 • スーパーコンピュータ「富岳」TOP500、HPCG、HPL-AI、 Graph500において世界第1位を獲得 https://www.riken.jp/pr/news/2020/20200623_1/ •
富岳のCPUはARMベースの専⽤チップ • AWSでARMといえばGraviton • Graviton2はハミルトン先⽣も激推し • Graviton2で40%コスパよくなるかも https://www.youtube.com/watch?v=gyWcg0FLdLw • ベンチマーク楽しみ