Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS SONIC 2020 HPC
Search
porcaro33
September 13, 2020
1
450
JAWS SONIC 2020 HPC
porcaro33
September 13, 2020
Tweet
Share
More Decks by porcaro33
See All by porcaro33
Hello! Parallel Computing Service!
porcaro33
0
240
HPC-Updates@jawshpc#19
porcaro33
0
300
top500 scheduler
porcaro33
0
690
jawsbgnr#21 kobayashi
porcaro33
1
750
Introducing_AWS_Batch-JAWS-UG
porcaro33
0
460
GPU_FPGA_Briefing+March+2017
porcaro33
0
420
Featured
See All Featured
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
The Invisible Side of Design
smashingmag
301
51k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
870
A designer walks into a library…
pauljervisheath
207
24k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
A Tale of Four Properties
chriscoyier
160
23k
Git: the NoSQL Database
bkeepers
PRO
431
65k
Why Our Code Smells
bkeepers
PRO
337
57k
GitHub's CSS Performance
jonrohan
1031
460k
Building an army of robots
kneath
306
45k
Transcript
ParallelClusterを使い倒してみる JAWS-UG HPC専⾨⽀部 ⼩林広志 @JAWS SONIC 2020
Who Am I - Name : Hiroshi Kobayashi - Organization
: [ JAWS-HPC, Cloud_Admin@storage_company, ] - Favorite services : [ AWSCLI, Batch, ParallelCluster, ] - Award : AWS Samurai 2017
HPC専⾨⽀部紹介 • HPC = High Performance Computing • テーマ︓「クラウドでだれでもHPC」 •
2015年8⽉設⽴ • 特徴 • ハードウェアの話が⼀番盛り上がりがち • たまにハンズオン • たまにAWS本社からの登壇者も • 開催17回、参加者総数648名
What is ParallelCluster? • 流体計算、遺伝⼦解析、気象予測などの計算を⾏うLinux クラスターの管理ツール • シンプルなコンフィグファイルにクラスターの構成を記述して、 それを元に計算クラスターを作成・更新・削除 •
AWS Batchへのジョブ投⼊も可能 • バックグラウンドで様々なAWSサービスが稼働 (CloudFormation, EC2, S3, DynamoDB, SQS, …etc ) • ジョブ投⼊に応じてオートスケールする計算機で queue待ち無しサイコー︕
はじめの⼀歩 • 管理ノードにParallelClusterをインストール • アプリケーションやライブラリの追加はMaster Nodeにsshして⼿作業 • やったー、ジョブ流れたー、オートスケールして queue待ち無し、サイコー︕ •
オンプレ = A Cluster For All • クラウド = A Cluster For You • クラスターの数増えると地獄 Admin Users pcluster xxx AWS Cloud ParallelCluster AutoScaling Spot/Ondemand Compute Nodes Master Node Management Node ssh/vnc ssh manual setup
With Pipeline • ⼿作業は全部post_instalスクリプト化 • クラスターConfigもpost_instalスクリプトもGit に突っ込む、Jenkinsでファイル配置 • クラスターの起動から設定まで⾃動化 •
最重要指標=(計算スループット) / (コスト) • パフォーマンスとコスト最適化ループを⾼速で回す • 全部Gitに⼊ってるから、変更管理もバッチリ Admin Users hook push push scripts push configs pcluster xxx run post install scripts Amazon CloudWatch put metrics AWS Cloud ParallelCluster AutoScaling Spot/Ondemand Compute Nodes Master Node S3 Bucket Management Node Git Jenkins ssh/vnc
ParallelCluster v2.9.0 • 2020/09/12 Releaed • ENHANCEMENTS • 複数コンピュートインスタンスタイプのサポート(Slurmスケジューラーのみ対応) •
ARMインスタンスでのNICE DCVサポート • .metalインスタンスでのDisabling Hyperthreadingのサポート • https://github.com/aws/aws-parallelcluster/releases/tag/v2.9.0 • 4年越しの願いがかなったー
re:Invent 2019 • 同じ話をre:Invent2019のParallelClusterワークショップでしてきました。 • CMP402 Setting up and optimizing
your HPC cluster on AWS • 自前のハンズオン https://qiita.com/porcaro33/items/0d3d7458322af60e400f
富岳 – ARM – Graviton2 • スーパーコンピュータ「富岳」TOP500、HPCG、HPL-AI、 Graph500において世界第1位を獲得 https://www.riken.jp/pr/news/2020/20200623_1/ •
富岳のCPUはARMベースの専⽤チップ • AWSでARMといえばGraviton • Graviton2はハミルトン先⽣も激推し • Graviton2で40%コスパよくなるかも https://www.youtube.com/watch?v=gyWcg0FLdLw • ベンチマーク楽しみ