Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS SONIC 2020 HPC
Search
porcaro33
September 13, 2020
1
430
JAWS SONIC 2020 HPC
porcaro33
September 13, 2020
Tweet
Share
More Decks by porcaro33
See All by porcaro33
Hello! Parallel Computing Service!
porcaro33
0
210
HPC-Updates@jawshpc#19
porcaro33
0
270
top500 scheduler
porcaro33
0
600
jawsbgnr#21 kobayashi
porcaro33
1
740
Introducing_AWS_Batch-JAWS-UG
porcaro33
0
430
GPU_FPGA_Briefing+March+2017
porcaro33
0
380
Featured
See All Featured
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Faster Mobile Websites
deanohume
306
31k
Embracing the Ebb and Flow
colly
84
4.6k
What's in a price? How to price your products and services
michaelherold
244
12k
BBQ
matthewcrist
87
9.5k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.2k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
A designer walks into a library…
pauljervisheath
205
24k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
Transcript
ParallelClusterを使い倒してみる JAWS-UG HPC専⾨⽀部 ⼩林広志 @JAWS SONIC 2020
Who Am I - Name : Hiroshi Kobayashi - Organization
: [ JAWS-HPC, Cloud_Admin@storage_company, ] - Favorite services : [ AWSCLI, Batch, ParallelCluster, ] - Award : AWS Samurai 2017
HPC専⾨⽀部紹介 • HPC = High Performance Computing • テーマ︓「クラウドでだれでもHPC」 •
2015年8⽉設⽴ • 特徴 • ハードウェアの話が⼀番盛り上がりがち • たまにハンズオン • たまにAWS本社からの登壇者も • 開催17回、参加者総数648名
What is ParallelCluster? • 流体計算、遺伝⼦解析、気象予測などの計算を⾏うLinux クラスターの管理ツール • シンプルなコンフィグファイルにクラスターの構成を記述して、 それを元に計算クラスターを作成・更新・削除 •
AWS Batchへのジョブ投⼊も可能 • バックグラウンドで様々なAWSサービスが稼働 (CloudFormation, EC2, S3, DynamoDB, SQS, …etc ) • ジョブ投⼊に応じてオートスケールする計算機で queue待ち無しサイコー︕
はじめの⼀歩 • 管理ノードにParallelClusterをインストール • アプリケーションやライブラリの追加はMaster Nodeにsshして⼿作業 • やったー、ジョブ流れたー、オートスケールして queue待ち無し、サイコー︕ •
オンプレ = A Cluster For All • クラウド = A Cluster For You • クラスターの数増えると地獄 Admin Users pcluster xxx AWS Cloud ParallelCluster AutoScaling Spot/Ondemand Compute Nodes Master Node Management Node ssh/vnc ssh manual setup
With Pipeline • ⼿作業は全部post_instalスクリプト化 • クラスターConfigもpost_instalスクリプトもGit に突っ込む、Jenkinsでファイル配置 • クラスターの起動から設定まで⾃動化 •
最重要指標=(計算スループット) / (コスト) • パフォーマンスとコスト最適化ループを⾼速で回す • 全部Gitに⼊ってるから、変更管理もバッチリ Admin Users hook push push scripts push configs pcluster xxx run post install scripts Amazon CloudWatch put metrics AWS Cloud ParallelCluster AutoScaling Spot/Ondemand Compute Nodes Master Node S3 Bucket Management Node Git Jenkins ssh/vnc
ParallelCluster v2.9.0 • 2020/09/12 Releaed • ENHANCEMENTS • 複数コンピュートインスタンスタイプのサポート(Slurmスケジューラーのみ対応) •
ARMインスタンスでのNICE DCVサポート • .metalインスタンスでのDisabling Hyperthreadingのサポート • https://github.com/aws/aws-parallelcluster/releases/tag/v2.9.0 • 4年越しの願いがかなったー
re:Invent 2019 • 同じ話をre:Invent2019のParallelClusterワークショップでしてきました。 • CMP402 Setting up and optimizing
your HPC cluster on AWS • 自前のハンズオン https://qiita.com/porcaro33/items/0d3d7458322af60e400f
富岳 – ARM – Graviton2 • スーパーコンピュータ「富岳」TOP500、HPCG、HPL-AI、 Graph500において世界第1位を獲得 https://www.riken.jp/pr/news/2020/20200623_1/ •
富岳のCPUはARMベースの専⽤チップ • AWSでARMといえばGraviton • Graviton2はハミルトン先⽣も激推し • Graviton2で40%コスパよくなるかも https://www.youtube.com/watch?v=gyWcg0FLdLw • ベンチマーク楽しみ