Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スパコンの使い方と諸注意 / Enjoy Supercomputing
Search
kaityo256
PRO
April 24, 2018
Programming
1
280
スパコンの使い方と諸注意 / Enjoy Supercomputing
2018年4月24日に行われた東京大学物性研究所のスパコン講習会の資料。
講習会の様子:
https://www.youtube.com/watch?v=YcsKEyK9G00
kaityo256
PRO
April 24, 2018
Tweet
Share
More Decks by kaityo256
See All by kaityo256
デバッグの話 / Debugging for Beginners
kaityo256
PRO
9
1.1k
ビット演算の話 / Let's play with bit operations
kaityo256
PRO
4
330
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
15
5k
制限ボルツマンマシンの話 / Introduction of RBM
kaityo256
PRO
3
970
論文の読み方 / How to survey
kaityo256
PRO
220
160k
リンゴゲームと貧富の差 / Origin of the disparity of wealth
kaityo256
PRO
13
14k
渡辺研Slackの使い方 / Slack Local Rule
kaityo256
PRO
9
8.7k
時間の矢について / Time's arrow
kaityo256
PRO
12
17k
t-SNEをざっくりと理解 / Overview of t-SNE
kaityo256
PRO
2
1.6k
Other Decks in Programming
See All in Programming
[JAWS-UG横浜 #80] うわっ…今年のServerless アップデート、少なすぎ…?
maroon1st
0
150
JavaScriptツール群「UnJS」を5分で一気に駆け巡る!
k1tikurisu
8
1.3k
rails newと同時に型を書く
aki19035vc
6
750
盆栽転じて家具となる / Bonsai and Furnitures
aereal
0
2.2k
自動で //nolint を挿入する取り組み / Gopher's Gathering
utgwkk
1
170
Compose でデザインと実装の差異を減らすための取り組み
oidy
1
240
さいきょうのレイヤードアーキテクチャについて考えてみた
yahiru
1
540
GitHub CopilotでTypeScriptの コード生成するワザップ
starfish719
28
6.1k
Swiftコンパイラ超入門+async関数の仕組み
shiz
0
190
“あなた” の開発を支援する AI エージェント Bedrock Engineer / introducing-bedrock-engineer
gawa
10
1.4k
混沌とした例外処理とエラー監視に秩序をもたらす
morihirok
18
3.3k
ISUCON14感想戦で85万点まで頑張ってみた
ponyo877
1
790
Featured
See All Featured
KATA
mclloyd
29
14k
We Have a Design System, Now What?
morganepeng
51
7.4k
Music & Morning Musume
bryan
46
6.3k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
YesSQL, Process and Tooling at Scale
rocio
171
14k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Thoughts on Productivity
jonyablonski
68
4.4k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
3
380
How GitHub (no longer) Works
holman
312
140k
A better future with KSS
kneath
238
17k
Transcript
ISSP, Univ. of Tokyo 1/14 2018年4月24日 物性研究所スパコン講習会 2022年6月25日 リンク修正の上で再アップロード スパコンの使い方と諸注意
東大物性研 大型計算機室
ISSP, Univ. of Tokyo 2/14 スパコンの使い方 1. プログラムを開発、コンパイルする 2. プログラムをどのように実行するかを記述したジョブスクリプトを用意する
3. ジョブスケジューラにジョブをサブミットする
ISSP, Univ. of Tokyo 3/14 スパコンの仕組み 利用者 ログインノード ジョブスケジューラ ログイン
計算ノード ユーザはログインノードから「ジョブ」を投入 ジョブスケジューラが空いた計算資源に「ジョブ」を割り当てる スパコン ジョブ
ISSP, Univ. of Tokyo 4/14 フェアシェアとは? スパコンのジョブは「優先度が高いもの」から順に実行されていきます 後から投入されたジョブが前の追い越して実行されることがあります ・ 「優先度」は、より多くのノードを、より長い時間占有するほどが下がります
・ 「優先度」は時間の経過で回復します ・ 「優先度」はアカウントごとに設定され、グループで共有されていません ・ 「優先度」はキューごとに設定されています ・ 「優先度」をユーザが知ることはできません ※ 高層ビルのエレベータの現在位置が表示されないのと同様な理由です ※ 上記の優先度ポリシーは物性研固有のものであり、他サイトでは異なります
ISSP, Univ. of Tokyo 5/14 スパコンを快適に使うためのマナーやコツ スパコンは多くの人が利用する、「公共の施設」です 自分勝手な使い方は他の人に迷惑をかけるのでご遠慮ください
ISSP, Univ. of Tokyo 6/14 ログインノードで重い処理をしない ログインノードはユーザみんなが使う「共通スペース」です 重い処理をすると他の人に迷惑がかかります 重い処理の例: ・
並列コンパイル (make –j) ・ プロダクトラン(スレッド並列等) ・ 複数のアカウントを利用して多数のプログラムをログインノードで実行 ・ 同時に複数のrsyncやscp ログインノードの「快適さ」は生産性に大きな影響を与えます
ISSP, Univ. of Tokyo 7/14 重い処理はインタラクティブキューで ログインノードは利用者全員の「共通スペース」ですが、インタラクティブキューは 一時的に割り当てられた「個室」です。 インタラクティブキューの活用例: ・
並列プログラムのデバッグ ・ 非常に多数のファイル処理 ・ 並列コンパイル (make –j) ログインノード インタラクティブキュー
ISSP, Univ. of Tokyo 8/14 アカウントの使い回しをしない アカウントは本来の所有者のみが使用してください 所有者が限定されないアカウントはセキュリティ面で重大な脅威になります ライセンスを必要とするソフトウェアで重大なライセンス違反になります 使い回しの例:
・ 複数の研究者が関わるプロジェクトでアカウントを共有 ・ 先輩から後輩に研究を引き継ぐ際、アカウント作成&ファイルの移動が面倒で 先輩の名義のまま後輩にアカウントを引き継ぐ ちょっとした手間を惜しむと、スパコン全体に迷惑をかけます
ISSP, Univ. of Tokyo 9/14 スパコンに秘密鍵を置かない スパコンのログインノードにSSHの秘密鍵を置かないようにしてください 特に、パスフレーズ無しの秘密鍵は絶対に置いてはいけません 過去の事例: ・
スパコンのアカウントがクラックされた際、そのアカウントにパスフレーズ無し の秘密鍵があったため、他のスパコンの踏み台となり、被害が拡大した SSHのエージェント転送により、ローカルPCの秘密鍵を利用可能です
ISSP, Univ. of Tokyo 10/14 インタラクティブキューでプロダクトランをしない インタラクティブキューは開発、デバッグ用に用意されたキューです 多数のプロダクトラン用のジョブを投入することはおやめください 過去の事例(言い訳): ・
「夜、計算資源が空いているのがもったいなかった」 ・ 「小規模キューが混んでいたから」 システムの「遊び」は生産性向上に欠かせないものです
ISSP, Univ. of Tokyo 11/14 ジョブ開始&終了通知メール ジョブが実行された時、終了した時にメールを飛ばすことができます 例えば以下の用途にご利用ください 「ジョブが実行を開始したら、正しく動いているかチェックしたい」 「ジョブが終了したらデータを解析したい」
ログインノードに張り付いて「まだ実行されない」と イライラするのはやめましょう
ISSP, Univ. of Tokyo 12/14 バルクジョブの活用 パラメータサーチなど、複数のジョブを多数実行したい場合はバルクジョブを ご利用ください。複数のジョブをまとめて実行することができます。 ・ 並列化せずにマルチコア、マルチノードの計算資源を有効活用できます
・ 比較的空いている大規模キューを利用できます(小規模キューは混んでいます) 詳細は「利用の手引き」を参照してください
ISSP, Univ. of Tokyo 13/14 不具合かな?と思ったら 「コンパイルがうまくいかない」「プログラムが異常終了した」 このようなトラブルがあった場合は、できるだけ「スパコンだけで起きるか」「手元の 環境でも起きるか」の切り分けをした上でお問い合わせください。 「手元の環境(GCC
7.2.0+OpenMPI)ではコンパイルできるプログラムが、物性研ではうまくいかない」 環境による問題の切り分けの例: 「これまで問題なく動いていたプログラムが、定期保守の後から異常終了するようになった」 時間による問題の切り分けの例:
ISSP, Univ. of Tokyo 14/14 ルールを守って楽しく利用しましょう スパコンをあなたの研究手段の選択肢 の一つに加えてみませんか? 物性研スパコンは、みなさんの利用申請を お待ちしております
https://mdcl.issp.u-tokyo.ac.jp/scc/