Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スパコンの使い方と諸注意 / Enjoy Supercomputing
Search
kaityo256
April 24, 2018
Programming
1
280
スパコンの使い方と諸注意 / Enjoy Supercomputing
2018年4月24日に行われた東京大学物性研究所のスパコン講習会の資料。
講習会の様子:
https://www.youtube.com/watch?v=YcsKEyK9G00
kaityo256
April 24, 2018
Tweet
Share
More Decks by kaityo256
See All by kaityo256
論文紹介のやり方 / How to review
kaityo256
14
76k
デバッグの話 / Debugging for Beginners
kaityo256
9
1.3k
ビット演算の話 / Let's play with bit operations
kaityo256
5
370
GNU Makeの使い方 / How to use GNU Make
kaityo256
15
5.1k
制限ボルツマンマシンの話 / Introduction of RBM
kaityo256
3
1.1k
論文の読み方 / How to survey
kaityo256
219
160k
リンゴゲームと貧富の差 / Origin of the disparity of wealth
kaityo256
14
14k
渡辺研Slackの使い方 / Slack Local Rule
kaityo256
9
8.9k
時間の矢について / Time's arrow
kaityo256
12
17k
Other Decks in Programming
See All in Programming
プログラミング言語学習のススメ / why-do-i-learn-programming-language
yashi8484
0
160
.NET Frameworkでも汎用ホストが使いたい!
tomokusaba
0
200
CDKを使ったPagerDuty連携インフラのテンプレート化
shibuya_shogo
0
100
Generating OpenAPI schema from serializers throughout the Rails stack - Kyobashi.rb #5
envek
1
370
PHPのバージョンアップ時にも役立ったAST
matsuo_atsushi
0
220
AIの力でお手軽Chrome拡張機能作り
taiseiue
0
190
PRレビューのお供にDanger
stoticdev
1
230
Amazon Q Developer Proで効率化するAPI開発入門
seike460
PRO
0
120
Honoをフロントエンドで使う 3つのやり方
yusukebe
7
3.5k
How mixi2 Uses TiDB for SNS Scalability and Performance
kanmo
40
16k
React 19アップデートのために必要なこと
uhyo
8
1.5k
PHPカンファレンス名古屋2025 タスク分解の試行錯誤〜レビュー負荷を下げるために〜
soichi
1
670
Featured
See All Featured
For a Future-Friendly Web
brad_frost
176
9.6k
Typedesign – Prime Four
hannesfritz
40
2.5k
The Language of Interfaces
destraynor
156
24k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Testing 201, or: Great Expectations
jmmastey
42
7.2k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Faster Mobile Websites
deanohume
306
31k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
10
1.3k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Thoughts on Productivity
jonyablonski
69
4.5k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Transcript
ISSP, Univ. of Tokyo 1/14 2018年4月24日 物性研究所スパコン講習会 2022年6月25日 リンク修正の上で再アップロード スパコンの使い方と諸注意
東大物性研 大型計算機室
ISSP, Univ. of Tokyo 2/14 スパコンの使い方 1. プログラムを開発、コンパイルする 2. プログラムをどのように実行するかを記述したジョブスクリプトを用意する
3. ジョブスケジューラにジョブをサブミットする
ISSP, Univ. of Tokyo 3/14 スパコンの仕組み 利用者 ログインノード ジョブスケジューラ ログイン
計算ノード ユーザはログインノードから「ジョブ」を投入 ジョブスケジューラが空いた計算資源に「ジョブ」を割り当てる スパコン ジョブ
ISSP, Univ. of Tokyo 4/14 フェアシェアとは? スパコンのジョブは「優先度が高いもの」から順に実行されていきます 後から投入されたジョブが前の追い越して実行されることがあります ・ 「優先度」は、より多くのノードを、より長い時間占有するほどが下がります
・ 「優先度」は時間の経過で回復します ・ 「優先度」はアカウントごとに設定され、グループで共有されていません ・ 「優先度」はキューごとに設定されています ・ 「優先度」をユーザが知ることはできません ※ 高層ビルのエレベータの現在位置が表示されないのと同様な理由です ※ 上記の優先度ポリシーは物性研固有のものであり、他サイトでは異なります
ISSP, Univ. of Tokyo 5/14 スパコンを快適に使うためのマナーやコツ スパコンは多くの人が利用する、「公共の施設」です 自分勝手な使い方は他の人に迷惑をかけるのでご遠慮ください
ISSP, Univ. of Tokyo 6/14 ログインノードで重い処理をしない ログインノードはユーザみんなが使う「共通スペース」です 重い処理をすると他の人に迷惑がかかります 重い処理の例: ・
並列コンパイル (make –j) ・ プロダクトラン(スレッド並列等) ・ 複数のアカウントを利用して多数のプログラムをログインノードで実行 ・ 同時に複数のrsyncやscp ログインノードの「快適さ」は生産性に大きな影響を与えます
ISSP, Univ. of Tokyo 7/14 重い処理はインタラクティブキューで ログインノードは利用者全員の「共通スペース」ですが、インタラクティブキューは 一時的に割り当てられた「個室」です。 インタラクティブキューの活用例: ・
並列プログラムのデバッグ ・ 非常に多数のファイル処理 ・ 並列コンパイル (make –j) ログインノード インタラクティブキュー
ISSP, Univ. of Tokyo 8/14 アカウントの使い回しをしない アカウントは本来の所有者のみが使用してください 所有者が限定されないアカウントはセキュリティ面で重大な脅威になります ライセンスを必要とするソフトウェアで重大なライセンス違反になります 使い回しの例:
・ 複数の研究者が関わるプロジェクトでアカウントを共有 ・ 先輩から後輩に研究を引き継ぐ際、アカウント作成&ファイルの移動が面倒で 先輩の名義のまま後輩にアカウントを引き継ぐ ちょっとした手間を惜しむと、スパコン全体に迷惑をかけます
ISSP, Univ. of Tokyo 9/14 スパコンに秘密鍵を置かない スパコンのログインノードにSSHの秘密鍵を置かないようにしてください 特に、パスフレーズ無しの秘密鍵は絶対に置いてはいけません 過去の事例: ・
スパコンのアカウントがクラックされた際、そのアカウントにパスフレーズ無し の秘密鍵があったため、他のスパコンの踏み台となり、被害が拡大した SSHのエージェント転送により、ローカルPCの秘密鍵を利用可能です
ISSP, Univ. of Tokyo 10/14 インタラクティブキューでプロダクトランをしない インタラクティブキューは開発、デバッグ用に用意されたキューです 多数のプロダクトラン用のジョブを投入することはおやめください 過去の事例(言い訳): ・
「夜、計算資源が空いているのがもったいなかった」 ・ 「小規模キューが混んでいたから」 システムの「遊び」は生産性向上に欠かせないものです
ISSP, Univ. of Tokyo 11/14 ジョブ開始&終了通知メール ジョブが実行された時、終了した時にメールを飛ばすことができます 例えば以下の用途にご利用ください 「ジョブが実行を開始したら、正しく動いているかチェックしたい」 「ジョブが終了したらデータを解析したい」
ログインノードに張り付いて「まだ実行されない」と イライラするのはやめましょう
ISSP, Univ. of Tokyo 12/14 バルクジョブの活用 パラメータサーチなど、複数のジョブを多数実行したい場合はバルクジョブを ご利用ください。複数のジョブをまとめて実行することができます。 ・ 並列化せずにマルチコア、マルチノードの計算資源を有効活用できます
・ 比較的空いている大規模キューを利用できます(小規模キューは混んでいます) 詳細は「利用の手引き」を参照してください
ISSP, Univ. of Tokyo 13/14 不具合かな?と思ったら 「コンパイルがうまくいかない」「プログラムが異常終了した」 このようなトラブルがあった場合は、できるだけ「スパコンだけで起きるか」「手元の 環境でも起きるか」の切り分けをした上でお問い合わせください。 「手元の環境(GCC
7.2.0+OpenMPI)ではコンパイルできるプログラムが、物性研ではうまくいかない」 環境による問題の切り分けの例: 「これまで問題なく動いていたプログラムが、定期保守の後から異常終了するようになった」 時間による問題の切り分けの例:
ISSP, Univ. of Tokyo 14/14 ルールを守って楽しく利用しましょう スパコンをあなたの研究手段の選択肢 の一つに加えてみませんか? 物性研スパコンは、みなさんの利用申請を お待ちしております
https://mdcl.issp.u-tokyo.ac.jp/scc/