Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スパコンの使い方と諸注意 / Enjoy Supercomputing
Search
kaityo256
PRO
April 24, 2018
Programming
1
320
スパコンの使い方と諸注意 / Enjoy Supercomputing
2018年4月24日に行われた東京大学物性研究所のスパコン講習会の資料。
講習会の様子:
https://www.youtube.com/watch?v=YcsKEyK9G00
kaityo256
PRO
April 24, 2018
Tweet
Share
More Decks by kaityo256
See All by kaityo256
モンテカルロ法(3) 発展的アルゴリズム / Simulation 04
kaityo256
PRO
8
1.4k
UMAPをざっくりと理解 / Overview of UMAP
kaityo256
PRO
5
2.4k
SSH公開鍵認証による接続 / Connecting with SSH Public Key Authentication
kaityo256
PRO
6
540
論文紹介のやり方 / How to review
kaityo256
PRO
16
85k
デバッグの話 / Debugging for Beginners
kaityo256
PRO
13
1.6k
ビット演算の話 / Let's play with bit operations
kaityo256
PRO
8
590
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
15
5.3k
制限ボルツマンマシンの話 / Introduction of RBM
kaityo256
PRO
3
1.3k
論文の読み方 / How to survey
kaityo256
PRO
224
180k
Other Decks in Programming
See All in Programming
Trem on Rails - Prompt Engineering com Ruby
elainenaomi
1
100
Vue・React マルチプロダクト開発を支える Vite
andpad
0
110
LLMOpsのパフォーマンスを支える技術と現場で実践した改善
po3rin
8
990
学習を成果に繋げるための個人開発の考え方 〜 「学習のための個人開発」のすすめ / personal project for leaning
panda_program
1
110
Claude Codeで挑むOSSコントリビュート
eycjur
0
190
MLH State of the League: 2026 Season
theycallmeswift
0
180
オープンセミナー2025@広島「君はどこで動かすか?」アンケート結果
satoshi256kbyte
0
220
レガシープロジェクトで最大限AIの恩恵を受けられるようClaude Codeを利用する
tk1351
4
1.5k
Kiroの仕様駆動開発から見えてきたAIコーディングとの正しい付き合い方
clshinji
1
180
実用的なGOCACHEPROG実装をするために / golang.tokyo #40
mazrean
1
120
令和最新版手のひらコンピュータ
koba789
14
8.2k
【第4回】関東Kaggler会「Kaggleは執筆に役立つ」
mipypf
0
950
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
110
20k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Rails Girls Zürich Keynote
gr2m
95
14k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
The Invisible Side of Design
smashingmag
301
51k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
We Have a Design System, Now What?
morganepeng
53
7.8k
Bash Introduction
62gerente
614
210k
RailsConf 2023
tenderlove
30
1.2k
Designing for Performance
lara
610
69k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.5k
Into the Great Unknown - MozCon
thekraken
40
2k
Transcript
ISSP, Univ. of Tokyo 1/14 2018年4月24日 物性研究所スパコン講習会 2022年6月25日 リンク修正の上で再アップロード スパコンの使い方と諸注意
東大物性研 大型計算機室
ISSP, Univ. of Tokyo 2/14 スパコンの使い方 1. プログラムを開発、コンパイルする 2. プログラムをどのように実行するかを記述したジョブスクリプトを用意する
3. ジョブスケジューラにジョブをサブミットする
ISSP, Univ. of Tokyo 3/14 スパコンの仕組み 利用者 ログインノード ジョブスケジューラ ログイン
計算ノード ユーザはログインノードから「ジョブ」を投入 ジョブスケジューラが空いた計算資源に「ジョブ」を割り当てる スパコン ジョブ
ISSP, Univ. of Tokyo 4/14 フェアシェアとは? スパコンのジョブは「優先度が高いもの」から順に実行されていきます 後から投入されたジョブが前の追い越して実行されることがあります ・ 「優先度」は、より多くのノードを、より長い時間占有するほどが下がります
・ 「優先度」は時間の経過で回復します ・ 「優先度」はアカウントごとに設定され、グループで共有されていません ・ 「優先度」はキューごとに設定されています ・ 「優先度」をユーザが知ることはできません ※ 高層ビルのエレベータの現在位置が表示されないのと同様な理由です ※ 上記の優先度ポリシーは物性研固有のものであり、他サイトでは異なります
ISSP, Univ. of Tokyo 5/14 スパコンを快適に使うためのマナーやコツ スパコンは多くの人が利用する、「公共の施設」です 自分勝手な使い方は他の人に迷惑をかけるのでご遠慮ください
ISSP, Univ. of Tokyo 6/14 ログインノードで重い処理をしない ログインノードはユーザみんなが使う「共通スペース」です 重い処理をすると他の人に迷惑がかかります 重い処理の例: ・
並列コンパイル (make –j) ・ プロダクトラン(スレッド並列等) ・ 複数のアカウントを利用して多数のプログラムをログインノードで実行 ・ 同時に複数のrsyncやscp ログインノードの「快適さ」は生産性に大きな影響を与えます
ISSP, Univ. of Tokyo 7/14 重い処理はインタラクティブキューで ログインノードは利用者全員の「共通スペース」ですが、インタラクティブキューは 一時的に割り当てられた「個室」です。 インタラクティブキューの活用例: ・
並列プログラムのデバッグ ・ 非常に多数のファイル処理 ・ 並列コンパイル (make –j) ログインノード インタラクティブキュー
ISSP, Univ. of Tokyo 8/14 アカウントの使い回しをしない アカウントは本来の所有者のみが使用してください 所有者が限定されないアカウントはセキュリティ面で重大な脅威になります ライセンスを必要とするソフトウェアで重大なライセンス違反になります 使い回しの例:
・ 複数の研究者が関わるプロジェクトでアカウントを共有 ・ 先輩から後輩に研究を引き継ぐ際、アカウント作成&ファイルの移動が面倒で 先輩の名義のまま後輩にアカウントを引き継ぐ ちょっとした手間を惜しむと、スパコン全体に迷惑をかけます
ISSP, Univ. of Tokyo 9/14 スパコンに秘密鍵を置かない スパコンのログインノードにSSHの秘密鍵を置かないようにしてください 特に、パスフレーズ無しの秘密鍵は絶対に置いてはいけません 過去の事例: ・
スパコンのアカウントがクラックされた際、そのアカウントにパスフレーズ無し の秘密鍵があったため、他のスパコンの踏み台となり、被害が拡大した SSHのエージェント転送により、ローカルPCの秘密鍵を利用可能です
ISSP, Univ. of Tokyo 10/14 インタラクティブキューでプロダクトランをしない インタラクティブキューは開発、デバッグ用に用意されたキューです 多数のプロダクトラン用のジョブを投入することはおやめください 過去の事例(言い訳): ・
「夜、計算資源が空いているのがもったいなかった」 ・ 「小規模キューが混んでいたから」 システムの「遊び」は生産性向上に欠かせないものです
ISSP, Univ. of Tokyo 11/14 ジョブ開始&終了通知メール ジョブが実行された時、終了した時にメールを飛ばすことができます 例えば以下の用途にご利用ください 「ジョブが実行を開始したら、正しく動いているかチェックしたい」 「ジョブが終了したらデータを解析したい」
ログインノードに張り付いて「まだ実行されない」と イライラするのはやめましょう
ISSP, Univ. of Tokyo 12/14 バルクジョブの活用 パラメータサーチなど、複数のジョブを多数実行したい場合はバルクジョブを ご利用ください。複数のジョブをまとめて実行することができます。 ・ 並列化せずにマルチコア、マルチノードの計算資源を有効活用できます
・ 比較的空いている大規模キューを利用できます(小規模キューは混んでいます) 詳細は「利用の手引き」を参照してください
ISSP, Univ. of Tokyo 13/14 不具合かな?と思ったら 「コンパイルがうまくいかない」「プログラムが異常終了した」 このようなトラブルがあった場合は、できるだけ「スパコンだけで起きるか」「手元の 環境でも起きるか」の切り分けをした上でお問い合わせください。 「手元の環境(GCC
7.2.0+OpenMPI)ではコンパイルできるプログラムが、物性研ではうまくいかない」 環境による問題の切り分けの例: 「これまで問題なく動いていたプログラムが、定期保守の後から異常終了するようになった」 時間による問題の切り分けの例:
ISSP, Univ. of Tokyo 14/14 ルールを守って楽しく利用しましょう スパコンをあなたの研究手段の選択肢 の一つに加えてみませんか? 物性研スパコンは、みなさんの利用申請を お待ちしております
https://mdcl.issp.u-tokyo.ac.jp/scc/