Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
スパコンの使い方と諸注意 / Enjoy Supercomputing
Search
kaityo256
April 24, 2018
Programming
1
280
スパコンの使い方と諸注意 / Enjoy Supercomputing
2018年4月24日に行われた東京大学物性研究所のスパコン講習会の資料。
講習会の様子:
https://www.youtube.com/watch?v=YcsKEyK9G00
kaityo256
April 24, 2018
Tweet
Share
More Decks by kaityo256
See All by kaityo256
論文紹介のやり方 / How to review
kaityo256
14
76k
デバッグの話 / Debugging for Beginners
kaityo256
9
1.3k
ビット演算の話 / Let's play with bit operations
kaityo256
5
370
GNU Makeの使い方 / How to use GNU Make
kaityo256
15
5.1k
制限ボルツマンマシンの話 / Introduction of RBM
kaityo256
3
1.1k
論文の読み方 / How to survey
kaityo256
219
160k
リンゴゲームと貧富の差 / Origin of the disparity of wealth
kaityo256
14
14k
渡辺研Slackの使い方 / Slack Local Rule
kaityo256
9
8.9k
時間の矢について / Time's arrow
kaityo256
12
17k
Other Decks in Programming
See All in Programming
「個人開発マネタイズ大全」が教えてくれたこと
bani24884
1
260
コミュニティ駆動 AWS CDK ライブラリ「Open Constructs Library」 / community-cdk-library
gotok365
2
250
dbt Pythonモデルで実現するSnowflake活用術
trsnium
0
260
Kotlinの開発でも AIをいい感じに使いたい / Making the Most of AI in Kotlin Development
kohii00
5
1.4k
kintone開発を効率化するためにチームで試した施策とその結果を大放出!
oguemon
0
170
Djangoにおける複数ユーザー種別認証の設計アプローチ@DjangoCongress JP 2025
delhi09
PRO
4
500
GoとPHPのインターフェイスの違い
shimabox
2
210
複数のAWSアカウントから横断で 利用する Lambda Authorizer の作り方
tc3jp
0
120
コードを読んで理解するko build
bells17
1
110
SwiftUI Viewの責務分離
elmetal
PRO
2
280
Honoとフロントエンドの 型安全性について
yodaka
7
1.5k
Honoをフロントエンドで使う 3つのやり方
yusukebe
7
3.6k
Featured
See All Featured
Navigating Team Friction
lara
183
15k
Designing Experiences People Love
moore
140
23k
Writing Fast Ruby
sferik
628
61k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
570
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Visualization
eitanlees
146
15k
Into the Great Unknown - MozCon
thekraken
35
1.6k
Music & Morning Musume
bryan
46
6.4k
How to Ace a Technical Interview
jacobian
276
23k
4 Signs Your Business is Dying
shpigford
182
22k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Transcript
ISSP, Univ. of Tokyo 1/14 2018年4月24日 物性研究所スパコン講習会 2022年6月25日 リンク修正の上で再アップロード スパコンの使い方と諸注意
東大物性研 大型計算機室
ISSP, Univ. of Tokyo 2/14 スパコンの使い方 1. プログラムを開発、コンパイルする 2. プログラムをどのように実行するかを記述したジョブスクリプトを用意する
3. ジョブスケジューラにジョブをサブミットする
ISSP, Univ. of Tokyo 3/14 スパコンの仕組み 利用者 ログインノード ジョブスケジューラ ログイン
計算ノード ユーザはログインノードから「ジョブ」を投入 ジョブスケジューラが空いた計算資源に「ジョブ」を割り当てる スパコン ジョブ
ISSP, Univ. of Tokyo 4/14 フェアシェアとは? スパコンのジョブは「優先度が高いもの」から順に実行されていきます 後から投入されたジョブが前の追い越して実行されることがあります ・ 「優先度」は、より多くのノードを、より長い時間占有するほどが下がります
・ 「優先度」は時間の経過で回復します ・ 「優先度」はアカウントごとに設定され、グループで共有されていません ・ 「優先度」はキューごとに設定されています ・ 「優先度」をユーザが知ることはできません ※ 高層ビルのエレベータの現在位置が表示されないのと同様な理由です ※ 上記の優先度ポリシーは物性研固有のものであり、他サイトでは異なります
ISSP, Univ. of Tokyo 5/14 スパコンを快適に使うためのマナーやコツ スパコンは多くの人が利用する、「公共の施設」です 自分勝手な使い方は他の人に迷惑をかけるのでご遠慮ください
ISSP, Univ. of Tokyo 6/14 ログインノードで重い処理をしない ログインノードはユーザみんなが使う「共通スペース」です 重い処理をすると他の人に迷惑がかかります 重い処理の例: ・
並列コンパイル (make –j) ・ プロダクトラン(スレッド並列等) ・ 複数のアカウントを利用して多数のプログラムをログインノードで実行 ・ 同時に複数のrsyncやscp ログインノードの「快適さ」は生産性に大きな影響を与えます
ISSP, Univ. of Tokyo 7/14 重い処理はインタラクティブキューで ログインノードは利用者全員の「共通スペース」ですが、インタラクティブキューは 一時的に割り当てられた「個室」です。 インタラクティブキューの活用例: ・
並列プログラムのデバッグ ・ 非常に多数のファイル処理 ・ 並列コンパイル (make –j) ログインノード インタラクティブキュー
ISSP, Univ. of Tokyo 8/14 アカウントの使い回しをしない アカウントは本来の所有者のみが使用してください 所有者が限定されないアカウントはセキュリティ面で重大な脅威になります ライセンスを必要とするソフトウェアで重大なライセンス違反になります 使い回しの例:
・ 複数の研究者が関わるプロジェクトでアカウントを共有 ・ 先輩から後輩に研究を引き継ぐ際、アカウント作成&ファイルの移動が面倒で 先輩の名義のまま後輩にアカウントを引き継ぐ ちょっとした手間を惜しむと、スパコン全体に迷惑をかけます
ISSP, Univ. of Tokyo 9/14 スパコンに秘密鍵を置かない スパコンのログインノードにSSHの秘密鍵を置かないようにしてください 特に、パスフレーズ無しの秘密鍵は絶対に置いてはいけません 過去の事例: ・
スパコンのアカウントがクラックされた際、そのアカウントにパスフレーズ無し の秘密鍵があったため、他のスパコンの踏み台となり、被害が拡大した SSHのエージェント転送により、ローカルPCの秘密鍵を利用可能です
ISSP, Univ. of Tokyo 10/14 インタラクティブキューでプロダクトランをしない インタラクティブキューは開発、デバッグ用に用意されたキューです 多数のプロダクトラン用のジョブを投入することはおやめください 過去の事例(言い訳): ・
「夜、計算資源が空いているのがもったいなかった」 ・ 「小規模キューが混んでいたから」 システムの「遊び」は生産性向上に欠かせないものです
ISSP, Univ. of Tokyo 11/14 ジョブ開始&終了通知メール ジョブが実行された時、終了した時にメールを飛ばすことができます 例えば以下の用途にご利用ください 「ジョブが実行を開始したら、正しく動いているかチェックしたい」 「ジョブが終了したらデータを解析したい」
ログインノードに張り付いて「まだ実行されない」と イライラするのはやめましょう
ISSP, Univ. of Tokyo 12/14 バルクジョブの活用 パラメータサーチなど、複数のジョブを多数実行したい場合はバルクジョブを ご利用ください。複数のジョブをまとめて実行することができます。 ・ 並列化せずにマルチコア、マルチノードの計算資源を有効活用できます
・ 比較的空いている大規模キューを利用できます(小規模キューは混んでいます) 詳細は「利用の手引き」を参照してください
ISSP, Univ. of Tokyo 13/14 不具合かな?と思ったら 「コンパイルがうまくいかない」「プログラムが異常終了した」 このようなトラブルがあった場合は、できるだけ「スパコンだけで起きるか」「手元の 環境でも起きるか」の切り分けをした上でお問い合わせください。 「手元の環境(GCC
7.2.0+OpenMPI)ではコンパイルできるプログラムが、物性研ではうまくいかない」 環境による問題の切り分けの例: 「これまで問題なく動いていたプログラムが、定期保守の後から異常終了するようになった」 時間による問題の切り分けの例:
ISSP, Univ. of Tokyo 14/14 ルールを守って楽しく利用しましょう スパコンをあなたの研究手段の選択肢 の一つに加えてみませんか? 物性研スパコンは、みなさんの利用申請を お待ちしております
https://mdcl.issp.u-tokyo.ac.jp/scc/