Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
スパコンの使い方と諸注意 / Enjoy Supercomputing
Search
kaityo256
PRO
April 24, 2018
Programming
420
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
スパコンの使い方と諸注意 / Enjoy Supercomputing
2018年4月24日に行われた東京大学物性研究所のスパコン講習会の資料。
講習会の様子:
https://www.youtube.com/watch?v=YcsKEyK9G00
kaityo256
PRO
April 24, 2018
Transcript
14 slides
ISSP, Univ. of Tokyo 1/14 2018年4月24日 物性研究所スパコン講習会 2022年6月25日 リンク修正の上で再アップロード スパコンの使い方と諸注意
東大物性研 大型計算機室
ISSP, Univ. of Tokyo 2/14 スパコンの使い方 1. プログラムを開発、コンパイルする 2. プログラムをどのように実行するかを記述したジョブスクリプトを用意する
3. ジョブスケジューラにジョブをサブミットする
ISSP, Univ. of Tokyo 3/14 スパコンの仕組み 利用者 ログインノード ジョブスケジューラ ログイン
計算ノード ユーザはログインノードから「ジョブ」を投入 ジョブスケジューラが空いた計算資源に「ジョブ」を割り当てる スパコン ジョブ
ISSP, Univ. of Tokyo 4/14 フェアシェアとは? スパコンのジョブは「優先度が高いもの」から順に実行されていきます 後から投入されたジョブが前の追い越して実行されることがあります ・ 「優先度」は、より多くのノードを、より長い時間占有するほどが下がります
・ 「優先度」は時間の経過で回復します ・ 「優先度」はアカウントごとに設定され、グループで共有されていません ・ 「優先度」はキューごとに設定されています ・ 「優先度」をユーザが知ることはできません ※ 高層ビルのエレベータの現在位置が表示されないのと同様な理由です ※ 上記の優先度ポリシーは物性研固有のものであり、他サイトでは異なります
ISSP, Univ. of Tokyo 5/14 スパコンを快適に使うためのマナーやコツ スパコンは多くの人が利用する、「公共の施設」です 自分勝手な使い方は他の人に迷惑をかけるのでご遠慮ください
ISSP, Univ. of Tokyo 6/14 ログインノードで重い処理をしない ログインノードはユーザみんなが使う「共通スペース」です 重い処理をすると他の人に迷惑がかかります 重い処理の例: ・
並列コンパイル (make –j) ・ プロダクトラン(スレッド並列等) ・ 複数のアカウントを利用して多数のプログラムをログインノードで実行 ・ 同時に複数のrsyncやscp ログインノードの「快適さ」は生産性に大きな影響を与えます
ISSP, Univ. of Tokyo 7/14 重い処理はインタラクティブキューで ログインノードは利用者全員の「共通スペース」ですが、インタラクティブキューは 一時的に割り当てられた「個室」です。 インタラクティブキューの活用例: ・
並列プログラムのデバッグ ・ 非常に多数のファイル処理 ・ 並列コンパイル (make –j) ログインノード インタラクティブキュー
ISSP, Univ. of Tokyo 8/14 アカウントの使い回しをしない アカウントは本来の所有者のみが使用してください 所有者が限定されないアカウントはセキュリティ面で重大な脅威になります ライセンスを必要とするソフトウェアで重大なライセンス違反になります 使い回しの例:
・ 複数の研究者が関わるプロジェクトでアカウントを共有 ・ 先輩から後輩に研究を引き継ぐ際、アカウント作成&ファイルの移動が面倒で 先輩の名義のまま後輩にアカウントを引き継ぐ ちょっとした手間を惜しむと、スパコン全体に迷惑をかけます
ISSP, Univ. of Tokyo 9/14 スパコンに秘密鍵を置かない スパコンのログインノードにSSHの秘密鍵を置かないようにしてください 特に、パスフレーズ無しの秘密鍵は絶対に置いてはいけません 過去の事例: ・
スパコンのアカウントがクラックされた際、そのアカウントにパスフレーズ無し の秘密鍵があったため、他のスパコンの踏み台となり、被害が拡大した SSHのエージェント転送により、ローカルPCの秘密鍵を利用可能です
ISSP, Univ. of Tokyo 10/14 インタラクティブキューでプロダクトランをしない インタラクティブキューは開発、デバッグ用に用意されたキューです 多数のプロダクトラン用のジョブを投入することはおやめください 過去の事例(言い訳): ・
「夜、計算資源が空いているのがもったいなかった」 ・ 「小規模キューが混んでいたから」 システムの「遊び」は生産性向上に欠かせないものです
ISSP, Univ. of Tokyo 11/14 ジョブ開始&終了通知メール ジョブが実行された時、終了した時にメールを飛ばすことができます 例えば以下の用途にご利用ください 「ジョブが実行を開始したら、正しく動いているかチェックしたい」 「ジョブが終了したらデータを解析したい」
ログインノードに張り付いて「まだ実行されない」と イライラするのはやめましょう
ISSP, Univ. of Tokyo 12/14 バルクジョブの活用 パラメータサーチなど、複数のジョブを多数実行したい場合はバルクジョブを ご利用ください。複数のジョブをまとめて実行することができます。 ・ 並列化せずにマルチコア、マルチノードの計算資源を有効活用できます
・ 比較的空いている大規模キューを利用できます(小規模キューは混んでいます) 詳細は「利用の手引き」を参照してください
ISSP, Univ. of Tokyo 13/14 不具合かな?と思ったら 「コンパイルがうまくいかない」「プログラムが異常終了した」 このようなトラブルがあった場合は、できるだけ「スパコンだけで起きるか」「手元の 環境でも起きるか」の切り分けをした上でお問い合わせください。 「手元の環境(GCC
7.2.0+OpenMPI)ではコンパイルできるプログラムが、物性研ではうまくいかない」 環境による問題の切り分けの例: 「これまで問題なく動いていたプログラムが、定期保守の後から異常終了するようになった」 時間による問題の切り分けの例:
ISSP, Univ. of Tokyo 14/14 ルールを守って楽しく利用しましょう スパコンをあなたの研究手段の選択肢 の一つに加えてみませんか? 物性研スパコンは、みなさんの利用申請を お待ちしております
https://mdcl.issp.u-tokyo.ac.jp/scc/
More Decks by kaityo256
See All by kaityo256
生成AIとの付き合い方/ How to work with AI
kaityo256
PRO
3
1.2k
パズルゲームの作り方 / how to make puzzle games
kaityo256
PRO
2
350
What is XAI?
kaityo256
PRO
0
240
勾配ブースティングと決定木の話 / gradient boosting and decision trees
kaityo256
PRO
7
1.9k
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
17
6.1k
この講義について / 00-setup
kaityo256
PRO
3
580
GitHubによるWebアプリケーションのデプロイ / 07-github-deploy
kaityo256
PRO
2
530
演習:Gitの基本操作 / 04-git-basic
kaityo256
PRO
1
780
演習:Gitの応用操作 / 05-git-advanced
kaityo256
PRO
1
480
Other Decks in Programming
See All in Programming
선언형 햅틱 라이브러리 진동을 소개합니다
l2hyunwoo
1
320
はじめてのPLATEAU
nokonoko1203
1
660
プロジェクトコードをキレイキレイしよう!暗黙的な参照を読み解く静的解析
ostk0069
0
220
Web3Dライブラリを作ってVue Custom Rendererの仕組みを理解しよう / lets learn vue custom renderer by making 3d library
drumath2237
1
140
LLM 101: Exploring LLMs, Starting with Tokens.
dalinaum
0
110
Vapor Mode でアクセシビリティは 壊れないか検証した話
fuqda
1
350
[Kotlin Fest 2026] eBPF Tracing for Kotlin
takehaya
1
370
複数ドメインを一つのアプリに統合するFlutterの設計と運用_FlutterKaigi2026登壇資料(須永高弘)
takahirosunaga
0
200
AI時代のIaC入門 〜なぜインフラをコードで管理したいのか?〜 / Introduction to IaC in the AI Era
akihisaikeda
6
1.6k
imagewebp()の向こう側: WebPはなぜ JPEG・PNGより軽いのか
yuzneri
0
130
小さなアプリを作って公開するまで
onozaty
0
200
オーケストレーション記述言語 Katari
yukikurage
0
270
Featured
See All Featured
HU Berlin: Industrial-Strength Natural Language Processing with spaCy and Prodigy
inesmontani
PRO
0
810
Optimising Largest Contentful Paint
csswizardry
37
4k
Balancing Empowerment & Direction
lara
6
1.4k
Claude Code のすすめ
schroneko
67
230k
The Curse of the Amulet
leimatthew05
4
17k
Automating Front-end Workflow
addyosmani
1370
210k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
38
3.1k
Ecommerce SEO: The Keys for Success Now & Beyond - #SERPConf2024
aleyda
1
2.3k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
17k
Designing for Performance
lara
612
70k
Designing Experiences People Love
moore
143
24k
Writing Fast Ruby
sferik
630
63k