Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今から始める分散システム
Search
Honahuku
March 23, 2024
Programming
0
310
今から始める分散システム
第一回分散システム集会でLTとして発表した内容です
https://distributed.connpass.com/event/314129/
Honahuku
March 23, 2024
Tweet
Share
More Decks by Honahuku
See All by Honahuku
KubeCon + CloudNativeCon Japan 2025 に行ってきた! & containerd の新機能紹介
honahuku
0
140
「改訂版ブルーム・タキソノミー」を利用したソフトウェアドキュメンテーションの改善手法の提案
honahuku
0
490
Kubernetes のクラスタ内ネットワーク概要
honahuku
1
47
エンジニアでも論文が読みたい!
honahuku
0
900
大規模コンピューティングを支える Kubernetes のネットワーク
honahuku
0
180
SecAd~Ad data drivin’ network security~
honahuku
0
180
Other Decks in Programming
See All in Programming
階層化自動テストで開発に機動力を
ickx
1
440
AIに安心して任せるためにTypeScriptで一意な型を作ろう
arfes0e2b3c
0
270
Advanced Micro Frontends: Multi Version/ Framework Scenarios
manfredsteyer
PRO
0
110
AI Agent 時代のソフトウェア開発を支える AWS Cloud Development Kit (CDK)
konokenj
6
1k
テスターからテストエンジニアへ ~新米テストエンジニアが歩んだ9ヶ月振り返り~
non0113
2
240
Reactの歴史を振り返る
tutinoko
1
140
顧客の画像データをテラバイト単位で配信する 画像サーバを WebP にした際に起こった課題と その対応策 ~継続的な取り組みを添えて~
takutakahashi
4
1.4k
Jakarta EE Meets AI
ivargrimstad
0
390
SwiftでMCPサーバーを作ろう!
giginet
PRO
2
210
中級グラフィックス入門~効率的なメッシュレット描画~
projectasura
3
1.7k
知って得する@cloudflare_vite-pluginのあれこれ
chimame
1
120
変化を楽しむエンジニアリング ~ いままでとこれから ~
murajun1978
0
520
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Writing Fast Ruby
sferik
628
62k
Code Review Best Practice
trishagee
69
19k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Transcript
今から始める分散システム 第一回分散システム集会 @honahuku
自己紹介 • Honahuku(ほなふく) 第一回分散システム集会 • 冬コミ(C103)サークル参加 • 準学士(工学)の称号を得た • 電気通信学会の研究会発表
• V睡してたら体痛めた • サカナクションのライブに行きたい • 旅行先募集中 • 自宅インフラの整備を再開したい 最近のトピック
分散システムとは何か
分散システム? • エヴァ, MAGI • Portal, GLaDOS 第一回分散システム集会 Valve. Portal.
(2007) kharaInc. 新世紀エヴァンゲリオン. (1995)
分散システムの定義 第一回分散システム集会 パソコンやワークステーションなどの小型コンピューター によるネットワークで、複数のコンピューターに処理を分散 させる形態のシステム。 ASCII.jpデジタル用語辞典 「分散型システム」より
分散システムの定義 第一回分散システム集会 複数のコンピューターに処理を分散させる形態の システム Q. MAGI や GLaDOS は分散システムといえるか?
分散システムの定義 第一回分散システム集会 複数のコンピューターに処理を分散させる形態の システム Q. MAGI や GLaDOS は分散システムといえるか? A.
微妙 (処理の分散というより、合議による判断や人格の分離 が行われているような印象を受ける)
なぜ処理を分散するのか 第一回分散システム集会 処理を分散させると実装コストもかかる しかし分散処理はアツい(主観)
なぜ処理を分散するのか 第一回分散システム集会 • スケーラビリティ • 単一の高性能なマシンを購入せずとも汎用なマシン を複数追加することで段階的に対応できる • GPUインスタンスなど別特性のマシンを入れるとい うことも出来る
• 耐障害性 • 冗長化されたクラスタなら一部のマシンの故障なら 耐えられる
分散システムの実装
処理の分散 第一回分散システム集会 • 情報システムにおいてどう処理を分散するのか →並列計算 →コンピューター・クラスター →グリッド・コンピューティング
コンピューター・クラスター 第一回分散システム集会 • コンテナ管理型 • Kubernetes(CNCF) • Swarm(Docker) • Mesos(Apache)
• ジョブ型 • Airflow(Apache) • Grid Engine(Univa) • Slurm(SchedMD)
k8s の自律・分散処理 第一回分散システム集会 • k8s ではワークロードを動かすための設定を manifest という設定ファイルに書く • k8s
のコントローラーはこれを見て自律的にク ラスタを調整する • 動いている node のうち1つが停止した場合は pod(≒コンテナ)を別の node で新しく動かす • spec(仕様) と state(状態)をそれぞれ管理し、 state を spec に自律的に近づける事ができる
分散システムを支える技術 第一回分散システム集会 • 分散合意 • Raft • Paxos • 分散ストレージ
• Ceph • etcd • TiKV • ZooKeeper
分散システム集会でやりたいこと
分散システムという枠組みでの交流 第一回分散システム集会 • 分散システムは現代の情報システムにとって必要 なもの • 分散システムをもっと色んな人に知ってほしい • ツールとして分散システムを使う人や、現状のシ ステムに不満を持つ人など、いろんな層との交流
をしたい
コンテンツ・開催予定 第一回分散システム集会 • 交流会 • LT会 • 第一線で活躍している人を招待した講演 • などなど
• 次回開催は 4/27(土) 21:00~22:00 • 月1で第四土曜日の開催(予定)