データベースとストレージのレプリケーション入門 / Intro-of-database-and-storage-replication

by Kohei Ota

Slide 1

Slide 1 text

データベースとストレージのレプリケーション入門年月日

Slide 2

Slide 2 text

公開に向けたこの資料は新卒年目、年目の若手に向け作られた初心者向けのものです作者自身もとストレージは得意ではない領域のため、間違っている箇所があったらこっそり優しく教えていただけると幸いです

Slide 3

Slide 3 text

アジェンダステートレスとステートフルステートフルの管理はなぜ大変？アプリケーションとデータベース特性と定理データベースとストレージストレージの種類と読み書きの特性のスケーリング・可用性への基本的な考慮

Slide 4

Slide 4 text

ステートレスとステートフルステートレス状態が無いステートフル状態が有る

Slide 5

Slide 5 text

ステートレスとステートフルステートレス状態が無いステートフル状態が有るたとえば・・・静的コンテンツだけを返すサイト → 何回アクセスしても結果が同じステートレス日々アクセスするサイトに応じて内容が変わるようなシステム広告とか → 各ユーザーの傾向に応じてレスポンスが違うステートフルデータベース → 入力データの追加・変更・削除によっては出力も変化するステートフル

Slide 6

Slide 6 text

ステートフルの管理はなぜ大変？ステートがあるとその時点でのデータが壊れたときにそれを保証するのが大変ステートがあるとスケールも大変ステートがあると読み出しと書き込みのタイミングによって結果が変わるので大変 → 株価の変動や銀行口座など、ミッションクリティカル性の高いワークロードもある

Slide 7

Slide 7 text

ステートフルの管理はなぜ大変？ステートフルなアプリ複数ユーザーからのリクエストダウンタイムなしにスケールアップしたい 🤔🤔

Slide 8

Slide 8 text

ステートフルの管理はなぜ大変？垂直スケールにするとステートフルなアプリ複数ユーザーからのリクエストダウンタイムなしにスケールアップしたい 🤔🤔 単にマシンスペックを上げるとダウンタイムが発生

Slide 9

Slide 9 text

ステートフルの管理はなぜ大変？水平にスケールするとステートフルなアプリ複数ユーザーからのリクエスト各ユーザーの入力に対する同期をアプリケーション間でどうやってとる？ステートフルなアプリステートフルなアプリ

Slide 10

Slide 10 text

アプリケーションとデータベースを分離してみる層構造にしたがって、アプリケーションとデータベースを分離してみましょう

Slide 11

Slide 11 text

ステートフルの管理はなぜ大変？を分離してみるとアプリ複数ユーザーからのリクエストアプリアプリデータベース

Slide 12

Slide 12 text

ステートフルの管理はなぜ大変？を分離してみるとアプリ複数ユーザーからのリクエストアプリアプリデータベースこっちはなんとかスケールできそう横に並べればダウンタイムも発生しにくくなるこっちは結局どうすんの？ 🤔🤔

Slide 13

Slide 13 text

結局データベースが大変なことにデータベースのスケーリングを理解するにはデータベースの特性を理解する必要があります

Slide 14

Slide 14 text

データベースの重要な性質データはアプリケーションよりも寿命が長いデータベースはアプリケーションよりも止めるのが難しいデータベースはアプリケーションよりも構造を変えるのが難しい

Slide 15

Slide 15 text

データベースの重要な性質データはアプリケーションよりも寿命が長いデータベースはアプリケーションよりも止めるのが難しいデータベースはアプリケーションよりも構造を変えるのが難しいデータベースはサービスが終了しても活用される場合があるアプリケーションは壊れても一時的なダウンで済むが、データは壊れたらサービスが死ぬデータベースは色んな所から参照されている場合があるデータ分析や機械学習のバッチ処理など

Slide 16

Slide 16 text

大事なことなのでもう一度データベースのスケーリングを理解するにはデータベースの特性を理解する必要があります

Slide 17

Slide 17 text

データベースに関する便利な資料データベースのスケーリングを理解するにはデータベースの構造を理解する必要があります

Slide 18

Slide 18 text

データベースに関する便利な資料データベースのスケーリングを理解するにはデータベースの構造を理解する必要があります

Slide 19

Slide 19 text

特性と定理は以下つの言葉の頭文字原子性一貫性独立性永続性データベースのトランザクション処理に関するつの重要な性質

Slide 20

Slide 20 text

特性と定理は以下つの言葉の頭文字原子性一貫性独立性永続性データベースのトランザクション処理に関するつの重要な性質 💡トランザクションとは？💡 データの処理における一連のやり取りのこと書き込みや読み込みを完了するまでの一連の流れ

Slide 21

Slide 21 text

特性と定理は以下つの言葉の頭文字原子性一貫性独立性永続性データベースのトランザクション処理に関するつの重要な性質トランザクションは完全に実行が完了するか全く実行されないかのどちらかでないといけない → 処理の一部だけが行われている状態は銀行の処理とか考えるとわかりやすい

Slide 22

Slide 22 text

特性と定理は以下つの言葉の頭文字原子性一貫性独立性永続性データベースのトランザクション処理に関するつの重要な性質トランザクションの状態に関わらずデータベースの整合性は維持しないといけない → 実行結果が矛盾してはいけない

Slide 23

Slide 23 text

特性と定理は以下つの言葉の頭文字原子性一貫性独立性永続性データベースのトランザクション処理に関するつの重要な性質トランザクションを同時に行った場合でも各トランザクションは他の処理結果の影響を受けてはならない → 実行結果が矛盾してはいけない

Slide 24

Slide 24 text

特性と定理は以下つの言葉の頭文字原子性一貫性独立性永続性データベースのトランザクション処理に関するつの重要な性質トランザクションの結果は障害の有無に関わらず失われてはいけない → ハードウェア障害後もデータの永続性を保証

Slide 25

Slide 25 text

特性と定理は以下つの言葉の頭文字原子性一貫性独立性永続性データベースのトランザクション処理に関するつの重要な性質トランザクションの結果は障害の有無に関わらず失われてはいけない → ハードウェア障害後もデータの永続性を保証ちなみにこれはデータベーススペシャリストなどの試験でも登場する非常に基本的なの特性です

Slide 26

Slide 26 text

特性と定理は以下つの言葉の頭文字一貫性可用性分断耐性分散システムにおけるノード間のやり取りに関する定理

Slide 27

Slide 27 text

特性と定理は以下つの言葉の頭文字一貫性可用性分断耐性分散システムにおけるノード間のやり取りに関する定理誰かがデータを更新したら必ず更新後のデータが参照できる → データの同一性を保証

Slide 28

Slide 28 text

特性と定理は以下つの言葉の頭文字一貫性可用性分断耐性分散システムにおけるノード間のやり取りに関する定理クライアントが常にデータにアクセスできること → 読み込みも書き込みもできる

Slide 29

Slide 29 text

特性と定理は以下つの言葉の頭文字一貫性可用性分断耐性分散システムにおけるノード間のやり取りに関する定理ノードがネットワーク的に分断されても結果が正しく保たれること → 分散システムのが発生しないこと

Slide 30

Slide 30 text

特性と定理は以下つの言葉の頭文字一貫性可用性分断耐性分散システムにおけるノード間のやり取りに関する定理定理はこれらつを同時に保証することはできないという理論

Slide 31

Slide 31 text

特性と定理は以下つの言葉の頭文字一貫性可用性分断耐性分散システムにおけるノード間のやり取りに関する定理定理はこれらつを同時に保証することはできないという理論ただし、最近はの台頭によりこれを限りなく解決できるような仕組みができてきた

Slide 32

Slide 32 text

重視型の一貫性と可用性を重視した構成一貫性可用性分断耐性一般的な、、等とにかく単体の性能を上げて殴るやつ

Slide 33

Slide 33 text

重視型の可用性と分断耐性を重視した構成一貫性可用性分断耐性やなどとにかく分散させて書き込み性能を上げる一時的一貫性を犠牲に結果整合性で帳尻合せ

Slide 34

Slide 34 text

重視型の一貫性と分断耐性を重視した構成一貫性可用性分断耐性やなどサーバが増えるとロック待ちにより可用性が損なわれるが、一貫性を持つ分散

Slide 35

Slide 35 text

重視型の一貫性と分断耐性を重視した構成一貫性可用性分断耐性やなどサーバが増えるとロック待ちにより可用性が損なわれるが、一貫性を持つ分散他にも特性があるが分散まで踏み込むと内容が難しいので割愛・・・

Slide 36

Slide 36 text

データベースとストレージデータベースはデータを管理するミドルウェアデータはストレージに保存するもの → ストレージの種類と特性を知るのは大事！

Slide 37

Slide 37 text

ストレージの種類ブロックストレージ • やベアメタルにボリュームとしてマウント • 単一ホストからしか見られない • 、など経由のものやのようなネイティブデバイスもある • マウントしたボリュームにはが対応した好きなファイルシステム、、、等を使える • 性能が高くやのデータ保管に適している

Slide 38

Slide 38 text

ストレージの種類ファイルストレージ • やベアメタルにファイルシステムとしてマウント • 複数ホストからの読み書きを受け付ける • やのようなネットワークドライブ • ファイルシステムをマウントするので側では選択不可 • 性能はそこそこ、ファイル単位のロック機構があり、触るファイルが別であれば書き込みを複数ホストから同時にできる

Slide 39

Slide 39 text

ストレージの種類オブジェクトストレージ • フォルダやデバイスとしてマウントしない、でアクセスするタイプのストレージ • プログラマブルで大量のファイルを書き込める • 構造化されたメタデータやファイルオブジェクト単位での世代管理の仕組みがあり、アプリケーションとの親和性が高い • 性能はつの中では一番低い • 画像や動画などの保存に使う

Slide 40

Slide 40 text

Slide 41

Slide 41 text

のスケーリングにおける基本的な方針定理でも示されている通り、の特性によって取るべき構成は違うここでは一般的な以下つのを考える分散複数台で構成する場合・性能面での可用性・耐障害性としての可用性を分けて考えるとわかりやすい

Slide 42

Slide 42 text

のスケーリングで大事な用語レプリケーションデータの複製耐障害性を上げるための仕組みシャーディングデータを複数台に分散して書き込む仕組み書き込み分散するので性能向上が見込める

Slide 43

Slide 43 text

Slide 44

Slide 44 text

のスケーリングは分断耐性が低い書き込みのエンドポイントを複数作るのは難しいシャーディングもやれなくはないが今回は難しい＋複雑になるので割愛でも台だけで本番構えると可用性が・・・

Slide 45

Slide 45 text

のスケーリングは分断耐性が低い書き込みのエンドポイントを複数作るのは難しいシャーディングもやれなくはないが今回は難しい＋複雑になるので割愛でも台だけで本番構えると可用性が・・・ → レプリケーションを置いてアクティブスタンバイ構成にし、障害発生時に切り替える構成なんかはつおいのでこういうことがいい感じにできるらしいよくわかってない

Slide 46

Slide 46 text

のレプリケーションレプリカプライマリデータベースデータを同期プロキシ障害発生時にはフェイルオーバー状態監視 ※ただし、や単体でクラスタリングとフェイルオーバーまでは面倒を見ないのでソリューションを別途自前で入れる必要がある

Slide 47

Slide 47 text

のレプリケーションレプリカプライマリデータベースデータを同期プロキシ障害発生時にはフェイルオーバー状態監視最もシンプルな冗長構成障害発生時若干のダウンタイムはあるサイトを分ければ構成にも応用可 ※ただし、や単体でクラスタリングとフェイルオーバーまでは面倒を見ないのでソリューションを別途自前で入れる必要がある

Slide 48

Slide 48 text

のレプリケーションレプリカプライマリデータベースデータを同期プロキシ障害発生時にはフェイルオーバー状態監視データベースのストレージのスナップショットを取得するアプローチもある愚直な反面即時性には欠ける定常時にこちらを読み取り専用で使って負荷を下げるというやり方もあるいわゆるリードレプリカ

Slide 49

Slide 49 text

のスケーリングは可用性が弱点書き込みしすぎるとロックの原因になるシンプルで書き込みが特定箇所に集中しないデータを保管するのに向いているオンメモリなので高速裏を返すとメモリなのでコストは高い → で取得するまでもないデータや、一時的なキャッシュを保存するのに使いやすい

Slide 50

Slide 50 text

のレプリケーションレプリケーションマスタースレーブスレーブスレーブデータの同期

Slide 51

Slide 51 text

のレプリケーションレプリケーションマスタースレーブスレーブスレーブ読み込みはスレーブからできるマスターで障害発生マスターが書き込みの単一障害点データの同期

Slide 52

Slide 52 text

のレプリケーション構成マスタースレーブスレーブスレーブデータの同期

Slide 53

Slide 53 text

のレプリケーション構成マスタースレーブスレーブスレーブマスターに昇格データの同期マスターで障害発生フェイルオーバー

Slide 54

Slide 54 text

のレプリケーションクラスターマスタースレーブスレーブスレーブマスターマスター

Slide 55

Slide 55 text

のレプリケーションクラスターマスタースレーブスレーブスレーブマスターマスターレプリケーションによる耐障害性シャードによる書き込み性能の向上マスターのフェイルオーバーなど全部盛り盛り

Slide 56

Slide 56 text

の構成比較構成シンプルさフェイルオーバー書き込み分散レプリケーション ◯ ✕ ✕ △ ◯ ✕ クラスター ✕ ◯ ◯

Slide 57

Slide 57 text

まとめストレージもも、特性を理解すると活用法が見えてくるデータベースの仕組みだけでも知っておくと、インフラ屋さんとして役立つかも！！ストレージは製品もあるので勉強しましょう可用性には性能維持と耐障害性の観点があるレプリケーションとシャードは抑えるとの特性に合わせ構成を考えると◎

Slide 58

Slide 58 text

No content