Oracle Databaseのデータ・プロテクション詳解

Oracle Database Technology Night #40 前半
Oracle Databaseのデータ・プロテクション詳解
日本オラクル株式会社
日下部明
2020/11/19

View Slide

Safe harbor statement
以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とする
ものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することを確約
するものではないため、購買決定を行う際の判断材料になさらないで下さい。
オラクル製品に関して記載されている機能の開発、リリース、時期及び価格については、弊社の裁量により決定され、変
更される可能性があります。
Copyright © 2020, Oracle and/or its affiliates
2

View Slide

Oracle Databaseのデータ・プロテクション

View Slide

データの保存はハード・ディスク・ドライブやフラッシュ・メモ
リーのような不揮発性ストレージ・デバイスに依存している。
ストレージ・デバイスの故障はデータを失う。
そのためストレージ・デバイスの障害対策は必須。
しかし、データを失う要因はストレージ・デバイスの故障
以外にもある。
データを失わないためのより広範囲な考慮が必要。
データ・プロテクション(データ保護)
• 障害からの保護
• セキュリティ(今日はこの話はしません)
データ・プロテクション(データ保護)
4

View Slide

Oracleインスタンス + ストレージ上のデータベース・ファイル群
Oracle Databaseアーキテクチャ
5
制御ファイル
• データベース構成の情報
オンラインREDOログ・ファイル
• 更新の履歴
データファイル
• データの本体
Oracleインスタンス
• 共有メモリ
• プロセス群
データベース
• 制御ファイル
• オンラインREDOログ・ファイル
• データファイル

View Slide

6
Oracleサーバー・プロセスがメモリを更新しバックグラウンド・プロセスがファイルに永続化
Oracle Databaseアーキテクチャ
REDOログ・バッファ
LGWR
oracle oracle
Oracleサーバー・プロセス
ログ・ライター・プロセス
データベース・バッファ・キャッシュ
DBWn データベース・ライター・プロセス
SGA
oracle
Oracleサーバー・プロセスに
よるSQL処理はメモリを更新
バックグラウンド・プロセスが
ファイルに永続化 OS

View Slide

ストレージ・デバイスが故障していなくても、格納されている
ファイルのデータが破損している場合がある。
エラー・ログを出力するのは、その異常を検出した階層。
異常検出能力のない階層はエラー・ログを出力できない。
データを破損させた階層が破損させたことを直接ログに記
録していることは期待できない。
途中の経路が何らかのエラー・ログを残していたら間接的
にそれが原因と疑うしかない。
• ハードウェア・エラー
• ネットワーク通信エラー
• ...
データを失う要因はストレージ・デバイスの故障以外にもある
7
Oracle Database
OS
Multipath Driver
Device Driver
Host Bus Adapter
Storage Controller
Network
CPU/Memory
?
ERROR
?

View Slide

Oracle Databaseのデータ・プロテクション機能
8
Flashback
Log
Backup
RMAN
検査付きバックアップ
Flashback Database
過去のある時点に戻す
ASM
書き込み多重化
REDOログ/制御ファイル
多重化
ストレージ
データ・ブロックの破損検査
破損検査

View Slide

Active Data Guardによるリモート・レプリケーション
9
Flashback
Log
Backup
Data Guard
REDO検査付きレプリケーション
Active Data Guard
ブロック破損自動修復
ストレージ
プライマリ・データベーススタンバイ・データベース

View Slide

データ破損に対処する機能はデータ破損検出能力が必要
10
Flashback
Log
Backup
RMAN
検査付きバックアップ
Flashback Database
過去のある時点に戻す
ASM
書き込み多重化
多重化
Data Guard
REDO検査付きレプリケーション
Active Data Guard
ブロック破損自動修復
ストレージ
破損検査
データ・ブロックの破損検査

View Slide

ファイル破損を検出できるからその対処機能を実装可能
Oracle Databaseはデータベース構成ファイルの破損を1ブロック単位で検出可能
11
制御ファイル
• 更新の履歴
ORA-01578:
Oracleデータ・ブロックに障害が発生しました(ファイル番号4、ブロック番号27)
ORA-01110: データファイル4:
'/u01/app/oracle/oradata/orcl/users01.dbf'

View Slide

ファイル破損検出
• データ・ブロックの検査設定
• オンラインREDOログ・ファイルと制御ファイル
• チェックサム
• ファイル多重化
データベースの過去の状態にアクセスしたい
• Flashback
検出したファイル破損に対処する機能群
• Recovery Manager (RMAN)
• バックアップおよびリストア・リカバリ
• ファイル破損を検査しながらコピー
• Data Guard
• ブロック構造まで同じになるレプリケーション
• 受信したREDOログを検査
• Active Data Guard
• 自動ブロック・メディア・リカバリ
• Automatic Storage Management (ASM)
• ファイル破損の自動修復
12

View Slide

13
データ・ブロックとREDOブロックにチェックサムを付与する
初期化パラメータ DB_BLOCK_CHECKSUM (デフォルトはTYPICAL)
REDOログ・バッファ
LGWR
oracle oracle
ログ・ライター・プロセス
SGA
oracle
DB_BLOCK_CHECKSUM=
TYPICAL or FULL
Oracleサーバー・プロセスが
REDOブロックを生成するときに
チェックサムを付与する
OS
DB_BLOCK_CHECKSUM=TYPICAL
DBWnプロセスがブロックをファイルに書くと
きにチェックサムを計算し付与する
DB_BLOCK_CHECKSUM=FULL
ブロックを更新する前にチェックサムを検査
し、更新後に再計算して付与する

View Slide

14
破損が検出されるのは破損箇所を読んだとき
ファイル・ブロックを読むときにチェックサムが検査される
オンライン
REDOログ・
ファイル
LGWR
oracle oracle
アーカイバ・プロセス
SGA
oracle
アーカイバ・プロセスがオンライン
REDOログ・ファイルを読むときに
破損検査される
OS
データ・ファイルからデータ・ブロックを読むと
きに破損検査される
ARCn
アーカイブ
REDOログ・
ファイル

View Slide

そのファイル・ブロックは無効なので処理停止、そのため破損が伝搬しない
エラーで処理停止する場合の対処
• バックアップからのリストアおよびリカバリで復旧させる
• Data Guardスタンバイ・データベースをプライマリに昇
格させてフェイルオーバー
冗長化ファイルにフェイルオーバーして処理続行
• オンラインREDOログ・ファイルのアーカイブ
• RMANバックアップ・ファイルからのリストア
破損個所を自動修復
• ASM
• Active Data Guard自動ブロック・メディア・リカバリ
ファイル・ブロックの破損が検出されたら？
15
データのコピーがあれば復旧可能
ORA-01578:
Oracleデータ・ブロックに障害が発生しました(ファ
イル番号4、ブロック番号27) ORA-01110: データ
ファイル4:
'/u01/app/oracle/oradata/orcl/users
01.dbf'

View Slide

Recovery Manager (RMAN)
破損検査付きバックアップおよびリストア・リカバリ

View Slide

データファイルのコピーとREDOログの適用
バックアップおよびリストア・リカバリ
17
制御ファイル
• 更新の履歴
用語意味
バックアップ (主にデータファイル) ファイルのコピーを取得すること
リストアバックアップ・ファイルから書き戻すこと
リカバリ REDOログをデータ・ブロックに適用すること
Oracle Databaseではリストアとリカバリはセット
制御ファイルとREDOログ・ファイルの情報でデータファイルの内容を破損直前までもどす

View Slide

18
INSERT
UPDATE
DELETE
オンラインREDOログ
時間
アーカイブ・REDOログ
オンラインREDOログ・ファイルは固定長循環
型なので、書き込み完了したファイルはアーカ
イブREDOログ・ファイルにコピーされる。
データベースの更新はオンラインREDOログ・
ファイルに記録される。
時間

View Slide

19
INSERT
UPDATE
DELETE
時間
時刻t0
バックアップ
(データファイルのコピー)
時間
時刻t0に取得したデータ・ファイルのバックアッ
プには最新でも時刻t0までの情報しか含ま
れていない。
INSERT
UPDATE
DELETE

View Slide

20
INSERT
UPDATE
DELETE
アーカイブREDOログ
時間
時刻t0 時刻t1
INSERT
UPDATE
DELETE
INSERT
UPDATE
DELETE
バックアップ
時間
時刻t1にデータファイルの破損を検出した。

View Slide

21
INSERT
UPDATE
DELETE
時間
時刻t0 時刻t1
データファイル障害発生
INSERT
UPDATE
DELETE
INSERT
UPDATE
DELETE
バックアップ
リストア
(データファイルの書き戻し)
時刻t0に取得したデータ・ファイルのバックアッ
プには最新でも時刻t0までの情報しか含ま
れていない。

View Slide

22
INSERT
UPDATE
DELETE
時間
時刻t0 時刻t1
データファイル障害発生
INSERT
UPDATE
DELETE
INSERT
UPDATE
DELETE
リカバリ
(REDOログの適用)
バックアップ
リストア
データファイルの状態が
時刻t1まで復元される。

View Slide

推奨はRMAN
• Oracle付属のバックアップ・ツール
• Oracleサーバー・プロセスがデータベースのファイルにア
クセスする仕組みを使ってファイルをコピー
• Oracleインスタンス管理下で行われる操作
• RMAN以外の方法でコピーするすべての手法
• Oracleインスタンスがコピーを関知しない
• OSのファイル・コピー・コマンド
• ストレージ機能のスナップショットやスプリット・ミラー
Oracle Databaseの2種類の物理バックアップ手法
23
oracle
rman
（コピー元）
バックアップ
（コピー先）
スナップショット
スプリット・ミラー
Recovery Manager (RMAN) ユーザー管理バックアップ
RMANクライアント
Oracleサーバー・
プロセス
コピー元ボリュームバックアップ・ボリューム

View Slide

確実にリカバリするための"Recovery" Manager
• コピー時に破損検査が行われる
• 破損が伝搬しない
• バックアップしたファイルの破損検査も可能
• 破損領域がそのままコピーされる
• バックアップも破損している場合がある
• 誤った単位でボリュームをコピーしているとリカバリ時に
なってはじめてリカバリ不能に気付く
ファイル・コピー中のブロック破損検査
24
oracle
rman
（コピー元）
バックアップ
（コピー先）
スナップショット
スプリット・ミラー
Recovery Manager (RMAN) ユーザー管理バックアップ
プロセス
コピー元ボリュームバックアップ・ボリューム

View Slide

リストア中にバックアップ・ファイルの破損が検出されたらリストア元ファイルをフェイルオーバー
RMANはバックアップ・ファイルを複数生成することができる。
リストア中にバックアップ・ファイルの破損が検出されると、
バックアップ・ファイルのフェイルオーバーが行われる。
また、過去のバックアップ・ファイルにさかのぼってのフェイル
オーバーも行われる。
ファイル・コピー中のブロック破損検査
25
oracle
rman
データファイルバックアップ・ファイル1
プロセス
バックアップ・ファイル2
RMAN> restore tablespace pdb19a:users;
(中略)
チャネルORA_DISK_1: ORA-19870: バックアップ・ピース
/home/oracle/tmp/backup/0nvfdrlv_1_1のリストア中にエ
ラーが発生しました
ORA-19612: データファイル15はmissing or corrupt dataのためリスト
アされませんでした。
以前のバックアップへのフェイルオーバー
(中略)
チャネルORA_DISK_1: バックアップ・ピース1がリストアされました
チャネルORA_DISK_1: リストアが完了しました。経過時間: 00:00:01
restoreを20-11-13で終了しました
バックアップ・ファイル1の
破損を検出したので
バックアップ・ファイル2に
フェイルオーバー

View Slide

1ブロック単位でリストアおよびリカバリ可能
ブロック・メディア・リカバリ
RMANは破損を検出したそのブロックだけをリストアおよび
リカバリすることが可能。
V$DATABASE_BLOCK_CORRUPTIONビューに現れる
すべての破損データブロックを一括でリカバリする。
ブロック・メディア・リカバリ中はリカバリ対象以外のデータ・
ブロックへのアクセスは継続可能。
データファイル単位のリストアおよびリカバリでは、リカバリ中
のファイルにアクセスできないためそのファイルを含む表領域
をオフラインにしなければならない。
ブロック・メディア・リカバリ
26
oracle
rman
データファイルバックアップ・ファイル
プロセス
RMAN> recover datafile 18 block 131;
RMAN> recover corruption list;

View Slide

データファイルのコピーとREDOログの適用
Oracle Databaseではリストアとリカバリはセット
制御ファイルとREDOログ・ファイルの情報でデータファイルの内容を破損直前までもどす。
データファイルはデータファイルのバックアップとREDOログ・ファイルの情報から復元可能だが、オンラインREDOログ・ファイル
の情報が最新の状態であるため、失うと復元できない。
• 制御ファイルとオンラインREDOログ・ファイルは複数ファイルに冗長化して持たせることが可能
• ASMで冗長化(破損を検出したら自動修復)
27
制御ファイル
• 複数ファイルを構成可能
• 更新の履歴
• 複数ファイルを構成可能

View Slide

Data Guardフィジカル・スタンバイ
Active Data Guard
リモート・データベースでリカバリ

View Slide

REDOログをリモート・データベースに転送してそこでリカバリを続ける
Data Guardフィジカル・スタンバイ
29
オンライン
REDOログ・
ファイル
LGWR
NSS RFS
スタンバイ
REDOログ・
ファイル
REDOログ・
バッファ MRP0
PRn
REDO転送サービス適用サービス
プライマリ・データベース
と同じになる
データ・ブロックの更新
差分情報

View Slide

プライマリ・データベース障害で破損したREDOログは排除される
Data Guard Physical Standby
30
オンライン
REDOログ・
ファイル
LGWR
NSS RFS
スタンバイ
REDOログ・
ファイル
REDOログ・
バッファ MRP0
PRn
REDO転送サービス適用サービス
破損検査される

View Slide

スタンバイ・データベースをREAD ONLYでOPEN状態にする
Data Guard Physical Standby
スタンバイ・データベースをリカバリするためにMOUNT状態
になっている。
Active Data Guard
Data Guard Physical Standbyのスタンバイ・データベー
スをREAD ONLYでOPENできるようにした。
Active Data Guard
31
RFS
スタンバイ
REDOログ・
ファイル
MRP0
PRn
スタンバイ・データベース
適用サービス

View Slide

32
データ・ブロックの破損が検出されると対向データベースから正常ブロックを取り寄せてリカバリ
Active Data Guard自動ブロック・メディア・リカバリ
オンライン
REDOログ・
ファイル
oracle oracle
SGA
1. データ・ブロックの破損を
検出した
データベース・
バッファ・
キャッシュ
SGA
2. 該当データ・ブロックを
取り寄せる
3. リカバリ
4. SQL処理は
エラーなく継続
※スタンバイ・データベースでブロック破損が検出されるとプライマリ・
データベースから該当ブロックを取り寄せてリカバリ

View Slide

Flashback
過去のある時点のデータにアクセスしたい

View Slide

ファイルの破損ではなく、SQLが正常に実行されていった後での話
ポイント・イン・タイム・リカバリ
1. 該当データファイルのフル・バックアップからリストアする。
2. リカバリを途中で止める。
⇒データファイルのサイズが大きいとリストアにかなり時間がかかる。
Flashback
1. 変更前データ・ブロック(UNDO表領域)の情報を意図的に長時間保持。
2. 変更前データ・ブロックの情報を使って過去のデータにアクセスする。
⇒ポイント・イン・タイムリカバリよりも早い。
34

View Slide

ポイント・イン・タイム・リカバリ
1. 該当データファイルのアクセスしたい時刻(時刻t1)より前(時刻t0)のフル・バックアップからリストアする。
2. リカバリを途中(時刻t1)で止める。
⇒データファイルのサイズが大きいとリストアにかなり時間がかかる。
35
時間
時刻t0 時刻t2
リカバリ
バックアップ
リストア
時刻t1
リカバリを時刻t1までで止める最新データの時刻はt2

View Slide

Flashback
1. 変更前データ・ブロック(UNDO表領域)の情報を意図
的に長時間保持。
2. 変更前データ・ブロックの情報を使って過去のデータに
アクセスする。
⇒ポイント・イン・タイムリカバリよりも早い。
変更前データ・ブロックを残しておく
Flashback
36
oracle
SGA
データ・ブロックの更新前情
報をUNDO表領域に退避
UNDOデータ・ブロックのバックアップ
⇒ Flashback Database
LGWR
ユーザー表領域 UNDO表領域
DBWn
Fast Recovery Area
リカバリ・ライター・プロセス
UNDOデータ・ブロックの長時間保持
⇒ Flashback Query
RVWR

View Slide

指定した時刻までデータベースの状態を戻す
Flashback Database
1. Fast Recovery Areaにバックアップしておいた、指定時刻(時刻t1)より前のUNDOブロックをリストア
2. REDOを適用して指定時刻(時刻t1)までロールフォワード
⇒データファイル全体をリストアするポイント・イン・タイムリカバリより速いし簡単
Flashback Database
37
時間
時刻t0 時刻t2
リカバリ
Flashback Log
(UNDOブロックのバックアップ)
リストア
(UNDOブロックの書き戻し)
時刻t1
リカバリを時刻t1までで止める最新データの時刻はt2

View Slide

SWITCHOVER
プライマリ・データベースとスタンバイ・データベースを入れ替
える。
FAILOVER
プライマリ・データベースを切り捨ててスタンバイ・データベー
スをプライマリに昇格させる。
スナップショット・スタンバイ・データベース
スタンバイ・データベースを一時的にプライマリに昇格させる。
Data Guardの運用
38
P
S
S
P
P
S P
P
P
S P
REDO転送方向

View Slide

S
FAILOVERテストをした後
FAILOVER
プライマリ・データベース(A)を切り捨ててスタンバイ・データベース(B)をプライマリに昇格させる。
FAILOVER試験をする場合、旧プライマリ(A)は破損しているわけではないが、REDOログが異なるので旧プライマリ(A)と新
プライマリ(B)はREDOログの再同期はできなくなる。
旧プライマリ(A)をData Guardに組み込むには新プライマリ(B)のREDOを適用できる必要があり、FAILOVERコマンド発行
前のデータ・ブロックの状態が必要になる。
⇒全データファイルのバックアップからのリストアは時間がかかる。
Data Guardの運用
39
P
S P
P
REDO転送方向
データベースA
データベースB
バックアップ
データベースAをData Guardスタンバイに
するためにはFAILOVERコマンド発行前の
フル・バックアップからリストア
FAILOVERコマンド発行

View Slide

S
組み合わせて使用する
FAILOVER
旧プライマリ(A)をData Guardに組み込むには新プライマリ(B)のREDOを適用できる必要があり、FAILOVERコマンド発行
前のデータ・ブロックの状態が必要になる。
⇒全データファイルのバックアップからのリストアは時間がかかる、もしくは
旧プライマリは破損しているわけではないので旧プライマリ(A)をFAILOVERコマンド発行前の時刻にFlashbackする。
⇒フル・リストアするより簡単かつ高速
Data Guardの運用とFlashback Database
40
P
S P
P
FAILOVERコマンドを発行する前の時刻に
FlashbackするとデータベースBと同じとみな
せるのでREDO適用が可能になる
REDO転送方向
データベースA
データベースB
FAILOVERコマンド発行

View Slide

Automatic Storage Management (ASM)

View Slide

デバイス・
ファイル
Oracle Database専用のクラスタ・ボリューム・マネージャ兼クラスタ・ファイルシステム
Oracle Automatic Storage Management
42
ファイル構造
Oracle構造
POSIXファイルシステム
ボリューム・マネージャ
ファイルシステム
表、索引
表領域
ファイル
ASM
ASM
表、索引
表領域
ボリューム・マネージャ
ファイルシステム
ファイル

View Slide

ファイル破損検出
• データ・ブロックの検査設定
• オンラインREDOログ・ファイルと制御ファイル
• チェックサム
• ファイル多重化
データベースの過去の状態にアクセスしたい
• Flashback
検出したファイル破損に対処する機能群
• Recovery Manager (RMAN)
• バックアップおよびリストア・リカバリ
• ファイル破損を検査しながらコピー
• Data Guard
• ブロック構造まで同じになるレプリケーション
• 受信したREDOログを検査
• Active Data Guard
• Automatic Storage Management (ASM)
• ファイル破損の自動修復
43

View Slide

Thank you
44

View Slide

View Slide

Our mission is to help people see
data in new ways, discover insights,
unlock endless possibilities.

View Slide

Oracle Databaseのデータ・プロテクション詳解

Oracle Databaseのデータ・プロテクション詳解

oracle4engineer
PRO

More Decks by oracle4engineer

Other Decks in Technology

Featured

Transcript

Oracle Databaseのデータ・プロテクション詳解

Oracle Databaseのデータ・プロテクション詳解

oracle4engineer PRO

More Decks by oracle4engineer

Other Decks in Technology

Featured

Transcript

oracle4engineer
PRO