Oracle Exadata Cloud@Customer Exadata Database Service - お客様 VM の OS (Exadata System Software)アップデート手順

Oracle Exadata Cloud@Customer
〜 Exadata Database Service
お客様 VM の OS (Exadata System Software) アップデート⼿順
⽇本オラクル株式会社
2021 年 1 ⽉ 8 ⽇

View Slide

Safe harbor statement
以下の事項は、弊社の⼀般的な製品の⽅向性に関する概要を説明するものです。また、
情報提供を唯⼀の⽬的とするものであり、いかなる契約にも組み込むことはできません。以
下の事項は、マテリアルやコード、機能を提供することを確約するものではないため、購買
決定を⾏う際の判断材料になさらないで下さい。
オラクル製品に関して記載されている機能の開発、リリース、時期及び価格については、弊
社の裁量により決定され、変更される可能性があります。
Copyright © 2021, Oracle and/or its affiliates
2

View Slide

⽬次
3
1. メンテナンス概要
2. Exadata System Software
3. お客様 VM の OS (Exadata System Software) アップデート⼿順
4. 参考情報

View Slide

4
メンテナンス概要

View Slide

ExaC@C: Exadata Database Service 管理範囲イメージ
5
対象コンポーネント
• VM クラスタ、VM 上の OS
• Database、Grid Infrastructure
管理作業
• 対象コンポーネントの監視・管理
• 対象コンポーネントのパッチ適⽤
お客様 ︓ Exadata VM クラスタ
対象コンポーネント
• ハードウェア
• Database Server 上の KVM host または dom0、
Storage Server、ネットワーク、Firmware 等
• クラウド・サービス機能関連
管理作業
• 対象コンポーネントの監視・管理
• 対象コンポーネントのパッチ適⽤
• ハードウェア障害対応
Oracle ︓ Exadata インフラストラクチャ・CPS
…
…
クライアント・ネットワーク※
バックアップ・ネットワーク※
DATA
RECO
SPARSE
ASM
Database Servers
Storage Servers
VM VM
VM
Clusterware
KVM host/
dom0
CPS
CPS
Control Plane Server ネットワーク※
ExaC@C
Database Home
Database
※ネットワーク・アクセスの提供はお客様の対応範囲
KVM host/
dom0
KVM host/
dom0

View Slide

お客様対応範囲:
• お客様 VM 内
お客様の任意のタイミングで適⽤ (⾃動適⽤はされない・定期的なパッチ適⽤を推奨)
• Database/Grid Infrastructure: コンソールや CLI (dbaascli) などクラウドツールで適⽤可能
• OS (Exadata System Software*1)︓patchmgr (専⽤の CLI ツール) による適⽤
Oracle 対応範囲:
• Exadata Infrastructure
オラクルが四半期ごとに⾃動適⽤ (お客様によるスケジュール設定は可能・ローリング・アップデートによる実施)
• Database Server (KVM host / dom0 部分) *2
• Storage Server
• 内部 Network Switch
• Control Plane Server (CPS)
6
*2: Exadata X8M では仮想化に KVM が利⽤されるため KVM host、それ以前のモデルは Xen ベースの仮想化が利⽤されるため dom0
と呼ばれるハイパーバイザーの管理ホスト部のアップデートが⾏われ、ゲスト OS 部分であるお客様が利⽤する VM (KVM の場合は KVM guest、
Xen の場合は domU) のアップデートはお客様による実施が必要。
*1: Exadata System Software とは Exadata の各コンポーネントに搭載される、
OS や Exadata 固有のソフトウェア機能を含むソフトウェア・バンドル。
本資料で取り扱う内容
ExaC@C: Exadata Database Service ソフトウェア・メンテナンス（パッチ適⽤)

View Slide

7
Exadata System Software

View Slide

ExaC@C 初期導⼊時
• ExaC@C 初期導⼊時には、その時点で ExaC@C にて利⽤可
能な最新かつ同⼀バージョンの Exadata System Software が、
お客様 VM、Database Server (KVM host または dom0)、
Storage Server へインストールされる。
• Exadata System Software
• Exadata の各コンポーネントに搭載される、 OS や Exadata
固有のソフトウェア機能等を含むソフトウェア・バンドル。
• Exadata System Software バージョン・フォーマット例
• 20 . 1 . 5
• 年: ソフトウェアの年次リリース表⽰
• アップデート: 新機能を含むソフトウェア・アップデート
• リビジョン: セキュリティおよびソフトウェア修正を含むアップデート
• ExaC@C で利⽤される最新の Exadata System Software
バージョンについては下記 MOS ノートで参照可能
Doc ID 2333222.1: Exadata Cloud Service Software Versions
8
Storage Server 向け
年アップデートリビジョン
お客様 VM 向け
Database Server 向け
VM
VM

View Slide

Exadata System Software のアップデート
• Exadata インフラストラクチャ
• 四半期ごとのオラクルによる⾃動メンテナンス実施時に
Database および Storage Server の Exadata System
Software のアップデートが⾏われる。
• お客様 VM
• お客様の判断の下、Exadata System Software のアップ
デートを⾏う。
• オラクルが VM の OS (Exadata System Software) をアップ
デートすることはない。
• Exadata インフラストラクチャの Exadata System Software が
新しいバージョンへアップデートされた場合においても、基本的に既存
バージョンのお客様 VM (KVM guest または domU) は動作する。
• ただし、Exadata System Software バージョンに依存する新しい
機能や新しいデータベース・バージョンの利⽤要件としてや、セキュリ
ティ脆弱性等、オラクルからアップデートの適⽤をお客様に依頼する場
合等において、お客様 VM の OS (Exadata System
Software) をアップデートする。
9
Storage Server 向け
お客様 VM 向け
Database Server 向け
VM
VM
オラクルにより四半期
ごとにアップデート
オラクルにより四半期
ごとにアップデート
お客様によるアップデート

View Slide

10
お客様 VM の OS (Exadata System
Software) のアップデート

View Slide

お客様によるアップデートの実施概要
• オラクルによる四半期ごとのインフラストラクチャ・メンテナンスにおいて、DB Server の KVM Host または dom0 の
Exadata System Software がアップデートされた後のバージョンを確認いただき、必要に応じてお客様 VM の
Exadata System Software を同⼀バージョンへアップデートする。
OS (Exadata System Software) のアップデート
11
Exadata インフラストラク
チャ (KVM host または
dom0) のアップデート
お客様 VM の
アップデート
オラクル作業
(四半期)
お客様作業
(半期に 1 度、もしくは年に⼀度を推奨)
KVM host または dom0
のアップデート内容を確認
Exadata インフラストラクチャに適⽤された Exadata System Software バージョンは SR にて確認。Exadata
System Software の詳細は、Exadata Database Machine and Exadata Storage Server Supported
Versions (Doc ID 888828.1) から確認可能

View Slide

Exadata System Software アップデート・イメージの⼊⼿
• ①MOS からイメージをダウンロード
• Doc ID 888828.1 Exadata Database Machine and Exadata Storage Server Supported
Versions に掲載されている適⽤したいバージョンのリンクを通じてダウンロードする。
• 20.1.5 をダウンロードする場合の例
• アップデートを適⽤するためのツール (patchmgr) の最新バージョンをダウンロードする。
• Patch 21634633: DBSERVER.PATCH.ZIP ORCHESTRATOR PLUS DBNU - ARU PLACEHOLDER
• ②ツール (exadata_update.sh) の利⽤
• Doc ID 2730739.1 How to Obtain the Compute Node Exadata System Software Update for
Exadata Cloud@Customer から ExaCC_exadata_updates.zip を ExaC@C のお客様 VM へダウンロード。
• ダウンロードした zip ファイルから解凍された exadata_update.sh を⽤いてイメージをダウンロード
12
お客様 VM 向けのイメージ
を選択してダウンロード
サポートされる DB/GI の
バージョン等を確認

View Slide

Exadata System Software アップデート・イメージの⼊⼿〜 exadata_update.sh の利⽤例
• 利⽤できる Exadata System Software の確認例 (/u02/exadata_update にスクリプトを配置した場合)
13
# ./exadata_update.sh -list
2021-01-06 07:46:41 +0000 :INFO : Available Exadata Compute update(s):
20.1.5.0.0.201209
19.2.17.0.0.200807
19.2.16.0.0.200713.1
20.1.3.0.0.201023
• Exadata System Software アップデート・イメージのダウンロード例 (20.1.5 をダウンロードする場合)
#./exadata_updates.sh -get 20.1.5.0.0.201209
2021-01-06 07:54:47 +0000 :INFO : Downloading Exadata Compute update: 20.1.5.0.0.201209
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1636M 100 1636M 0 0 111M 0 0:00:14 0:00:14 --:--:-- 111M
2021-01-06 07:55:02 +0000 :SUCCESS: Download complete:
/u02/exadata_update/exadata_compute_20.1.5.0.0.201209.zip
• patchmgr のダウンロード例 (上記 exadata_compute_xxx.zip にも patchmgr が含まれるがそちらは使わず、こちらの最新を利⽤することが推奨)
#./exadata_updates.sh -get patchmgr
2021-01-06 07:49:37 +0000 :INFO : Downloading patchmgr
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 420M 100 420M 0 0 110M 0 0:00:03 0:00:03 --:--:-- 110M
2021-01-06 07:49:41 +0000 :SUCCESS: Download complete: /u02/exadata_update/exadata_patchmgr.zip

View Slide

Exadata System Software アップデートの適⽤⽅法
• Driving System (patchmgr を実⾏するサーバー) として
下記 2 通りの⽅法からどちらかを選択して準備する
• ① Driving System として別途 Linux サーバーを⽤いる場合
• Driving System からすべての VM を⼀括でアップデートすることが可能。
• ② Driving System としてお客様 VM を⽤いる場合
• Driving System として利⽤する VM 以外の VM をアップデートした後、
⾃⾝のアップデートはできないため、別の VM を Driving System として
最初の Driving System の VM をアップデートする。
14
Driving System
patchmgr
VM
VM
VM
VM
Driving System
patchmgr
Driving System patchmgr
① Driving System からすべての VM をアップデート
2 ノード構成の場合の概念図
② Driving System として VM を利⽤する場合は、
それぞれの VM を Driving System として、順次
相⼿ノードをアップデート
Update
Update
Update
Update
本資料では以降、VM クラスタは 2 ノード構成 (node1 と node2) を
前提として「② Driving System としてお客様 VM を⽤いる場合」の
⼿順例をご紹介します。

View Slide

1. 環境情報の確認例
• node1 へアクセスし root ユーザで現在の Exadata System Software バージョンを確認
15
(⼿元の端末から)% ssh –i opc@node1
[opc@node1 ~]$ sudo su –
[root@node1 ~]$ imageinfo –ver
20.1.2.0.0.200930
• grid ユーザでクラスタ・ノードを確認
[root@node1 ~]$ su - grid
[grid@node1 ~]$ olsnodes
node1
node2

View Slide

2. Driving System の準備例〜 SSH キーペアの作成
• node1 を Driving System として、node2 へパスワード⼊⼒を必要としないでアクセスできるように SSH 等価設定を⾏う。
16
[root@node1 ~]# ls –l ~/.ssh/id_rsa*
ls: cannot access /root/.ssh/id_rsa*: No such file or directory
[root@node1 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase): (何も⼊⼒せずに Enter)
Enter same passphrase again: (何も⼊⼒せずに Enter)
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:Z8vRaxmpaDJCtYTmrBUqyAfPdOa4+GVz8QGb0cHAzpY root@ecc5c7n1
The key's randomart image is:
+---[RSA 2048]----+
| ..o. |
| . .... |
| . .+o=o.. |
|o ===+ E= . . |
|o..==.o+S.+ + |
| .o+. o=.+ + |
| ....+o.o.+ + |
| . o.o+ . |
| . |
+----[SHA256]-----+

View Slide

2. Driving System の準備例〜 SSH 等価設定
• node1 にて作成された root ユーザの公開鍵を、SSH 等価設定構成済みの oracle ユーザを利⽤して、node2 の root ユー
ザの authorized_keys へ登録する。
• node1 での作業
17
[root@node1 ~]# cp –p .ssh/id_rsa.pub /tmp/id_rsa.node1.pub
[root@node1 ~]# chown oracle:oinstall /tmp/id_rsa.node1.pub
[root@node1 ~]# su - oracle
Last login: Thu Jan 7 04:53:13 UTC 2021 on pts/1
[oracle@node1 ~]$ scp /tmp/id_rsa.node1.pub oracle@ecc5c7n2:/tmp/
id_rsa.node1.pub 100% 395
349.1KB/s 00:00
[opc@node2 ~]$ sudo su -
Last login: Thu Jan 7 04:48:55 UTC 2021
[root@node2 ~]# ls -l /tmp/id_rsa.node1.pub
-rw-r--r-- 1 oracle oinstall 395 Jan 7 04:56 /tmp/id_rsa.node1.pub
[root@node2 ~]# ls -l .ssh/
total 8
-rw------- 1 root root 789 Dec 16 12:00 authorized_keys
-rw------- 1 root root 1784 Dec 16 12:55 known_hosts
[root@node2 ~]# cat /tmp/id_rsa.node1.pub >> ~/.ssh/authorized_keys
• node2 での作業

View Slide

2. Driving System の準備例〜 patchmgr およびイメージの配置
• node1 にアップデートするターゲット・ノード (ここでは node2 のみ) をリストしたファイルを /root/dbs_group として作成。
• node1 に patchmgr と Exadata System Software アップデート・イメージを配置。
• ここでは exadata_update.sh を⽤いて、node1 の /u02/exadata_update 下にこれらの zip ファイルがダウンロード済
みであるとする。
18
[root@node1 exadata_update]# unzip exadata_compute_20.1.5.0.0.201209.zip
Archive: exadata_compute_20.1.5.0.0.201209.zip
creating: 20.1.5.0.0.201209/
extracting: 20.1.5.0.0.201209/exadata_ol7_20.1.5.0.0.201209_Linux-x86-64.zip
extracting: 20.1.5.0.0.201209/dbserver.patch.zip
[root@node1 exadata_update]# unzip exadata_patchmgr.zip
Archive: exadata_patchmgr.zip
extracting: dbserver.patch.zip
inflating: README_20.201211.txt
[root@node1 exadata_update]# unzip dbserver.patch.zip
… 略 …
[root@node1 exadata_update]# cd dbserver_patch_20.201211/
[root@node1 ~]# echo node2 > dbs_group

View Slide

3. プリチェック、バックアップ、アップデート実⾏例
• プリチェックを実⾏ (ここで問題があれば、適宜解決するようにする)
19
[root@node1 dbserver_patch_20.201211]# ./patchmgr -dbnodes /root/dbs_group -precheck -iso_repo
/u02/exadata_update/20.1.5.0.0.201209/exadata_ol7_20.1.5.0.0.201209_Linux-x86-64.zip -target_version
20.1.5.0.0.201209 -nomodify_at_prereq
• バックアップを実⾏ (/ および /boot のバックアップが⾏われ、必要に応じてアップデート後にロールバックできるようにする)
[root@node1 dbserver_patch_20.201211]# ./patchmgr -dbnodes /root/dbs_group -backup -iso_repo
20.1.5.0.0.201209 -allow_active_network_mounts
• アップデートを実⾏ (nohup コマンドでアップデート・プロセスが中断されないようにする)
[root@node1 dbserver_patch_20.201211]# nohup ./patchmgr -dbnodes /root/dbs_group -upgrade –nobackup -iso_repo
20.1.5.0.0.201209 -allow_active_network_mounts &
• アップデート完了後の確認 (node2 での作業)
[root@node2 ~]# imageinfo –ver
20.1.5.0.0.201209
複数ノードをアップデートする場合、ローリン
グ形式で実⾏する場合には、-rolling オ
プションをつけて実⾏する。

View Slide

4. node1 (最初の Driving System) のアップデートおよび ksplice のアップデート
• 最初の Driving System (node1) ⾃⾝のアップデートはできないため、node2 を Driving System として、node1 のアップ
デートを実施する。
• 本資料の「2. Driving System の準備例」「3.プリチェック、バックアップ、アップデート実⾏例」の⼿順を node2 を Driving
System として実⾏する。
• 最後にそれぞれのノードで利⽤可能な ksplice のアップデートを実⾏
• これでアップデートは完了。
20
[root@node1 ~]# uptrack-install –all -y
[root@node2 ~]# uptrack-install –all -y

View Slide

21
参考情報

View Slide

OS (Exadata System Software) アップデート時の OpenJDK および ExaWatcher.conf について
• Bug 16291888 : PLEASE REMOVE JAVA JDK FROM COMPUTE NODES
• お客様 VM の OS に OpenJDK をインストールしている場合、アップデート時に OpenJDK パッケージは削除さ
れる。
• 削除されたくない場合には、/etc/exadata/yum/exclusion.lst ファイルを作成し、「java-*-openjdk」の
エントリを含める。
• Bug 20828555 : AFTER UPGRADE TO 121211 EXAWATCHER CONFIGURATION
CUSTOMIZATIONS ARE REVERTED
• /opt/oracle.ExaWatcher/ExaWatcher.conf ファイルはアップグレード時に新規ファイルに置き換えられる。
• 既存の ExaWatcher.conf は ExaWatcher.conf.reserved に保存される。
• SpaceLimit パラメータをデフォルトより⼤きく設定していた場合、アップグレード後に⼩さくなってしまうため、
ExaWatcher の履歴が⼀部削除されることがあることから、必要であれば事前に ExaWatcher archive を
アップグレード前にバックアップしておく。
参考情報
22

View Slide

OS (Exadata System Software) のロールバック
• patchmgr により、Exadata System Software のアップデート前のバージョンにロールバックすることが可能。
• ロールバックのコマンド例 (Driving System から実⾏)
• ロールバック完了後の確認 (ターゲット・システムにて)
参考情報
23
[root@node1 dbserver_patch_20.201211]# ./patchmgr -dbnodes /root/dbs_group -rollback -target_version
20.1.2.0.0.200930
[root@node2 ~]# imageinfo –ver
20.1.2.0.0.200930

View Slide

プリチェック時のエラー対応例 (1/2)
• プリチェック時のエラー出⼒例(抜粋): Exadata としてデフォルト以外の rpm が存在する場合
• メッセージに従って、/var/log/cellos/unknown_packages-rpt.191018203954.txt を確認
参考情報
24
…
SUMMARY OF WARNINGS AND ERRORS FOR node2:
…
node2: ERROR: Custom packages found that require removal before updating to another major Oracle Linux release, see
node2:/var/log/cellos/unkown_packages-rpt.191018203954.txt for more details.
…
[root@node2 ~]# cat /var/log/cellos/unkown_packages-rpt.191018203954.txt
#################################################################################
# File initialized at 191018_204832 (runid :191018203954) by dbnodeupdate.sh 19.181018
# NOTE: This list contains rpms which are seen as custom rpms
#################################################################################
mesa-dri-drivers.x86_64
xorg-x11-drv-void.x86_64
… (次項に続く)

View Slide

プリチェック時のエラー対応例 (2/2)
• メッセージに従い、patchmgr によるバックアップ完了後に、 /var/log/cellos/remove_unkown_
packages.191018203954.sh を実⾏してパッケージを削除。
• 再度、プリチェックを実⾏して、エラーが報告されないか確認する。
参考情報
25
(前項からの続き) …
eggdbus.x86_64
hal-info.noarch
#################################################################################
# ALERT : Custom packages found (see above)
# These custom packages MUST be removed before proceeding a major Oracle Linux upgrade.
# Run dbnodeupdate.sh with additional -R flag at update time to have these packages
# automatically removed - OR - Run /var/log/cellos/remove_unkown_packages.191018203954.sh
# manually as root before re-running prereq check.
# RECOMMENDED : Let dbnodeupdate.sh remove the packages right after the mandatory backup by
# using the -R flag
# WARNING : Removing custom packages may impact functionality
# NOTE : When removed functionality is still required after the update, reinstall the rpm
# after the update
#################################################################################

View Slide

参考ドキュメント
• ExaC@C マニュアル - Updating the Compute Node Operating System
https://docs.oracle.com/en-us/iaas/exadata/doc/eccpatching.html#GUID-A06935C3-846A-4A00-9631-E52D7BE7125E
• Exadata Cloud Service Software Versions (Doc ID 2333222.1)
https://support.oracle.com/rs?type=doc&id=2333222.1
• Exadata Database Machine and Exadata Storage Server Supported Versions (Doc ID 888828.1)
• How to Obtain the Compute Node Exadata System Software Update for Exadata Cloud@Customer
(Doc ID 2730739.1)
• dbnodeupdate.sh and dbserver.patch.zip: Updating Exadata Database Server Software using the
DBNodeUpdate Utility and patchmgr (Doc ID 1553103.1)
参考情報
26

View Slide

View Slide

Oracle Exadata Cloud@Customer Exadata Database Service - お客様 VM の OS (Exadata System Software)アップデート手順

Oracle Exadata Cloud@Customer Exadata Database Service - お客様 VM の OS (Exadata System Software)アップデート手順

oracle4engineer
PRO

More Decks by oracle4engineer

Other Decks in Technology

Featured

Transcript

Oracle Exadata Cloud@Customer Exadata Database Service - お客様 VM の OS (Exadata System Software)アップデート手順

Oracle Exadata Cloud@Customer Exadata Database Service - お客様 VM の OS (Exadata System Software)アップデート手順

oracle4engineer PRO

More Decks by oracle4engineer

Other Decks in Technology

Featured

Transcript

oracle4engineer
PRO