Oracle Exadata Cloud@Customer Exadata Database Service - お客様 VM の OS (Exadata System Software)アップデート手順

Transcript

1. Oracle Exadata Cloud@Customer 〜 Exadata Database Service お客様 VM の OS (Exadata System Software) アップデート⼿順 ⽇本オラクル株式会社 2021 年 1 ⽉ 8 ⽇
2. Safe harbor statement 以下の事項は、弊社の⼀般的な製品の⽅向性に関する概要を説明するものです。また、 情報提供を唯⼀の⽬的とするものであり、いかなる契約にも組み込むことはできません。以 下の事項は、マテリアルやコード、機能を提供することを確約するものではないため、購買 決定を⾏う際の判断材料になさらないで下さい。 オラクル製品に関して記載されている機能の開発、リリース、時期及び価格については、弊 社の裁量により決定され、変更される可能性があります。 Copyright © 2021, Oracle and/or its affiliates 2
3. ⽬次 Copyright © 2021, Oracle and/or its affiliates 3 1. メンテナンス概要 2. Exadata System Software 3. お客様 VM の OS (Exadata System Software) アップデート⼿順 4. 参考情報
4. Copyright © 2021, Oracle and/or its affiliates 4 メンテナンス概要
5. ExaC@C: Exadata Database Service 管理範囲イメージ メンテナンス概要 Copyright © 2021, Oracle and/or its affiliates 5 対象コンポーネント • VM クラスタ、VM 上の OS • Database、Grid Infrastructure 管理作業 • 対象コンポーネントの監視・管理 • 対象コンポーネントのパッチ適⽤ お客様 ︓ Exadata VM クラスタ 対象コンポーネント • ハードウェア • Database Server 上の KVM host または dom0、 Storage Server、ネットワーク、Firmware 等 • クラウド・サービス機能関連 管理作業 • 対象コンポーネントの監視・管理 • 対象コンポーネントのパッチ適⽤ • ハードウェア障害対応 Oracle ︓ Exadata インフラストラクチャ・CPS … … クライアント・ネットワーク※ バックアップ・ネットワーク※ DATA RECO SPARSE ASM Database Servers Storage Servers VM VM VM Clusterware KVM host/ dom0 CPS CPS Control Plane Server ネットワーク※ ExaC@C Database Home Database ※ネットワーク・アクセスの提供はお客様の対応範囲 KVM host/ dom0 KVM host/ dom0
6. お客様対応範囲: • お客様 VM 内 お客様の任意のタイミングで適⽤ (⾃動適⽤はされない・定期的なパッチ適⽤を推奨) • Database/Grid Infrastructure: コンソールや CLI (dbaascli) などクラウドツールで適⽤可能 • OS (Exadata System Software*1)︓patchmgr (専⽤の CLI ツール) による適⽤ Oracle 対応範囲: • Exadata Infrastructure オラクルが四半期ごとに⾃動適⽤ (お客様によるスケジュール設定は可能・ローリング・アップデートによる実施) • Database Server (KVM host / dom0 部分) *2 • Storage Server • 内部 Network Switch • Control Plane Server (CPS) メンテナンス概要 Copyright © 2021, Oracle and/or its affiliates 6 *2: Exadata X8M では仮想化に KVM が利⽤されるため KVM host、 それ以前のモデルは Xen ベースの仮想化が利⽤されるため dom0 と呼ばれるハイパーバイザーの管理ホスト部のアップデートが⾏われ、ゲスト OS 部分であるお客様が利⽤する VM (KVM の場合は KVM guest、 Xen の場合は domU) のアップデートはお客様による実施が必要。 *1: Exadata System Software とは Exadata の各コンポーネントに搭載される、 OS や Exadata 固有のソフトウェア機能を含むソフトウェア・バンドル。 本資料で取り扱う内容 ExaC@C: Exadata Database Service ソフトウェア・メンテナンス（パッチ適⽤)
7. Copyright © 2021, Oracle and/or its affiliates 7 Exadata System Software
8. ExaC@C 初期導⼊時 • ExaC@C 初期導⼊時には、その時点で ExaC@C にて利⽤可 能な最新かつ同⼀バージョンの Exadata System Software が、 お客様 VM、Database Server (KVM host または dom0)、 Storage Server へインストールされる。 • Exadata System Software • Exadata の各コンポーネントに搭載される、 OS や Exadata 固有のソフトウェア機能等を含むソフトウェア・バンドル。 • Exadata System Software バージョン・フォーマット例 • 20 . 1 . 5 • 年: ソフトウェアの年次リリース表⽰ • アップデート: 新機能を含むソフトウェア・アップデート • リビジョン: セキュリティおよびソフトウェア修正を含むアップデート • ExaC@C で利⽤される最新の Exadata System Software バージョンについては下記 MOS ノートで参照可能 Doc ID 2333222.1: Exadata Cloud Service Software Versions Exadata System Software Copyright © 2021, Oracle and/or its affiliates 8 Storage Server 向け Exadata System Software 年 アップデート リビジョン お客様 VM 向け Exadata System Software Database Server 向け Exadata System Software VM VM
9. Exadata System Software の アップデート • Exadata インフラストラクチャ • 四半期ごとのオラクルによる⾃動メンテナンス実施時に Database および Storage Server の Exadata System Software のアップデートが⾏われる。 • お客様 VM • お客様の判断の下、Exadata System Software のアップ デートを⾏う。 • オラクルが VM の OS (Exadata System Software) をアップ デートすることはない。 • Exadata インフラストラクチャの Exadata System Software が 新しいバージョンへアップデートされた場合においても、基本的に既存 バージョンのお客様 VM (KVM guest または domU) は動作する。 • ただし、Exadata System Software バージョンに依存する新しい 機能や新しいデータベース・バージョンの利⽤要件としてや、セキュリ ティ脆弱性等、オラクルからアップデートの適⽤をお客様に依頼する場 合等において、お客様 VM の OS (Exadata System Software) をアップデートする。 Exadata System Software Copyright © 2021, Oracle and/or its affiliates 9 Storage Server 向け Exadata System Software お客様 VM 向け Exadata System Software Database Server 向け Exadata System Software VM VM オラクルにより四半期 ごとにアップデート オラクルにより四半期 ごとにアップデート お客様によるアップデート
10. Copyright © 2021, Oracle and/or its affiliates 10 お客様 VM の OS (Exadata System Software) のアップデート
11. お客様によるアップデートの実施概要 • オラクルによる四半期ごとのインフラストラクチャ・メンテナンスにおいて、DB Server の KVM Host または dom0 の Exadata System Software がアップデートされた後のバージョンを確認いただき、必要に応じてお客様 VM の Exadata System Software を同⼀バージョンへアップデートする。 OS (Exadata System Software) のアップデート Copyright © 2021, Oracle and/or its affiliates 11 Exadata インフラストラク チャ (KVM host または dom0) のアップデート お客様 VM の アップデート オラクル作業 (四半期) お客様作業 (半期に 1 度、もしくは 年に⼀度を推奨) KVM host または dom0 のアップデート内容を確認 Exadata インフラストラクチャ に適⽤された Exadata System Software バージョンは SR にて確認。Exadata System Software の詳細は、Exadata Database Machine and Exadata Storage Server Supported Versions (Doc ID 888828.1) から確認可能
12. Exadata System Software アップデート・イメージの⼊⼿ • ①MOS からイメージをダウンロード • Doc ID 888828.1 Exadata Database Machine and Exadata Storage Server Supported Versions に掲載されている適⽤したいバージョンのリンクを通じてダウンロードする。 • 20.1.5 をダウンロードする場合の例 • アップデートを適⽤するためのツール (patchmgr) の最新バージョンをダウンロードする。 • Patch 21634633: DBSERVER.PATCH.ZIP ORCHESTRATOR PLUS DBNU - ARU PLACEHOLDER • ②ツール (exadata_update.sh) の利⽤ • Doc ID 2730739.1 How to Obtain the Compute Node Exadata System Software Update for Exadata Cloud@Customer から ExaCC_exadata_updates.zip を ExaC@C のお客様 VM へダウンロード。 • ダウンロードした zip ファイルから解凍された exadata_update.sh を⽤いてイメージをダウンロード OS (Exadata System Software) のアップデート Copyright © 2021, Oracle and/or its affiliates 12 お客様 VM 向けのイメージ を選択してダウンロード サポートされる DB/GI の バージョン等を確認
13. Exadata System Software アップデート・イメージの⼊⼿ 〜 exadata_update.sh の利⽤例 • 利⽤できる Exadata System Software の確認例 (/u02/exadata_update にスクリプトを配置した場合) OS (Exadata System Software) のアップデート Copyright © 2021, Oracle and/or its affiliates 13 # ./exadata_update.sh -list 2021-01-06 07:46:41 +0000 :INFO : Available Exadata Compute update(s): 20.1.5.0.0.201209 19.2.17.0.0.200807 19.2.16.0.0.200713.1 20.1.3.0.0.201023 • Exadata System Software アップデート・イメージのダウンロード例 (20.1.5 をダウンロードする場合) #./exadata_updates.sh -get 20.1.5.0.0.201209 2021-01-06 07:54:47 +0000 :INFO : Downloading Exadata Compute update: 20.1.5.0.0.201209 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 1636M 100 1636M 0 0 111M 0 0:00:14 0:00:14 --:--:-- 111M 2021-01-06 07:55:02 +0000 :SUCCESS: Download complete: /u02/exadata_update/exadata_compute_20.1.5.0.0.201209.zip • patchmgr のダウンロード例 (上記 exadata_compute_xxx.zip にも patchmgr が含まれるがそちらは使わず、こちらの最新を利⽤することが推奨) #./exadata_updates.sh -get patchmgr 2021-01-06 07:49:37 +0000 :INFO : Downloading patchmgr % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 420M 100 420M 0 0 110M 0 0:00:03 0:00:03 --:--:-- 110M 2021-01-06 07:49:41 +0000 :SUCCESS: Download complete: /u02/exadata_update/exadata_patchmgr.zip
14. Exadata System Software アップデートの適⽤⽅法 • Driving System (patchmgr を実⾏するサーバー) として 下記 2 通りの⽅法からどちらかを選択して準備する • ① Driving System として別途 Linux サーバーを⽤いる場合 • Driving System からすべての VM を⼀括でアップデートすることが可能。 • ② Driving System としてお客様 VM を⽤いる場合 • Driving System として利⽤する VM 以外の VM をアップデートした後、 ⾃⾝のアップデートはできないため、別の VM を Driving System として 最初の Driving System の VM をアップデートする。 OS (Exadata System Software) のアップデート Copyright © 2021, Oracle and/or its affiliates 14 Driving System patchmgr VM VM VM VM Driving System patchmgr Driving System patchmgr ① Driving System からすべての VM をアップデート 2 ノード構成の場合の概念図 ② Driving System として VM を利⽤する場合は、 それぞれの VM を Driving System として、順次 相⼿ノードをアップデート Update Update Update Update 本資料では以降、VM クラスタは 2 ノード構成 (node1 と node2) を 前提として 「② Driving System としてお客様 VM を⽤いる場合」の ⼿順例をご紹介します。
15. 1. 環境情報の確認例 • node1 へアクセスし root ユーザで現在の Exadata System Software バージョンを確認 OS (Exadata System Software) のアップデート Copyright © 2021, Oracle and/or its affiliates 15 (⼿元の端末から)% ssh –i <SSH key> opc@node1 [opc@node1 ~]$ sudo su – [root@node1 ~]$ imageinfo –ver 20.1.2.0.0.200930 • grid ユーザでクラスタ・ノードを確認 [root@node1 ~]$ su - grid [grid@node1 ~]$ olsnodes node1 node2
16. 2. Driving System の 準備例 〜 SSH キーペアの作成 • node1 を Driving System として、node2 へパスワード⼊⼒を必要としないでアクセスできるように SSH 等価設定を⾏う。 OS (Exadata System Software) のアップデート Copyright © 2021, Oracle and/or its affiliates 16 [root@node1 ~]# ls –l ~/.ssh/id_rsa* ls: cannot access /root/.ssh/id_rsa*: No such file or directory [root@node1 ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): (何も⼊⼒せずに Enter) Enter same passphrase again: (何も⼊⼒せずに Enter) Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: SHA256:Z8vRaxmpaDJCtYTmrBUqyAfPdOa4+GVz8QGb0cHAzpY root@ecc5c7n1 The key's randomart image is: +---[RSA 2048]----+ | ..o. | | . .... | | . .+o=o.. | |o ===+ E= . . | |o..==.o+S.+ + | | .o+. o=.+ + | | ....+o.o.+ + | | . o.o+ . | | . | +----[SHA256]-----+
17. 2. Driving System の 準備例 〜 SSH 等価設定 • node1 にて作成された root ユーザの公開鍵を、SSH 等価設定構成済みの oracle ユーザを利⽤して、node2 の root ユー ザの authorized_keys へ登録する。 • node1 での作業 OS (Exadata System Software) のアップデート Copyright © 2021, Oracle and/or its affiliates 17 [root@node1 ~]# cp –p .ssh/id_rsa.pub /tmp/id_rsa.node1.pub [root@node1 ~]# chown oracle:oinstall /tmp/id_rsa.node1.pub [root@node1 ~]# su - oracle Last login: Thu Jan 7 04:53:13 UTC 2021 on pts/1 [oracle@node1 ~]$ scp /tmp/id_rsa.node1.pub oracle@ecc5c7n2:/tmp/ id_rsa.node1.pub 100% 395 349.1KB/s 00:00 [opc@node2 ~]$ sudo su - Last login: Thu Jan 7 04:48:55 UTC 2021 [root@node2 ~]# ls -l /tmp/id_rsa.node1.pub -rw-r--r-- 1 oracle oinstall 395 Jan 7 04:56 /tmp/id_rsa.node1.pub [root@node2 ~]# ls -l .ssh/ total 8 -rw------- 1 root root 789 Dec 16 12:00 authorized_keys -rw------- 1 root root 1784 Dec 16 12:55 known_hosts [root@node2 ~]# cat /tmp/id_rsa.node1.pub >> ~/.ssh/authorized_keys • node2 での作業
18. 2. Driving System の 準備例 〜 patchmgr およびイメージの配置 • node1 にアップデートするターゲット・ノード (ここでは node2 のみ) をリストしたファイルを /root/dbs_group として作成。 • node1 に patchmgr と Exadata System Software アップデート・イメージを配置。 • ここでは exadata_update.sh を⽤いて、node1 の /u02/exadata_update 下にこれらの zip ファイルがダウンロード済 みであるとする。 OS (Exadata System Software) のアップデート Copyright © 2021, Oracle and/or its affiliates 18 [root@node1 exadata_update]# unzip exadata_compute_20.1.5.0.0.201209.zip Archive: exadata_compute_20.1.5.0.0.201209.zip creating: 20.1.5.0.0.201209/ extracting: 20.1.5.0.0.201209/exadata_ol7_20.1.5.0.0.201209_Linux-x86-64.zip extracting: 20.1.5.0.0.201209/dbserver.patch.zip [root@node1 exadata_update]# unzip exadata_patchmgr.zip Archive: exadata_patchmgr.zip extracting: dbserver.patch.zip inflating: README_20.201211.txt [root@node1 exadata_update]# unzip dbserver.patch.zip … 略 … [root@node1 exadata_update]# cd dbserver_patch_20.201211/ [root@node1 ~]# echo node2 > dbs_group
19. 3. プリチェック、バックアップ、アップデート実⾏例 • プリチェックを実⾏ (ここで問題があれば、適宜解決するようにする) OS (Exadata System Software) のアップデート Copyright © 2021, Oracle and/or its affiliates 19 [root@node1 dbserver_patch_20.201211]# ./patchmgr -dbnodes /root/dbs_group -precheck -iso_repo /u02/exadata_update/20.1.5.0.0.201209/exadata_ol7_20.1.5.0.0.201209_Linux-x86-64.zip -target_version 20.1.5.0.0.201209 -nomodify_at_prereq • バックアップを実⾏ (/ および /boot のバックアップが⾏われ、必要に応じてアップデート後にロールバックできるようにする) [root@node1 dbserver_patch_20.201211]# ./patchmgr -dbnodes /root/dbs_group -backup -iso_repo /u02/exadata_update/20.1.5.0.0.201209/exadata_ol7_20.1.5.0.0.201209_Linux-x86-64.zip -target_version 20.1.5.0.0.201209 -allow_active_network_mounts • アップデートを実⾏ (nohup コマンドでアップデート・プロセスが中断されないようにする) [root@node1 dbserver_patch_20.201211]# nohup ./patchmgr -dbnodes /root/dbs_group -upgrade –nobackup -iso_repo /u02/exadata_update/20.1.5.0.0.201209/exadata_ol7_20.1.5.0.0.201209_Linux-x86-64.zip -target_version 20.1.5.0.0.201209 -allow_active_network_mounts & • アップデート完了後の確認 (node2 での作業) [root@node2 ~]# imageinfo –ver 20.1.5.0.0.201209 複数ノードをアップデートする場合、ローリン グ形式で実⾏する場合には、-rolling オ プションをつけて実⾏する。
20. 4. node1 (最初の Driving System) のアップデートおよび ksplice のアップデート • 最初の Driving System (node1) ⾃⾝のアップデートはできないため、node2 を Driving System として、node1 の アップ デートを実施する。 • 本資料の 「2. Driving System の準備例」「3.プリチェック、バックアップ、アップデート実⾏例」の⼿順を node2 を Driving System として実⾏する。 • 最後にそれぞれのノードで利⽤可能な ksplice のアップデートを実⾏ • これでアップデートは完了。 OS (Exadata System Software) のアップデート Copyright © 2021, Oracle and/or its affiliates 20 [root@node1 ~]# uptrack-install –all -y [root@node2 ~]# uptrack-install –all -y
21. Copyright © 2021, Oracle and/or its affiliates 21 参考情報
22. OS (Exadata System Software) アップデート時の OpenJDK および ExaWatcher.conf について • Bug 16291888 : PLEASE REMOVE JAVA JDK FROM COMPUTE NODES • お客様 VM の OS に OpenJDK をインストールしている場合、アップデート時に OpenJDK パッケージは削除さ れる。 • 削除されたくない場合には、/etc/exadata/yum/exclusion.lst ファイルを作成し、「java-*-openjdk」 の エントリを含める。 • Bug 20828555 : AFTER UPGRADE TO 121211 EXAWATCHER CONFIGURATION CUSTOMIZATIONS ARE REVERTED • /opt/oracle.ExaWatcher/ExaWatcher.conf ファイルはアップグレード時に新規ファイルに置き換えられる。 • 既存の ExaWatcher.conf は ExaWatcher.conf.reserved に保存される。 • SpaceLimit パラメータをデフォルトより⼤きく設定していた場合、アップグレード後に⼩さくなってしまうため、 ExaWatcher の履歴が⼀部削除されることがあることから、必要であれば事前に ExaWatcher archive を アップグレード前にバックアップしておく。 参考情報 Copyright © 2021, Oracle and/or its affiliates 22
23. OS (Exadata System Software) のロールバック • patchmgr により、Exadata System Software のアップデート前のバージョンにロールバックすることが可能。 • ロールバックのコマンド例 (Driving System から実⾏) • ロールバック完了後の確認 (ターゲット・システムにて) 参考情報 Copyright © 2021, Oracle and/or its affiliates 23 [root@node1 dbserver_patch_20.201211]# ./patchmgr -dbnodes /root/dbs_group -rollback -target_version 20.1.2.0.0.200930 [root@node2 ~]# imageinfo –ver 20.1.2.0.0.200930
24. プリチェック時のエラー対応例 (1/2) • プリチェック時のエラー出⼒例(抜粋): Exadata としてデフォルト以外の rpm が存在する場合 • メッセージに従って、/var/log/cellos/unknown_packages-rpt.191018203954.txt を確認 参考情報 Copyright © 2021, Oracle and/or its affiliates 24 … SUMMARY OF WARNINGS AND ERRORS FOR node2: … node2: ERROR: Custom packages found that require removal before updating to another major Oracle Linux release, see node2:/var/log/cellos/unkown_packages-rpt.191018203954.txt for more details. … [root@node2 ~]# cat /var/log/cellos/unkown_packages-rpt.191018203954.txt ################################################################################# # File initialized at 191018_204832 (runid :191018203954) by dbnodeupdate.sh 19.181018 # NOTE: This list contains rpms which are seen as custom rpms ################################################################################# mesa-dri-drivers.x86_64 xorg-x11-drv-void.x86_64 … (次項に続く)
25. プリチェック時のエラー対応例 (2/2) • メッセージに従い、patchmgr によるバックアップ完了後に、 /var/log/cellos/remove_unkown_ packages.191018203954.sh を実⾏してパッケージを削除。 • 再度、プリチェックを実⾏して、エラーが報告されないか確認する。 参考情報 Copyright © 2021, Oracle and/or its affiliates 25 (前項からの続き) … eggdbus.x86_64 hal-info.noarch ################################################################################# # ALERT : Custom packages found (see above) # These custom packages MUST be removed before proceeding a major Oracle Linux upgrade. # Run dbnodeupdate.sh with additional -R flag at update time to have these packages # automatically removed - OR - Run /var/log/cellos/remove_unkown_packages.191018203954.sh # manually as root before re-running prereq check. # RECOMMENDED : Let dbnodeupdate.sh remove the packages right after the mandatory backup by # using the -R flag # WARNING : Removing custom packages may impact functionality # NOTE : When removed functionality is still required after the update, reinstall the rpm # after the update #################################################################################
26. 参考ドキュメント • ExaC@C マニュアル - Updating the Compute Node Operating System https://docs.oracle.com/en-us/iaas/exadata/doc/eccpatching.html#GUID-A06935C3-846A-4A00-9631-E52D7BE7125E • Exadata Cloud Service Software Versions (Doc ID 2333222.1) https://support.oracle.com/rs?type=doc&id=2333222.1 • Exadata Database Machine and Exadata Storage Server Supported Versions (Doc ID 888828.1) https://support.oracle.com/rs?type=doc&id=888828.1 • How to Obtain the Compute Node Exadata System Software Update for Exadata Cloud@Customer (Doc ID 2730739.1) https://support.oracle.com/rs?type=doc&id=2730739.1 • dbnodeupdate.sh and dbserver.patch.zip: Updating Exadata Database Server Software using the DBNodeUpdate Utility and patchmgr (Doc ID 1553103.1) https://support.oracle.com/rs?type=doc&id=1553103.1 参考情報 Copyright © 2021, Oracle and/or its affiliates 26
27. Thank you ⽇本オラクル株式会社 27 Copyright © 2021, Oracle and/or its affiliates