Oracle Analytics Server Marketplace Clusterの構築⼿順書 5th Aug 2022 ⽇本オラクル株式会社 クラウドエンジニア統括

2 Oracle Analytics Server Marketplace UCM Cluster環境構築の流れ Copyright © 2022, Oracle and/or its affiliates ユーザとポリシ ーの作成 Oracle Cloud Infrastructure データベース・サービ ス(DBCS) の作成 OAS Marketplace プ ライマリノード の作成 OAS Marketplace 拡 張ノードの作成 OAS Marketplace ク ラスターの設定 ・本書はマニュアルの記載を元に構築⼿順について検証を実施する。 ・共有ディレクトリはOASプライマリノードを使⽤する。 ※耐障害性のためには、別途考慮が必要。別途NFSサーバー⽤にcomputeを⽴てるなど。 ・OASのフロント部分、Load Balancerについては記述しない。

ap-tokyo-1 Internet Oracle Analytics Server Marketplace UCM Cluster アーキテクチャ図 Copyright © 2021, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted 3 VCN Public subnet OAS Marketplaceノード１ 「プライマリ」 ×1 Internet GW Database Users OAS Marketplaceノード２ ×1 Policies Auditing Logging

ユーザとポリシーの作成

5 1. 管理⽤のユーザの作成 Copyright © 2022, Oracle and/or its affiliates OCI管理者として、OCI管理コンソールにログインします。OAS Marketplace Clusterを構築したユーザを作成 します。

6 2. 管理ユーザのグループの作成 Copyright © 2022, Oracle and/or its affiliates グループも作成し、ユーザをマップします。

7 3. ポリシーの作成 Copyright © 2022, Oracle and/or its affiliates ルートコンパートメントで「ポリシーの作成」をクリックし、ポリシーを作成します。

Oracle Cloud Infrastructure データベース・サービ ス(DBCS) の作成

9 1. DBCSの作成 Copyright © 2022, Oracle and/or its affiliates OCIでDBCSを作成します。作成⼿順についてはここをご参考ください。

10 2. PDBの接続⽂字列の取得 Copyright © 2022, Oracle and/or its affiliates 作成済みのDBシステムの「データベース詳細」画⾯に移動し、「PDB接続」をクリックします。

11 2. PDBの接続⽂字列の取得「続き」 Copyright © 2022, Oracle and/or its affiliates プラガブル・データベースの接続⽂字列を確認しメモします。

OAS Marketplace プライマリノードの作成

13 1. OASマーケットプレイスの検索 Copyright © 2022, Oracle and/or its affiliates 「Oracle Analytics Server -UCM」をクリック OCIのマーケットプレイスの検索画⾯に移動して、「oracle analytics server」でOASマーケットプレイスUCMのア プリケーションを検索します。

14 2. スタックの起動 Copyright © 2022, Oracle and/or its affiliates バージョンとコンパートメントを選択してから、「スタックの起動」をクリックします。今回の場合、最新版「OAS 2022 (6.4)」を 選択します。

15 3. スタック情報の⼊⼒ Copyright © 2022, Oracle and/or its affiliates 「名前」と「説明」を⼊⼒して、「次」ボタンをクリックします。

16 4. 変数の構成の⼊⼒ Copyright © 2022, Oracle and/or its affiliates OASコンピュート・インスタンスのShapeです。今回の場合、 １OCPUで設定します。 OASコンピュート・インスタンスの設定値を⼊⼒し、下にスクロールします。

17 4. 変数の構成の⼊⼒「続き」 Copyright © 2022, Oracle and/or its affiliates OASインスタンスにアクセスSSH公開鍵とネットワークの情報を⼊⼒し、下にスクロールします。

18 4. 変数の構成の⼊⼒「続き」 Copyright © 2022, Oracle and/or its affiliates プライマリノードとしてのドメインの構成情報を⼊⼒し、「次」をクリックします。 「Analytics Administrator Username」は、OASの最初 の管理者です。 DBの接続⽂字列は、DBCSのそのままコピーされたものではなく、書 式にご注意ください。（「ホスト名︓ポート番号︓サービス名」です） DBCSの「sysdba」レベルのユーザで⼊⼒することにご注意ください。 Database Schema Prefixは、RCUによって作成されるスキーマの 接頭辞です。

19 5. スタックの作成 Copyright © 2022, Oracle and/or its affiliates ⼊⼒した内容を確認し、「作成」をクリックします。

20 6. スタック・ジョブの実⾏ Copyright © 2022, Oracle and/or its affiliates スタック・ジョブの実⾏成功を確認し、「出⼒」でOASインスタンスのパブリックIPをメモします。

21 7. プライマリノード作成の確認 Copyright © 2022, Oracle and/or its affiliates Cloud Shellを起動し、SSHでプライマリノードに接続します。その後、下記ログの内容を確 認し、ファイルの存在を確認します。 /var/log/oas_create_domain.log、ログの内容を確認 /u01/app/oas-scripts/oas_install.finish、ファイルの存在を確認 [CONFIG] SUCCESS:Collect logs Configuration:Oracle_Analytics_Configuration completed successfully The configuration of Oracle Distribution completed successfully. /var/log/oas_create_domain.log [opc@testoasnode1 ~]$ ls /u01/app/oas-scripts/oas_install.finish /u01/app/oas-scripts/oas_install.finish /u01/app/oas-scripts/oas_install.finish

OAS Marketplace 拡張ノードの作成

23 1. OAS拡張ノードの作成 Copyright © 2022, Oracle and/or its affiliates 「 Oracle Analytics Server Domain Configuration 」 を選択しません。 「作成」をクリックし、OAS Marketplaceの拡張ノ ードを作成します。 同じく、ノード２を作成します。ただし、ノード２には「Oracle Analytics Server Domain Configuration」を選択しません。

24 2. スタック・ジョブの実⾏ Copyright © 2022, Oracle and/or its affiliates スタック・ジョブの実⾏成功を確認し、「出⼒」でOASインスタンスのパブリックIPをメモします。

25 3. 拡張ノード作成の確認 Copyright © 2022, Oracle and/or its affiliates Cloud Shellを起動し、SSHでプライマリノードに接続します。その後、下記ログの内容を確 認し、ファイルの存在を確認します。 /u01/app/oas-scripts/oas_install.finish、ファイルの存在を確認 [opc@testoasnode2 ~]$ ls /u01/app/oas-scripts/oas_install.finish /u01/app/oas-scripts/oas_install.finish /u01/app/oas-scripts/oas_install.finish

OAS Marketplace クラスターの設定

27 OAS Marketplace クラスター設定の流れ Copyright © 2022, Oracle and/or its affiliates ノード間で共有し たディレクトリ 「SDD」の設定 グローバルキャッシュ の設定 クラスターへの拡 張ノードの追加 クラスター設定 完了の確認

28 Copyright © 2022, Oracle and/or its affiliates ノード間で共有したディレクトリ「singleton data directory (SDD)」の設定

29 1. ファイアウォールポートの開き Copyright © 2022, Oracle and/or its affiliates singleton data directory （SDD）がメタデータを保存するため、共有ストレージを設定し、SDDを共有スト レージにマウントする必要があります。 Cloud Shellを起動し、SSHでプライマリノードに接続します。その後、システムファイアウォールで必要なポートを開きます。 [opc@testoasnode1 ~]$ sudo firewall-cmd --zone=public --permanent --add-port=2048/tcp success [opc@testoasnode1 ~]$ sudo firewall-cmd --zone=public --permanent --add-port=2049/tcp success [opc@testoasnode1 ~]$ sudo firewall-cmd --zone=public --permanent --add-port=2050/tcp success [opc@testoasnode1 ~]$ sudo firewall-cmd --zone=public --permanent --add-port=111/tcp success [opc@testoasnode1 ~]$ sudo firewall-cmd --complete-reload success プライマリノードでの作業

[root@testoasnode1 opc]# vi /etc/fstab ## https://docs.us-phoenix-1.oraclecloud.com/Content/Block/Tasks/connectingtoavolume.htm /dev/vg_app/vg_app-lv_app /u01/app ext4 defaults,noatime,nodiratime,nodev,_netdev 0 2 /dev/vg_data/vg_data-lv_data /u01/data ext4 defaults,noatime,nodiratime,nodev,_netdev 0 2 /u01/data/domains/bi/bidata /sdd/bidata ext4 bind 0 0 [opc@testoasnode1 ~]$ sudo su root [root@testoasnode1 opc]# mkdir -p /sdd/bidata [root@testoasnode1 opc]# mount --bind /u01/data/domains/bi/bidata /sdd/bidata 30 2.ノード間で共有したディレクトリの作成 Copyright © 2022, Oracle and/or its affiliates 「/u01/data/domains/bi/bidata /sdd/bidata ext4 bind 0 0」をフ ァイル「 /etc/fstab 」に追加します。 プライマリノードで共有したディレクトリを作成し、そこにsingleton data directory （SDD）をマウントします。 singleton data directory （SDD）のパス︓ /u01/data/domains/bi/bidata またシステムのコンフィグファイル「/etc/fstab」にマウントの設定を追加します。 プライマリノードでの作業

[root@testoasnode1 opc]# mount -a [root@testoasnode1 opc]# chmod 777 -R /sdd/bidata [root@testoasnode1 opc]# ls -l /sdd/bidata total 12 drwxrwxrwx. 8 oracle oracle 4096 Jul 15 10:09 components drwxrwxrwx. 3 oracle oracle 4096 Jul 15 09:00 metadata drwxrwxrwx. 3 oracle oracle 4096 Jul 15 09:11 service_instances 31 3. 共有ディレクトリ権限の設定とマウント結果の確認 Copyright © 2022, Oracle and/or its affiliates これが表⽰されたことを確認します。 マウントを実⾏してから、共有ディレクトリの権限を設定します。最後にSDD下のファイルが共有ディレクトリに表 ⽰されたことを確認します。 プライマリノードでの作業

[root@testoasnode1 opc]# vi /u01/data/domains/bi/config/fmwconfig/bienv/core/bi- environment.xml [root@testoasnode1 opc]# cat /u01/data/domains/bi/config/fmwconfig/bienv/core/bi- environment.xml /sdd/bidata bi.outsourcing.com /bi-security-login/logout?redirect=/dv SDDパスがコンフィグファイル「bi-environment.xml」で指定されるため、新しいパスでファイルを編集します。 ディフォルトには「$DOMAIN_HOME/bidata」ですが、共有ディレクトリ「/sdd/bidata」に変更します。 32 4. bi-environment.xmlの編集 Copyright © 2022, Oracle and/or its affiliates プライマリノードでの作業

[root@testoasnode1 opc]# systemctl start nfs-server [root@testoasnode1 opc]# systemctl enable nfs-server Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service. [root@testoasnode1 opc]# vi /etc/exports [root@testoasnode1 opc]# cat /etc/exports /sdd/bidata 10.0.0.42(rw,async) Network File Sharing(NFS)サーバーがディフォルトにインストールされたため、設定してから起動します。 33 5. NFSサーバーの起動 Copyright © 2022, Oracle and/or its affiliates NFSサーバーの設定ファイル「/etc/exports」に「/sdd/bidata 10.0.0.42(rw,async)」を 追加します。「10.0.0.42」は拡張ノードのプライベートIPです。 NFSサーバーを起動します。 プライマリノードでの作業

34 6. 拡張ノードで共有ディレクトリの参照 Copyright © 2022, Oracle and/or its affiliates 拡張ノードでの作業 [root@testoasnode1 opc]# vi /etc/fstab ## https://docs.us-phoenix-1.oraclecloud.com/Content/Block/Tasks/connectingtoavolume.htm /dev/vg_app/vg_app-lv_app /u01/app ext4 defaults,noatime,nodiratime,nodev,_netdev 0 2 /dev/vg_data/vg_data-lv_data /u01/data ext4 defaults,noatime,nodiratime,nodev,_netdev 0 2 10.0.0.12:/sdd/bidata /sdd/bidata nfs rw,nosuid 0 0 [opc@testoasnode2 ~]$ sudo su root [root@testoasnode2 opc]# mkdir -p /sdd/bidata [root@testoasnode2 opc]# chmod 777 -R /sdd/bidata [root@testoasnode2 opc]# mount -t nfs -o rw,nosuid 10.0.0.12:/sdd/bidata /sdd/bidata 34 Copyright © 2022, Oracle and/or its affiliates 「10.0.0.12」はプライマリノードのプライ ベートIPです。 拡張ノードで下記の設定を⾏い、プライマリノードの共有ディレクトリを参照します。設定⽅法にはプライマリノー ドでの設定とほぼ同じです。 またシステムのコンフィグファイル「/etc/fstab」にマウントの設定を追加します。

[root@testoasnode2 opc]# mount -a [root@testoasnode2 opc]# ls -l /sdd/bidata total 12 drwxrwxrwx. 8 oracle oracle 4096 Jul 15 10:09 components drwxrwxrwx. 3 oracle oracle 4096 Jul 15 09:00 metadata drwxrwxrwx. 3 oracle oracle 4096 Jul 15 09:11 service_instances 35 7. マウント結果の確認 Copyright © 2022, Oracle and/or its affiliates これが表⽰されたことを確認します。 最後にプライマリノードのSDD下のファイルが拡張ノードの参照ディレクトリに表⽰されたことを確認します。 拡張ノードでの作業

36 Copyright © 2022, Oracle and/or its affiliates グローバルキャッシュの設定

37 1. グローバルキャッシュの設定 Copyright © 2022, Oracle and/or its affiliates グローバルキャッシュは、クラスタにあるOracle BI Serverの間で共有したクエリキャッシュです。それを設定するた め、下記のコンフィグファイルを編集します。 /u01/data/domains/bi/config/fmwconfig/biconfig/OBIS/NQSConfig.INI ＊EMの画⾯に問題があるため、コンフィグファイルで設定してください。 [opc@testoasnode1 ~]$ sudo su root [root@testoasnode1 opc]# vi /u01/data/domains/bi/config/fmwconfig/biconfig/OBIS/NQSConfig.INI # Cluster-aware cache. # Note that since this is a network share, the directory should not be # relative. GLOBAL_CACHE_STORAGE_PATH = "/sdd/bidata/cache" 256 MB; # This Configuration setting is managed by Oracle Enterprise Manager Fusion Middleware Control MAX_GLOBAL_CACHE_ENTRIES = 1000; CACHE_POLL_SECONDS = 300; CLUSTER_AWARE_CACHE_LOGGING = NO; プライマリノードでの作業 「 "/sdd/bidata/cache" 256 MB 」を追加します。

38 2. グローバルキャッシュのディレクトリの作成 Copyright © 2022, Oracle and/or its affiliates コンフィグファイルで指定したディレクトリを作成します。 [root@testoasnode1 opc]# sudo su oracle [oracle@testoasnode1 opc]$ mkdir -p /sdd/bidata/cache [oracle@testoasnode1 opc]$ chmod 777 -R /sdd/bidata/cache [oracle@testoasnode1 opc]$ ls -l /sdd/bidata total 16 drwxrwxrwx. 2 oracle oracle 4096 Jul 19 10:11 cache drwxrwxrwx. 8 oracle oracle 4096 Jul 15 10:09 components drwxrwxrwx. 3 oracle oracle 4096 Jul 15 09:00 metadata drwxrwxrwx. 3 oracle oracle 4096 Jul 15 09:11 service_instances プライマリノードでの作業

39 Copyright © 2022, Oracle and/or its affiliates クラスターへの拡張ノードの追加

40 1. サービスのシャットダウン Copyright © 2022, Oracle and/or its affiliates クラスター設定のクローンスクリプトを実⾏する前に、プライマリノード上のすべてのサービスをシャットダウンします。 [oracle@testoasnode1 opc]$ /u01/data/domains/bi/bitools/bin/stop.sh Stopping domain; Using domainHome: /u01/data/domains/bi .. …… Finished stopping managed servers and system components Stopping AdminServer (Original State:RUNNING) ... .Stopped AdminServer Stopping NodeManager... [oracle@testoasnode1 opc]$ プライマリノードでの作業

41 2. ファイアウォールポートの開き Copyright © 2022, Oracle and/or its affiliates ディフォルトの最⼩限のポートでプライマリノードがインストールされたため、クラスターを設定する前に追加のポート を開く必要です。 設定ファイル「DefaultSingleNodeOASFirewallPorts.xml」新しい名前で編集して、または 「open_oas_firewall_ports.sh」を新しい名前を参照するように編集してから実⾏します。 [oracle@testoasnode1 oas-scripts]$ mv DefaultSingleNodeOASFirewallPorts.xml MyOASFirewallPorts.xml [oracle@testoasnode1 opc]$ vi /u01/app/oas-scripts/MyOASFirewallPorts.xml "9505”、"9506”、"9507”、"9509”、"9510”、 9512”、 9513”、 9515”、 9516” [oracle@testoasnode1 opc]$ cat /u01/app/oas-scripts/open_oas_firewall_ports.sh 内容の省略。。。。。。 sudo cp -f /u01/app/oas-scripts/MyOASFirewallPorts.xml /etc/firewalld/services/ sudo firewall-offline-cmd --zone=public --add-service MyOASFirewallPorts 内容の省略。。。。。。 [oracle@testoasnode1 opc]$ exit exit [root@testoasnode1 opc]# /u01/app/oas-scripts/open_oas_firewall_ports.sh プライマリノードでの作業 これらのポートを設定ファイ ルに追加します。 新しいファイル名を参照します。

42 3. ドメインクローンの作成 Copyright © 2022, Oracle and/or its affiliates クローンスクリプトを実⾏し、ドメインをクローンします。 [oracle@testoasnode1 opc]$ /u01/data/domains/bi/bitools/bin/clone_bi_machine.sh -m testoasnode2 testoasnode2.sub03130715110.dshandson.oraclevcn.com /sdd/bidata/testoasnode2.jar Creating pack file << read domain from "/u01/data/domains/bi" >> succeed: read domain from "/u01/data/domains/bi" << set config option Managed to "true" >> succeed: set config option Managed to "true" << write template to "/sdd/bidata/testoasnode2.jar" .............................. >> succeed: write template to "/sdd/bidata/testoasnode2.jar" << close template >> succeed: close template Clone complete. プライマリノードでの作業 拡張ノードのホスト名と内部FQDNはここで取得します。 ドメインクローンファイルの作成場所をメモします。

43 4. ドメインクローンのunpack Copyright © 2022, Oracle and/or its affiliates 拡張ノードで、unpackコマンドを実⾏してドメインクローンのJARファイルを適⽤します。 [opc@testoasnode2 ~]$ sudo su root [root@testoasnode2 opc]# sudo su oracle [oracle@testoasnode2 opc]$ /u01/app/Oracle/Middleware/Oracle_Home/oracle_common/common/bin/unpack.sh - domain=/u01/data/domains/bi -template=/sdd/bidata/testoasnode2.jar - nodemanager_type=PerDomainNodeManager ............................................................................................... >> succeed: write Domain to "/u01/data/domains/bi" << close template >> succeed: close template Unpackが成功したことを確認します。 拡張ノードでの作業 プライマリノードで作成したドメインクローンの JARファイです。

44 5. ポートの開き Copyright © 2022, Oracle and/or its affiliates 以下のコマンドを実⾏してノードマネージャーの9506ポートを開きます。 [oracle@testoasnode2 opc]$ exit exit [root@testoasnode2 opc]# firewall-cmd --zone=public --permanent --add-port=9506/tcp success [root@testoasnode2 opc]# firewall-cmd --complete-reload success 拡張ノードでの作業

45 6. ノードマネージャーの起動 Copyright © 2022, Oracle and/or its affiliates 拡張ノードのノードマネージャーを起動します。 [root@testoasnode2 opc]# sudo su oracle [oracle@testoasnode2 opc]$ nohup /u01/data/domains/bi/bin/startNodeManager.sh & [1] 26937 [oracle@testoasnode2 opc]$ nohup: ignoring input and appending output to ‘/home/oracle/nohup.out’ [oracle@testoasnode2 opc]$ 拡張ノードでの作業

46 7. プライマリノードの起動 Copyright © 2022, Oracle and/or its affiliates プライマリノードでノードマネージャー、管理サーバー、管理対象サーバーおよびシステムコンポーネントを起動しま す。今回の場合、１OCPUでプライマリノードを作成したため、起動完了まで20分以上がかかります。 [opc@testoasnode1 ~]$ sudo su oracle [oracle@testoasnode1 opc]$ /u01/data/domains/bi/bitools/bin/start.sh -i AdminServer,bi_server1,obis1,obips1,obiccs1,obijh1,obisch1,bi_server2 Starting domain; Using domainHome: /u01/data/domains/bi ... プライマリノードでの作業 もし、ターミナルが途中に切れたら、EMで起動成功したことを確認します。EMのURLは下記です。ログインユーザが１ ８ページで作成したOASの最初の管理者です。 http://「プライマリノードのIPもしくはホスト名」:9500/em

47 8. 拡張ノードの同期 Copyright © 2022, Oracle and/or its affiliates SSHで拡張ノードに接続して、下記の実⾏でデータソースを再同期します。 [opc@testoasnode2 ~]$ sudo su oracle [oracle@testoasnode2 opc]$ /u01/data/domains/bi/bitools/bin/sync_midtier_db.sh Jul 20, 2022 7:47:40 AM com.oracle.cie.domain.info.variable.DomainVariableServiceImpl INFO: initializing domaininformation object. Jul 20, 2022 7:47:43 AM com.oracle.cie.domain.info.variable.DomainVariableServiceImpl INFO: initializing domaininformation object. Syncing mid tier database in expanded domain. 拡張ノードでの作業

48 9. 拡張ノードの起動 Copyright © 2022, Oracle and/or its affiliates 最後にプライマリノードで、拡張ノードの新しいシステムコンポーネントを起動します。 [opc@testoasnode1 ~]$ sudo su oracle [oracle@testoasnode1 opc]$ /u01/data/domains/bi/bitools/bin/start.sh -i obis2,obips2,obiccs2,obijh2,obisch2 Starting domain; Using domainHome: /u01/data/domains/bi ... ログの省略。。。。。。 Finished starting servers プライマリノードでの作業 これを確認します。

49 Copyright © 2022, Oracle and/or its affiliates クラスター設定完了の確認

50 1. EMにログイン Copyright © 2022, Oracle and/or its affiliates 下記のURLでORACLE ENTERPRISE MANAGER「EM」にログインします。 http://「プライマリノードのIPもしくはホスト名」:9500/em プライマリノードを作成したときのAnalytics Administrator UsernameとPasswordです。

51 2. クラスター起動の確認 Copyright © 2022, Oracle and/or its affiliates クラスターが起動されたことを確認します。拡張ノードの状態の更新が少し遅いため、起動した15分後にリフレッシュ をクリックしてください。 リフレッシュのアイコン です。

52 2. クラスター起動の確認 Copyright © 2022, Oracle and/or its affiliates 各ノードの状態にも確認できます。

トラブルシューティング 53 Copyright © 2022, Oracle and/or its affiliates 起動で失敗したクラスターの再起動⽅法︓ 失敗の原因を判明し、解決してから、OCIホームのコンピュート管理画⾯で拡張ノードからプライマリノードまでOASクラス ターのインスタンスを再起動します。その後、当資料の４５ページ「ノードマネージャーの起動」から、順次実⾏を⾏い、 関連サービスを起動します。 拡張ノードの設定が失敗する場合︓ プライマリノードで下記を実⾏して、失敗の拡張ノードを削除します。 「mytestoasnode1-2」がEM画⾯で表⽰した拡 張ノードのサーバー名です。削除してから、ドメインクローンから再実⾏してください。 /u01/data/domains/bi/bitools/bin/delete_bi_machine.sh mytestoasnode1-2

参考資料 54 Copyright © 2022, Oracle and/or its affiliates Oracle Analytics Server on Oracle Cloudマニュアル「英語」︓ https://docs.oracle.com/en/middleware/bi/analytics-server/deploy-oas-cloud/administer-oracle- analytics-server-oracle-cloud.html#GUID-D0BC870B-EE26-4DB0-8989-352503DDDADF Oracle Analytics Server 拡張ノード追加マニュアル「英語」︓ https://docs.oracle.com/en/middleware/bi/analytics-server/administer-oas/add-new- computers.html Oracle Analytics Server NQSConfig.INIのマニュアル「英語」︓ https://docs.oracle.com/en/middleware/bi/analytics-server/administer-oas/configuration-file- settings.html#GUID-4F5B5A4F-0C4B-4494-88C1-970DFB23537B

55 Copyright © 2022, Oracle and/or its affiliates