クラウド環境におけるDomino Backup活用法

Domino V12 の Backup 機能で、クラウドストレージを利用する方法について

Transcript

1. www.bluegateway.co.jp 東京ブルーゲートウェイ合同会社 畠中恒一 Koichi.Hatanaka@bluegateway.co.jp クラウド環境における Domino Backup活用法 テクてく Lotus 技術者夜会 2023年9月
2. www.bluegateway.co.jp アジェンダ • クラウドストレージと運用の課題 • Dominoバックアップの基本 • GCSへのバックアップ（式定義コマンド） • GCSへのバックアップ（ネイティブOSコマンド） • ファイル転送の高速化 • まとめ
3. www.bluegateway.co.jp クラウドストレージと 運用の課題
4. www.bluegateway.co.jp Dominoをクラウドで運用する場合の課題 運用コストの増大 大容量NSFファイルのバックア ップ先として 例1.ブロックストレージを使用 例2.オンプレのファイルサーバ ーをそのまま移行
5. www.bluegateway.co.jp 3大クラウドの主要ストレージサービス ブロックストレージ オブジェクトストレージ ファイルストレージ AWS Amazon EBS Amazon S3 Amazon EFS Azure Azure Disk Storage Azure Blob Storage Azure Files Google Cloud Persistent Disk Cloud Storage Filestore ➢ ブロックストレージ 仮想マシンのディスクとして使用する。 事前に確保した容量しか使えない。確保した容量分課金される。 ➢ オブジェクトストレージ データを固有のIDを付与したオブジェクトという単位で管理する。階層構造を持たない。 容量の制限がない。データの一部分だけを更新できない。 更新頻度の低いデータや大容量のデータを長期間保存する用途に向く。 ➢ ファイルストレージ 仮想マシン無しで利用できるファイル共有サービス。
6. www.bluegateway.co.jp オブジェクトストレージの利用イメージ ※いずれも、事前にバケットの作成、アカウントの作成が必要。 gsutil cp c:¥hcl¥domino¥data¥names.nsf gs://mybucketname/ aws s3 cp c:¥hcl¥domino¥data¥names.nsf s3://mybucketname/ azcopy copy c:¥hcl¥domino¥data¥names.nsf https://mybucketname コマンドでファイルを転送するには
7. www.bluegateway.co.jp Dominoバックアップの基本
8. www.bluegateway.co.jp Dominoバックアップの基本動作 • 初めて使用する場合、サーバーコマンド「load backup」を実行す ると、dominobackup.nsfが作成される • Notesクライアントで、dominobackup.nsfに必要な設定を行う • リストアはNotesクライアントからの操作で行う事ができる • 定期的にバックアップを行うには、プログラム文書を作成し、任 意の日時に「backup」コマンドを実行する
9. www.bluegateway.co.jp バックアップの設定(1/2) バックアップ先の指定 Backup retention (days): バックアップファイルは7日間保持 され、7日以前のものは順次削除さ れる。
10. www.bluegateway.co.jp バックアップの設定(2/2) バックアップ、リストア、削除、3つの設定の整合が取れている必要がある （通常は変更の必要なし）
11. www.bluegateway.co.jp コマンドの説明 https://help.hcltechsw.com/domino/12.0.2/ja/admin/admn_backupfilecommands.html
12. www.bluegateway.co.jp バックアップ実行結果例
13. www.bluegateway.co.jp GCSへのバックアップ （式定義コマンド） GCS: Google Cloud Storage
14. www.bluegateway.co.jp バックアップの設定(1/4) バックアップ先にGCSのURLを指定する
15. www.bluegateway.co.jp バックアップの設定(2/4) x := "/"; q := {"}; "gsutil cp " + q + PhysicalFileName + q + " " + q + BackupTargetDir + x + BackupNode + x + BackupMode + x + BackupDateTime + x + FileName + q + " 2>&1" （例）gsutil cp c:¥hcl¥domino¥data¥names.nsf gs://domino-backup-tokyo/nsf/servername/FULL/yyyymmddhhmmss/names.nsf 2>&1 式を組み合わせて、ファイを転送するコマンド列を組み立てる
16. www.bluegateway.co.jp バックアップの設定(3/4) x := "/"; q := {"}; "gsutil -m cp " + q + BackupTargetDir + x + BackupNode + x + BackupMode + x + BackupDateTime + x + FileName + q + " " + q + RestoreFileName + q + " 2>&1" （例）gsutil cp gs://domino-backup-tokyo/nsf/servername/FULL/yyyymmddhhmmss/names.nsf c:¥hcl¥domino¥data¥names.nsf 2>&1
17. www.bluegateway.co.jp バックアップの設定(4/4) x := "/"; q := {"}; "gsutil rm " + q + BackupTargetDir + x + BackupNode + x + BackupMode + x + BackupDateTime + x + FileName + q + " 2>&1" （例）gsutil rm gs://domino-backup-tokyo/nsf/servername/FULL/yyyymmddhhmmss/names.nsf 2>&1
18. www.bluegateway.co.jp 確認結果 • Backupは問題なく動作 • 本来は、Backup、Restore、Pruneに整合性の取れた設定を行う事 ができれば、どこにでもバックアップが可能 • Windows環境では、”FileName”内にパスの区切り文字として「¥」 が使われていたため、Restore、Pruneが正常に動作しなかった （例） gsutil rm gs://domino-backup-tokyo/nsf/servername/FULL/yyyymmddhhmmss/mail¥yamada.nsf 2>&1 • どこかで、「¥」区切りを「/」に変換しなければ
19. www.bluegateway.co.jp GCSへのバックアップ （ネイティブOSコマンド）
20. www.bluegateway.co.jp コマンドの種類 https://help.hcltechsw.com/domino/12.0.2/ja/admin/admn_backupcommandconfiguration.html
21. www.bluegateway.co.jp バックアップの設定(1/2) Backup DB command: バックアップ対象毎に実行される Pre-backup command: バックアップの前に1度だけ実行される Post-backup command: バックアップの後に1度だけ実行される
22. www.bluegateway.co.jp バックアップの設定(2/2) Prune backup command: 削除の前に1度だけ実行される Prune DB command: 削除対象毎に実行される
23. www.bluegateway.co.jp バッチファイルの処理内容 domino_backup.cmd gsutil cp %1 %8/%4/%6/%7/%2 >> c:¥temp¥backup.log 2>&1 domino_restore.cmd set sourceStr=%8/%4/%6/%7/%2 set formatSourceStr=%sourceStr:¥=/% echo gsutil cp %formatSourceStr% %9 > c:¥backup¥bin¥exec_restore.cmd call c:¥backup¥bin¥exec_restore.cmd > c:¥backup¥log¥restore.log 2>&1 domino_prune.cmd set sourceStr=%8/%4/%6/%7/%2 set formatSourceStr=%sourceStr:¥=/% echo gsutil rm %formatSourceStr% > c:¥backup¥bin¥exec_prune.cmd call c:¥backup¥bin¥exec_prune.cmd >> c:¥backup¥log¥prune.log 2>&1 「¥」を「/」に変換 動的にバッチファイルを作成して実行
24. www.bluegateway.co.jp コマンドの説明 https://help.hcltechsw.com/domino/12.0.2/ja/admin/admn_backupnativeoscommands.html
25. www.bluegateway.co.jp ファイル転送の高速化
26. www.bluegateway.co.jp データ転送の留意点 • オブジェクトストレージへの書き込み（転送）は低速 • クラウドストレージをマウントする方法はさらに速度が遅い クラウドベンダーからマウントツールの提供あり、対象はLinux サードパーティーからWindows用有償ツールあり （例）JPCYBER S3 Drive
27. www.bluegateway.co.jp 大量のファイルを転送するには 4GB 8GB 2GB 4GB 8GB 2GB Bandwidth Time Time シングルスレッド マルチスレッド
28. www.bluegateway.co.jp 大量のファイルを転送するには 120GB 40GB 40GB 40GB Bandwidth Time Time 並列複合アップロード domino_backup.cmd gsutil -m -o GSUtil:parallel_composite_upload_threshold=150M cp %1 %8/%4/%6/%7/%2 >> c:¥temp¥backup.log 2>&1
29. www.bluegateway.co.jp さらなる高速化のヒント(1/2) Backup DB Commandは、1DB毎に実行されるので、複数DB同時に 転送していない 1コマンド1DB → 1コマンド複数DB 1. Backup DB Commandで実行するバッチファイルで、DBのバッ クアップを行わずに、ファイル名のリストだけを作成しておく。 2. Post-backup Commandで、ファイル名のリストを元に、動的に バッチファイルを作成して実行する。
30. www.bluegateway.co.jp さらなる高速化のヒント(2/2) ＜実行イメージ＞ （^は行の継続を示す） gsutil -m -o GSUtil:parallel_composite_upload_threshold=150M cp ^ c:¥hcl¥domino¥data¥mail¥yamada.nsf ^ c:¥hcl¥domino¥data¥mail¥suzuki.nsf ^ c:¥hcl¥domino¥data¥mail¥sato.nsf ^ gs://domino-backup-tokyo/nsf/servername/FULL/yyyymmddhhmmss/mail 上記の様な宛先毎のバッチファイルを複数作成して順次実行する。 ＜留意事項＞ 宛先のフォルダ毎にコマンドをまとめる必要がある Windowsで使用できるコマンド文字列の長さ以内に収める必要がある
31. www.bluegateway.co.jp まとめ
32. www.bluegateway.co.jp まとめ • Domino Backupでは、バッチ（シェル）を呼び出して、柔軟なバ ックアップスキームが構築可能 • それにより、クラウドストレージへのバックアッップも可能 • その結果、（ブロックストレージ利用分、バックアップソフト利 用分の）費用の大幅圧縮が可能 • ただしデータ転送する仕組みは自身で実装する必要がある
33. www.bluegateway.co.jp お問い合わせ 東京ブルーゲートウェイ合同会社 contactus@bluegateway.co.jp 03-6777-7109
34. www.bluegateway.co.jp 参考資料 • Nashed,Daniel Domino 12 Backup & Restore https://engage.ug/Engage2.nsf/pages/2022a_Slides/$File/engage_ 2022_backup.pdf • Domino Backup and Restore https://opensource.hcltechsw.com/domino-backup/ • January OpenNTF Webinar - Backup your Domino Server - New Options in V12 https://www.youtube.com/watch?v=2OychMyAdqE
35. www.bluegateway.co.jp 参考資料 • Domino 12.0.2 バックアップおよびリストア（HCL社製品ドキュ メント） https://help.hcltechsw.com/domino/12.0.2/ja/admin/admn_backupa ndrestore.html
36. www.bluegateway.co.jp 免責事項 • 本資料の正確性や妥当性等については十分な注意を払っています が、その保証をするものではありません。 • 本資料には、HCL社が公開しているドキュメント類に記載されて いない内容が含まれています。 • 本資料の記載内容は、使用者の責任において自由に利用いただけ ますが、何らかの損害が発生したとしても、当社及び発表者は一 切責任を負いません。