
Veritas NetBackupアップデート作業に伴う障害事例の紹介
こんにちは。クレスコ・デジタルテクノロジーズのA.Iです。今回は多様なプラットフォームに対応し、拡張性にも優れたデータ保護ソリューションであるVeritas NetBackupについて、実際に起きた障害事例をご紹介したいと思います。
■あわせて読まれている資料:
対応事例やネットワークサービス一覧を掲載!
→ネットワークテクノロジーサービス
Veritas NetBackupとは
まずは簡単にVeritas NetBackup(以下NetBackup)についてご紹介します。
NetBackupとは、米Veritas Technologies社が提供する企業向けのデータ保護・バックアップ・リストア・アーカイブソリューションです。ネットワーク内のクライアントに対して、定期的な自動バックアップをスケジューリングできるため、ネットワークの使用頻度が高い時間帯を避けて通信量を最適化しながら、計画的なバックアップを実行できます。信頼性も高く、様々なIT環境で採用されている製品です。
構成としては、1台のマスタサーバの管理下で、メディアサーバ・ストレージ・テープ装置・クライアントを制御します。また、マスタサーバはバックアップ、アーカイブおよびリストアの管理と、構成情報を含む内部データベースを保持します。
障害事例紹介(1)
普段、皆さんは機器のホスト名が大文字表記なのか小文字表記なのかを意識することはありますでしょうか?GUI操作の際は、予め大文字表記か小文字表記のどちらかに統一された表示をされることから、あまり気にしていない方が多いのではないでしょうか。
今回、対応業務においてホスト名の表記を意識せずにバージョンアップを行ったことで障害が発生し、解決までに2ヶ月を要する事態となりました。
皆さんが私と同じ失敗をしないためにも、今回起きた事例を紹介したいと思います。
障害事例紹介(2)
今回、NetBackup(v8.3)からNetBackup(v10.1)へ上書きインストールによるバージョンアップ作業を実施しましたが、その際、マスタサーバから見てメディアサーバを認識できない事象が発生しました。調査の結果、NetBackupが生成する“証明書が不一致“となったことが原因となり、マスタサーバとメディアサーバ間の疎通が取れなくなったことが判明しました。
「NetBackupが生成する証明書が不一致」と言われても、ピンと来ない方も多いのではないかと思います。そのため、NetBackupが生成する証明書について、ご説明いたします。
障害事例紹介(3)
NetBackupでは、セキュリティ証明書を使用して各ホストの認証を行います。
マスタサーバが認証局(CA)として動作し、各ホストにセキュリティ証明書を発行しますが、NetBackup(v8.1)から、以下の通り証明書の仕様が変更されています。
NetBackup(v8.0)まで |
ホスト名ベースの証明書(大文字・小文字を区別しない)を利用 |
NetBackup(v8.1)以降 |
ホストIDベースの証明書(大文字・小文字を区別する)を利用 |
※今回のNetBackupのバージョンアップを行う前に、過去にもNetBackup(v8.0)からNetBackup(v8.3)へバージョンアップが別の担当者によって行われておりました。その時も、今回と同じ手順で作業を実施しておりましたが、問題が起きることはありませんでした。NetBackup(v8.0)を新規インストールした際にホスト名ベースの証明書が、NetBackup(v8.3)へのバージョンアップを行った際にホストIDベースの証明書が、それぞれ発行されたものの、ホストID証明書は1つであったことから、問題は起きなかったものと思われます。
NetBackup(v8.0)までに使われていたホスト名ベースの証明書では、ホスト名の大文字・小文字を区別することはなかったのに対し、NetBackup (v8.3)以降使われているホスト名ID証明書ではホスト名の大文字、小文字を区別することから、バージョンアップの際にはホスト名の表記を意識する必要があります。
しかし、当時のバージョンアップ担当者は証明書の仕様変更を把握しておらず、OSに登録された小文字のホスト名を流用し、インストール時に小文字でホスト名を登録したものと思われます。
過去にバージョンアップ担当者が小文字で登録したことなど知らずに担当した私たちは、NetBackup(v10.1)へのアップデートを行う際、ホスト名を大文字表記で登録した結果、NetBackupではどちらのホストIDベースの証明書と関連付けて良いか判別できず、エラーが発生する事態となりました。
各バージョンでのセキュリティ証明書
NetBackup(v8.0) |
ホスト名ベース(大文字) |
NetBackup(v8.3) |
ホストIDベース(小文字)+ホスト名ベース(大文字) |
NetBackup(v10.1) |
ホストIDベースの証明書(小文字+大文字)+ホスト名ベースの証明書(大文字) |
対策
皆さんがもし、NetBackupのバージョンアップインストールを実施することになった際には、初めからホスト名の大文字、小文字の入力を気にしてもらえればと思いますが、万が一本事象が発生してしまった際の手順として、ご参考までに対策方法についてもご紹介いたします。
※本事象の解決には、ベンダサポートにもご協力いただきました。
- NetBackup(v8.3)の脆弱性対策(パッチ)適用前状態への戻し。
NetBackup(v8.3)の脆弱性対応で使用したwarファイル(Webアプリケーションを1ファイルにまとめたもの)を解凍し、ファイルを元のパスに戻し復元。
- 証明書の再生成(v8.3)
既存の証明書をOS上で削除し、webサービスやNetBackupのサービスを停止したうえで、ホスト名を大文字表記にした証明書の再生成を実施。
- 再生成した証明書との紐づけ
管理コンソールと再生成した証明書を紐づけし直すため、管理コンソールの再構成を実施。
- 疎通状態確認
マスタサーバとメディアサーバ間の通信が行えていることを確認。
- バージョンアップ作業(v8.3⇒v10.1)の実施
通常の手順にてv10.1へバージョンアップ作業を実施。
まとめ
記事としてまとめてみると随分あっけないものですが、実際のところ障害が発生してから復旧するまでに約2ヵ月もの期間を要しました。単なるアプリケーションのアップデートとして油断せず、製品仕様の変更有無や過去の手順に問題がなかったかを確認することの大切さを再認識する機会となりました。事例として何かの参考になれば幸いです。
ご覧いただき、ありがとうございました。
■サービス資料一覧はこちら↓
引用元
https://www.veritas.com/content/support/ja_JP/doc/49563028-152397472-0/v41803467-152397472