バケットレプリケーション

RustFS のバケットレプリケーションは、選択したオブジェクトバージョンを、ソースバケットからターゲットバケットへコピーします。バケットデータのリモートコピーの維持、デプロイ間でのオブジェクトの配布、復旧手順で使う二次コピーの準備に使います。

概要Copy Anchor Link

バケットレプリケーションには、2 層の設定があります。

1. リモートターゲットは、ターゲットのエンドポイント、バケット、認証情報、生成されたターゲット ARN を保持します。
2. S3 の レプリケーション設定は、ルールをソースバケットに付与し、そのターゲット ARN を参照します。

ソースバケットとターゲットバケットの両方で、バージョニングを有効にする必要があります。リモートターゲットを登録するとき、RustFS はターゲットへの接続と、ターゲットバケットのバージョニングを確認します。RustFS は、有効なルールが未知の、または古くなったターゲット ARN を参照するレプリケーション設定を拒否します。

レプリケーションは、既定で非同期です。ソースへのアップロードが成功したことは、RustFS がソースオブジェクトを受け付けたことを意味します。ターゲット側のコピーがすでに完了していることにはなりません。

ルールでは、プレフィックスまたはオブジェクトタグでオブジェクトを選べます。制御できる動作は次のとおりです。

バケットレプリケーションには方向があります。両方のバケットが書き込みを受け付け、互いの変更をレプリケートする必要がある場合は、逆方向にも別のターゲットとルールを設定します。より広いサイト設定とアイデンティティデータを同期する サイトレプリケーション と、バケットレプリケーションを混同してはなりません。

設定Copy Anchor Link

要件Copy Anchor Link

• ソースの RustFS デプロイと、到達できるターゲットの S3 互換デプロイ。
• バージョニングを有効にした、ソースバケットとターゲットバケット。
• ターゲットバケットのバージョニングを検査でき、レプリケートされたオブジェクトバージョンと削除マーカーを書き込める、専用のターゲット認証情報。
• リモートターゲットとレプリケーション設定を管理できる、ソース側の管理者。
• レプリケーション処理を実行できるすべてのソースノードから、ターゲットエンドポイントへのネットワーク到達性。
• 管理用ホストにインストールした、RustFS の rc クライアント。

デプロイごとに、rc のエイリアスを 1 つ設定します。専用の認証情報を使い、コマンドを実行する前に、例のエンドポイントを置き換えます。

rc alias set source https://source.example.com:9000 \
	<your-access-key> <your-secret-key> \
	--region us-east-1 --bucket-lookup path

rc alias set target https://target.example.com:9000 \
	<target-access-key> <target-secret-key> \
	--region us-east-1 --bucket-lookup path

rc alias list

ソースデプロイは、リモートターゲットを登録するとき、ターゲットエイリアスの認証情報を使います。rc alias list はエンドポイントを表示しますが、シークレットキーは表示しません。

権限Copy Anchor Link

ソース側の管理では、次のポリシーアクションを使います。

ターゲットの認証情報は、RustFS のターゲット検証に合格する必要があります。検証では、バケットへのアクセス、バージョニング、レプリケートされたオブジェクトの書き込み、レプリケートされた削除マーカー、オブジェクトバージョンの削除を確認します。ソースバケットでオブジェクトロックが有効な場合、ターゲットは互換性のあるオブジェクトロックに対応している必要があります。

バケットの作成とバージョニングCopy Anchor Link

ソースバケットを作成します。

rc bucket create source/my-bucket

ターゲットバケットを作成します。

rc bucket create target/my-bucket-replica

両方のバケットでバージョニングを有効にします。

rc bucket version enable source/my-bucket
rc bucket version enable target/my-bucket-replica

rc bucket version info source/my-bucket
rc bucket version info target/my-bucket-replica

レプリケーションを設定しているあいだは、ソースバケットのバージョニングを停止してはなりません。

使い方Copy Anchor Link

Console でレプリケーションを設定するCopy Anchor Link

RustFS Console では、リモートターゲットの登録とレプリケーションルールの設定を、1 つのフォームで行います。

1. ソースデプロイの Console にサインインします。
2. Buckets（バケット）を開き、ソースバケットを見つけて Settings（設定）を選びます。
3. Data Protection（データ保護）で、無効なら Versioning（バージョニング）を有効にします。
4. Automation（自動化）で Open Bucket Replication（バケットレプリケーションを開く）を選びます。
5. Add Replication Rule（レプリケーションルールを追加）を選びます。
6. 宛先とルールを設定します。

7. Save（保存）を選びます。RustFS は、ルールを受け付ける前に、ソースバケット、ターゲットへの接続、ターゲットの認証情報、ターゲットバケットのバージョニングを検証します。
8. Bucket Replication（バケットレプリケーション）に戻り、ルールを確認します。表示されている状態を更新するには、Refresh（再読み込み）を選びます。

繰り返し実行する自動化や、構成管理には、以下の rc の手順を使います。

rc でレプリケーションルールを追加するCopy Anchor Link

新規オブジェクトと既存オブジェクトをコピーし、削除マーカーと明示的なバージョン削除を伝播する、非同期ルールを作成します。

rc bucket replication add source/my-bucket \
	--remote-bucket target/my-bucket-replica \
	--id replicate-all \
	--priority 1 \
	--replicate delete,delete-marker,existing-objects

rc は、ターゲットの登録、生成された ARN の取得、レプリケーションルールの適用を、1 回の操作で行います。不要な動作については、--replicate のフラグを省きます。書き込みが同期レプリケーションの完了を待つ必要がある場合にだけ、--sync を付けます。

レプリケーションをプレフィックスに限定するには、--prefix を追加します。

rc bucket replication add source/my-bucket \
	--remote-bucket target/my-bucket-replica \
	--id replicate-documents \
	--priority 2 \
	--prefix documents/ \
	--replicate delete-marker,existing-objects

有効なルールに一致しないオブジェクトは、ソースバケットにだけ残ります。1 秒あたりのバイト数の上限は --bandwidth、ターゲットのヘルスチェック間隔の変更は --healthcheck-seconds、宛先ストレージクラスの上書きは --storage-class で指定します。

ルールの一覧と更新Copy Anchor Link

有効なルールを一覧します。

rc bucket replication list source/my-bucket
rc bucket replication list source/my-bucket --json

ルールは ID を指定して更新します。変更されるのは、指定した設定だけです。

rc bucket replication update source/my-bucket \
	--id replicate-all \
	--priority 2 \
	--bandwidth 104857600 \
	--healthcheck-seconds 60

ルールの有効化と無効化は --status Enabled|Disabled、レプリケーションモードの変更は --sync true|false で指定します。

設定のエクスポートとインポートCopy Anchor Link

確認またはバックアップのため、レプリケーション設定の全体をエクスポートします。

rc bucket replication export source/my-bucket --json > replication.json

エクスポートには、リモートターゲットのメタデータと、ターゲットのアクセスキーが含まれます。シークレットキーは含まれません。このファイルは、機密の設定として保護します。

以前にエクスポートした設定をインポートします。

rc bucket replication import source/my-bucket replication.json

レプリケーション設定を削除するCopy Anchor Link

rc bucket replication remove source/my-bucket --id replicate-all

# Remove every replication rule from the bucket.
rc bucket replication remove source/my-bucket --all

RustFS は、削除した設定が参照していたレプリケーションのリモートターゲットも削除します。ターゲットバケットへすでにコピーされたオブジェクトやバージョンは、削除しません。それらのオブジェクトは、ターゲットバケットのライフサイクルと保持の要件に従って、削除するか保持します。

検証Copy Anchor Link

ターゲットの準備状況を確認するCopy Anchor Link

rc bucket replication add は、ルールを作成する前に、ソースへのアクセス、ターゲットへの接続、ターゲットの認証情報、バケットのバージョニングを確認します。作成された宛先とルールの設定を確認します。

rc bucket replication list source/my-bucket --json

オブジェクトをレプリケートするCopy Anchor Link

ソースへテスト用オブジェクトをアップロードします。

printf 'hello from RustFS replication\n' > /tmp/hello.txt
rc object copy /tmp/hello.txt source/my-bucket/hello.txt

ソースオブジェクトを確認します。

rc object stat source/my-bucket/hello.txt --json

レプリケーションは既定で非同期であるため、ターゲットオブジェクトは直ちには表示されないことがあります。成功するまで、次のコマンドを繰り返します。

rc object stat target/my-bucket-replica/hello.txt --json
rc object show target/my-bucket-replica/hello.txt

ソースとターゲットの etag および size_bytes を比較し、object show が想定した内容を返すことを確認します。

削除マーカーのレプリケーションを確認するには、ソースオブジェクトを削除し、両方のバケットでバージョンを一覧します。

rc object remove source/my-bucket/hello.txt --force

rc bucket version list source/my-bucket/hello.txt --json
rc bucket version list target/my-bucket-replica/hello.txt --json

削除マーカーのレプリケーションが成功すると、両方のバケットの最新エントリは is_delete_marker: true になります。

レプリケーションメトリクスを確認するCopy Anchor Link

rc bucket replication status source/my-bucket
rc bucket replication status source/my-bucket --json

このコマンドは、ソースノードが現在メモリ上に持つレプリケーション統計を返します。オブジェクトが宛先に到達したあとでも、メトリクスはゼロのままであることがあります。メトリクスだけを検証の根拠にせず、ターゲットオブジェクトとバージョンの確認とあわせて使います。

障害を調査するCopy Anchor Link

次のステップCopy Anchor Link

• バケットのライフサイクルを管理する
• バケットクォータを設定する
• オブザーバビリティを設定する