ドライブ障害

RustFS はイレイジャーコーディングにより、一部のドライブが故障してもデータの読み書きを継続します。障害が発生したドライブを交換すると、RustFS は欠落したデータをそのドライブへ自動的に修復します。

障害が発生したディスクのアンマウントCopy Anchor Link

物理ハードディスクを交換する前に、OS 上で障害ディスクをアンマウントします。交換中にファイルシステムや RustFS で I/O エラーが起きるのを防ぎます。

# Assume the failed disk is /dev/sdb
umount /dev/sdb

systemctl stop rustfs

障害が発生したディスクの交換Copy Anchor Link

障害ディスクを物理的に交換したあと、新しいディスクをパーティション分割してフォーマットし、元のディスクと同じラベルを付けます。

# Format as XFS and apply the same label as the original disk (RustFS requires XFS, like the other disks in the deployment)
mkfs.xfs -L DISK1 /dev/sdb

/etc/fstab または RustFS 設定の更新Copy Anchor Link

/etc/fstab のエントリに書かれたラベルまたは UUID が、新しいディスクを指していることを確認します。マウントポイントは /etc/default/rustfs の RUSTFS_VOLUMES に記載されたパスと同一である必要があります。これにより、修復対象のディスクが同じパスでクラスターに再参加します。

# View current fstab
cat /etc/fstab

# Example fstab entry (no modification needed if labels are the same)
LABEL=DISK1 /data/rustfs0 xfs defaults,noatime 0 2

blkid /dev/sdb
# Get the new partition's UUID, then replace the corresponding field in fstab

mount -a # If no errors, configuration is correct

新しいディスクの再マウントCopy Anchor Link

次のコマンドで、設定済みのファイルシステムをすべてマウントし、RustFS を起動します。

mount -a
systemctl start rustfs

想定しているファイルシステムがすべてマウントされていることを確認します。

df -h | grep /data/rustfs

データ修復の開始と監視Copy Anchor Link

RustFS が既知のマウントポイントでフォーマット直後のディスクを検出すると、バックグラウンドスキャナーが欠落データをそのディスクへ自動的に修復します。手動のコマンドは不要です。サービスログで、復旧の開始と進捗を確認します。

# For systemd-managed installations
journalctl -u rustfs -f

# Or view the log files under the directory set by RUSTFS_OBS_LOG_DIRECTORY
tail -f /var/log/rustfs/rustfs.log

RustFS Console を開き、対象ノードのディスク状態を確認することもできます。

事後確認と注意点Copy Anchor Link

1. パフォーマンス監視

• データ修復中は I/O 負荷が変動することがあります。ディスクとネットワークの使用率を監視することを推奨します。

2. 同一製造ロットの障害

• 同じ製造ロットのディスクが複数故障した場合は、そのロットに残るディスクの点検頻度を上げます。

3. 定期的な障害試験

• 復旧手順を習熟できるよう、定期的にディスク障害の訓練を実施します。

4. メンテナンス時間

• 障害率が高い場合は、交換とデータ修復を早めるため、専用のメンテナンス時間を設けます。