DolphinScheduler

このガイドでは、ワークフロースケジューラーである Apache DolphinScheduler を、リソースセンターのストレージとして RustFS に接続します。スタンドアロンサーバーを実行し、リソースストレージを S3 に切り替え、API でリソースファイルをアップロードし、バケット内のオブジェクトを確認します。この流れは、DolphinScheduler 3.2.1（スタンドアロンサーバー）を rustfs/rustfs-x86-musl:v2.3.1 に対して検証済みです。

Docker が必要です。

アーキテクチャ

リソースセンターは、ワークフローのスクリプト、依存 JAR、その他のファイルを保存します。S3 ストレージでは、アップロードした各ファイルがバケット内の dolphinscheduler/<tenant>/resources/ 配下のオブジェクトになります。

スタンドアロンサーバーを実行する

docker run -d --name dolphinscheduler --hostname dolphinscheduler \
  --network oo-rustfs_default -p 12345:12345 \
  apache/dolphinscheduler-standalone-server:3.2.1

単一のコンテナに master、worker、API、alert、組み込み ZooKeeper が含まれます。UI は http://localhost:12345/dolphinscheduler/ui です（既定のログインは admin / dolphinscheduler123）。

リソースセンターを RustFS に切り替える

ストレージのバックエンドは /opt/dolphinscheduler/conf/common.properties にあります。既存ファイルへ S3 のプロパティを追記します。ファイルには他の設定も多数あるため、置き換えないでください。

docker exec dolphinscheduler bash -c "cat >> /opt/dolphinscheduler/conf/common.properties << 'EOF'

resource.storage.type=S3
resource.storage.base.dir=/ds-resources
resource.aws.s3.bucket.name=ds-demo
resource.aws.s3.endpoint=http://<your-rustfs-endpoint>:9000
resource.aws.access.key.id=<your-access-key>
resource.aws.secret.access.key=<your-secret-key>
resource.aws.region=us-east-1
EOF"
docker restart dolphinscheduler

API が復帰するまで待ち（およそ 1 分）、その後バケットを作成します。

rc mb rustfs/ds-demo

リソースファイルをアップロードする

API でログインしてセッション ID を取得し、ファイルをアップロードします。エンドポイントには name と fullName の両方のパラメーターが必要です。

printf "ds resource file stored in rustfs" > /tmp/ds-file.txt
TOKEN=$(curl -s -m 10 -X POST http://localhost:12345/dolphinscheduler/login \
  -d "userName=admin&userPassword=dolphinscheduler123" \
  | python3 -c "import json,sys; print(json.load(sys.stdin)['data']['sessionId'])")

curl -s -m 30 -X POST "http://localhost:12345/dolphinscheduler/resources" \
  -H "session-id: $TOKEN" -H "Cookie: sessionId=$TOKEN" \
  -F "file=@/tmp/ds-file.txt" -F "type=FILE" -F "currentDir=/" \
  -F "name=ds-file.txt" -F "fullName=/ds-file.txt" -F "description=demo"

{"code":0,"msg":"success","data":null,"failed":false,"success":true}