Relax - Xiaohongshuのオープンソース大規模モデル強化学習トレーニングエンジン - AiBoss

リラックスとは何ですか？

Relaxは、Xiaohongshu AIプラットフォームチームによって開発された、あらゆるモダリティとエージェントシナリオ向けに設計された大規模モデル用のオープンソース強化学習トレーニングエンジンです。Megatron-LMとSGLangをベースに構築されており、サービス指向のフォールトトレラントアーキテクチャ（Ray Serve）と非同期データバス（TransferQueue）を採用することで、ロールアウト、アクター、クリティックの役割を完全に分離しています。Relaxは、テキスト、画像、音声、ビデオの統一トレーニングをサポートしており、Qwen3-Omni-30B上で4つのモダリティの強化学習の安定した収束を実証しています。16×H800の完全非同期モードでは、Colocateと比較して76%、veRLと比較して20%の高速化を実現しています。分単位の障害回復、弾力的なスケーリング、R3 MoEサポートなどの機能を備え、Qwen3シリーズのポストトレーニングに適用されています。

Relaxの主な機能

フルモーダル強化学習本システムは、テキスト、画像、音声、動画に対するエンドツーエンドの強化学習をトレーニング後も一貫してサポートし、Qwen3-Omniシリーズの安定した収束を検証済みです。
非同期トレーニングアーキテクチャTransferQueueデータバスをベースとしているため、Rollout、Actor、Criticの役割は完全に非同期かつ並列で動作し、GPUのアイドル待機を排除します。
サービス指向の耐障害性各RLロールは独立したRay Serveとして展開され、障害分離機能と分単位の自動復旧機能を備え、中断のないトレーニングをサポートします。
弾性膨張・収縮能力HTTP REST API を介して Rollout 推論エンジンを動的に追加または削除し、クラスタ内およびクラスタ間のフェデレーション推論リソーススケジューリングの両方をサポートします。
分散型重み同期DCSサービスは、NCCL/TCPデュアルチャネル低遅延加重ブロードキャストを実装しており、障害復旧時にディスクチェックポイントをロールバックする必要性をなくします。
エージェントによる複数ラウンドのトレーニングマルチターン操作、ツール呼び出し、視覚コンテキストの引き継ぎ、損失マスキングをネイティブにサポートし、「実行→観察→決定」という閉ループに適応します。
アルゴリズムスイートのサポート組み込みのGRPO、GSPO、SAPO、およびオンポリシー蒸留アルゴリズムは、ルールベースの報酬とGenRM生成評価を提供します。

Relaxの技術的原理

サービス指向非同期アーキテクチャアクター、クリティック、ロールアウトの役割は独立したRay Serveサービスとしてカプセル化され、TransferQueueはマイクロバッチ転送のストリーミングに使用されるため、コンピューティングリソースが分離され、パイプライン並列処理が実現され、従来のコロケーションモードにおける逐次待機のボトルネックが解消されます。
フルモーダルデータパイプラインテキスト、画像、音声、ビデオデータの統合処理のための内蔵オムニプロセッサを搭載し、モダリティを考慮した並列処理とエンドツーエンドの非同期パイプラインをサポートし、フィールドレベルストレージメカニズムを介して同一サンプルの異なるフィールドを独立して読み書きできるため、強化学習の多段階計算特性に対応します。
耐障害性と回復力メカニズム本システムは2段階の復旧戦略（ステートレスな役割はインプレースで再起動、ステートフルな役割はグローバルに復旧）を採用し、DCS分散チェックポイントサービスと連携してGPU間の直接的な重み同期を実現し、ディスクI/Oオーバーヘッドを回避するとともに、クラスタトポロジ全体にわたるNCCL/TCPデュアルチャネル適応をサポートします。
非同期整合性制御オン/オフポリシーモードは、max_stalenessパラメータによって柔軟に制御できます。StreamingDataLoaderは増分消費をサポートし、DCSの非同期重みブロードキャストはトレーニング計算と重複して動作することで、スループットとポリシーの鮮度のバランスを実現します。

Relaxの使い方

環境展開公式のDockerイメージ（CUDA、PyTorch、Megatron-LM、SGLang、Rayがプリインストール済み）をプルします。docker pull relaxrl/relax:latestコンテナを起動する際に、GPUと作業ディレクトリをマウントします。
データとモデルの準備：使用 hf download データセット（dapo-math-17k、multimodal-open-r1-8k-verifiedなど）と基本モデル（Qwen3-4B、Qwen3-VL-4B、Qwen3-Omni-30B-A3B）をローカルディレクトリにダウンロードしてください。
トレーニングを開始する：設定 EXP_DIR 環境変数はデータのルートディレクトリを指し、対応するモーダルbashスクリプトが実行されます。
- テキスト課題（カード8枚）：bash scripts/training/text/run-qwen3-4B-8xgpu.sh
- 視覚言語課題（カード8枚）：bash scripts/training/multimodal/run-qwen3-vl-4B-8xgpu.sh
- フルモーダルタスク（16枚のカード／デュアルマシン）：bash scripts/entrypoint/spmd-multinode.sh scripts/training/multimodal/run-qwen3-30B-A3B-omni-16xgpu.sh
モデルのエクスポートトレーニング後、 scripts/tools/convert_torch_dist_to_hf_bridge.py Megatron DCP形式のウェイトをHuggingFace形式に変換します。

Relaxに関する重要な情報と使用要件

オープンソース本体小紅書のRedAIインフラAIプラットフォームチームは、2026年4月15日に正式にオープンソース化されました。
製品ポジショニング: あらゆるモダリティおよびエージェントシナリオに対応する、高性能な非同期強化学習後処理エンジン。
技術基盤これはMegatron-LMトレーニングフレームワークとSGLang推論エンジンに基づいて構築されており、Ray Serveサービスアーキテクチャを採用しています。
コアアーキテクチャ6層構造のサービスアーキテクチャ（エントリポイント→オーケストレーション→コンポーネント→エンジン→バックエンド→分散）では、TransferQueueを使用して非同期データバスを実装し、DCSを使用して分散重み同期を実装します。
パフォーマンス指標16×H800の完全非同期モードは、Colocateのベースラインエンドツーエンド速度向上率よりも76%高速で、veRLよりも20%高速です。MoEモデルのR3オーバーヘッドはわずか1.9%です（veRLのR3オーバーヘッドは32%）。
モーダルサポート本システムは、テキスト、画像、音声、動画の統合学習をネイティブにサポートしており、4つのモードにおいて2000ステップ以上でQwen3-Omni-30Bの安定した収束を実現することが検証されています。
アルゴリズムカバレッジGRPO、GSPO、SAPO、およびオンポリシー蒸留機能を内蔵し、ルールベースの報酬とGenRM生成評価をサポートします。
ハードウェア構成単一ノードには最低でも8×H800（4Bモデル）が必要で、フルモーダルOmniトレーニングには2ノードで合計16×H800が必要です。ロールアウトリソースの柔軟なスケーリングと動的な調整をサポートします。

Relaxの主な利点

すべてのモードをネイティブでサポートテキスト、音声、ビデオに対応した統合処理パイプラインを内蔵しており、Qwen3-Omniのエンドツーエンドのポストトレーニングをサポートする数少ないオープンソースフレームワークの一つで、2000ステップ以上にわたって安定した収束が検証されています。
究極の非同期パフォーマンスTransferQueueは、ロールアウト/アクター/クリティックの完全な分離を実現し、その16×H800完全非同期モードは、Colocateよりも76%、veRLよりも20%高速です。
サービス指向の耐障害性アーキテクチャRay Serveの独立した障害ドメイン設計に基づき、分単位の自動復旧と弾力的なスケーリングをサポートし、DCSはディスクロールバックを必要とせずに秒単位の重み同期を実現します。
エージェントネイティブデザイン組み込みのマルチターンインタラクション、ツール呼び出し、視覚的コンテキストの引き継ぎ、および損失マスキング機能を備え、「実行→観察→決定」のクローズドループトレーニングに対応しています。
教育省高効率支援R3（Rollout Routing Replay）のオーバーヘッドはわずか1.9%で、veRLの34%のパフォーマンス低下と比較して、ほぼゼロのオーバーヘッドでリプレイを実現しています。
生産レベルの運用と保守HealthManagerは自動監視機能を提供し、Metricsはマルチプラットフォーム統合（WandB/TensorBoard）をサポートし、Appriseはリアルタイムアラートを提供し、HTTP APIを介した動的なスケーリングをサポートします。

Relaxのプロジェクトアドレス

GitHubリポジトリ：https://github.com/redai-infra/Relax
arXiv技術論文：https://arxiv.org/pdf/2604.11554

Relaxの類似競合製品との比較

比較対象寸法	Relax	veRL	OpenRLHF
開発チーム	RedAI インフラチーム (Xiaohongshu)	ByteDance、清華大学、南京大学などによる合同チーム	オープンソースコミュニティ（OpenRLHF Labs）
建築設計	Ray Serverを独立して展開し、TransferQueueを非同期データバスとして使用する、6層構造のサービスアーキテクチャ。	HybridFlowのハイブリッドプログラミング、3D-HybridEngineメモリのインサイチュ再利用、および生成とトレーニング間のデフォルトの連携。	Ray Placement Groupsのスケジューリングは、コロケーション/非同期モードの切り替えをサポートしており、比較的従来型のアーキテクチャを採用しています。
非同期機構	完全に非同期かつ分離されており、ロールアウト/アクター/クリティック用に独立したGPUクラスタを備え、ストリーミングによるマイクロバッチスケジューリングを実現しています。	分離と共存はサポートしているが、きめ細かなパイプラインスケジューリングはできない。ロールアウトとトレインの間には同期ポイントが存在する。	Colocateと非同期切り替えをサポートしていますが、文字間の結合度はRelaxよりも高くなっています。
モーダルサポート	Qwen3-Omniのエンドツーエンドトレーニングのフルモーダルネイティブ（テキスト/画像/音声/動画）検証	主にテキストベースであり、マルチモーダル対応はまだ不完全です。	テキストベースで、OpenRLHF-Mブランチはマルチモーダルに対応しています。
トレーニングバックエンド	Megatron-LM (TP/PP/CP/EP)	Megatron-LM / FSDP	DeepSpeed
推論バックエンド	SGLang	vLLM / SGLang	vLLM
耐障害性メカニズム	サービスレベルの障害分離、DCS重量同期は数秒で完了、自動復旧は数分で完了、ディスクロールバックは不要	単一のコントローラは統一されたスケジューリングを提供するが、サービスレベルの分離性に欠けるため、障害発生時にはグローバルな再起動が必要となる。	Ray Actorの耐障害性に基づいており、独立したサービスドメイン設計は行っていません。
弾性膨張・収縮能力	HTTP REST APIは動的にスケールアップおよびスケールダウンし、クラスタ間連携推論をサポートします。	トレーニングプロセスは固定構成であり、動的なスケーリングには対応していません。	動的なリソース調整をサポートするが、粒度は比較的粗い。
パフォーマンス	16×H800は、veRLと比較して20%、Colocateと比較して76%の高速化を実現し、R3のオーバーヘッドはわずか1.9%です。	完全非同期動作はColocateよりも5.2倍高速ですが、R3オーバーヘッドが32%増加し、障害回復速度が遅くなります。	70B+モデルに対応し、一般消費者向けグラフィックカードにも対応しています。
文部省のサポート	ネイティブサポート、ほぼゼロオーバーヘッドR3	サポート対象ですが、R3はオーバーヘッドが大きい（32%）。	サポート
エージェント機能	複数ターン操作、ツール呼び出し、ビジュアルコンテキスト、および引き継ぎ機能に対するネイティブサポート。	複数ターンセッションの基本的なサポートは不足しているが、サービスレベルのセッション状態管理は必要である。	基本サポート
適用可能なシナリオ	超大規模Omniモデルおよび高可用性本番環境シナリオ向けのエージェント型トレーニング	1兆パラメータのMoEモデル、極限メモリ最適化	700億以上のモデルを分散学習させる、コンシューマーグレードのGPUクラスタ

Relaxの応用シナリオ

大規模マルチモーダルモデルのトレーニング後テキスト、画像、音声、動画入力をサポートするOmniモデル（Qwen3-Omniなど）を統合的に最適化し、クロスモーダルな理解と生成能力を向上させる。
エージェント型インテリジェントエージェントの開発: マルチラウンドのツール呼び出し、環境との相互作用、自律的な意思決定機能を備えたインテリジェントエージェントを訓練し、「実行→観察→決定」のクローズドループタスク（DeepEyesのマルチラウンド視覚推論など）に適応させる。
視覚言語タスクの最適化: 視覚的質問応答（VQA）、画像説明、動画理解（NextQA）などのタスクに対して強化学習（RL）の事後学習を実施し、マルチモーダル推論の精度を向上させる。
数学的推論とコード推論GRPO/GSPOなどのアルゴリズムを用いて、大規模モデルの数学的問題解決（DAPO-Math）、論理的推論、およびコード生成能力を強化する。
MoEモデルの効率的なトレーニングQwen3-30B-A3BなどのMoEアーキテクチャ向けに、低コストのR3リプレイトレーニングをサポートし、ルーティングエラーと計算オーバーヘッドを削減します。