Step-R1-V-Mini - Step-R1の最新マルチモーダル推論モデル

Step-R1-V-Miniとは何ですか？

Step-R1-V-Miniは、StepStarの最新のマルチモーダル推論モデルです。画像とテキストの入力およびテキストの出力に対応し、優れた指示適合性と汎用性を備え、画像を正確に認識して複雑な推論タスクを完了できます。このモデルは視覚推論に優れており、数学、コード、テキスト推論においてもトップクラスの性能を発揮します。マルチモーダル結合強化学習を採用し、PPO戦略に基づいた画像空間における検証可能な報酬メカニズムを導入することで、汎化性能と堅牢性を向上させています。マルチモーダル合成データを用いたトレーニングにより、トレーニングにおけるシーソー問題を効果的に解決します。

Step-R1-V-Miniの主な機能

• マルチモーダル入力と出力画像とテキストの入出力に対応し、画像とテキスト情報を処理し、推論結果をテキスト形式で出力することができ、コマンドへの適合性と汎用性に優れています。
• 高精度画像認識および推論このシステムは、高精度で画像を認識し、画像から特定の場所を特定したり、食品画像を分析して詳細なレシピを生成したりといった複雑な推論タスクを実行できます。MathVisionの視覚推論ランキングでは、中国国内で1位を獲得しています。
• 数学の問題を解く論理的な思考プロセスを構築し、オリンピック数学問題や幾何学問題を含む複雑な数学問題を段階的に計画・解決することができる。
• 論理的推論分析さまざまな問題解決手法をそれぞれ独自に試してみて、すべての優れた解決策が網羅されているか自問自答し、論文を提出する前に漏れがないか確認してください。
• 複雑なアルゴリズム問題の解決策LeetCodeプラットフォームで「難しい」と評価されているアルゴリズム問題を正しく解くことができる。
• コードロジックの構築段階的に、ユーザーのニーズと意図を分析し、コードロジックを構築し、コード記述中に現在のコードスニペットの分析と検証を織り交ぜます。
• 創作ユーザーの表現ニーズを深く理解し、創作テーマや文学的主題の要求を分析し、人間の感情レベルで物事に象徴的な意味を与え、個性的で革新的な表現スタイルを増やす。

Step-R1-V-Miniの技術原理

• マルチモーダルな共同強化学習Step-R1-V-Miniは、近接方策最適化（PPO）方策に基づく強化学習手法です。PPOは、オンラインでサンプルを生成することでモデルをリアルタイムに更新するオンポリシーアルゴリズムです。画像空間において、このモデルは検証可能な報酬メカニズムを導入することで、相関関係や因果関係の推論エラーを引き起こしやすい、画像空間における複雑な推論リンクに対処します。直接選好最適化（DPO）などの従来の手法と比較して、PPOは画像空間における複雑なリンクを扱う際に、より汎用性と堅牢性に優れています。
• 高品質なマルチモーダルデータ合成マルチモーダルデータのフィードバック信号を取得することは比較的困難であるため、Step-R1-V-Miniは環境フィードバックに基づいて多数のマルチモーダルデータ合成リンクを設計しています。スケーラブルなマルチモーダル推論データを合成し、それをPPOベースの強化学習トレーニングと組み合わせることで、モデルはテキスト推論能力と視覚推論能力を同時に向上させることができます。これにより、異なるモーダル能力が正反対の方向に急激に上昇したり下降したりする、トレーニングにおける「シーソー」問題を効果的に回避できます。
• コールドスタートと多段階強化学習Step-R1-V-Miniの学習プロセスには、コールドスタートと多段階強化学習が含まれます。まず、ベースモデルを高品質のコールドスタートデータ（CoTデータなど）を用いて微調整し、初期モデルを取得します。次に、このモデルに対して大規模な強化学習を行い、推論能力を発揮できるようにします。続いて、学習済みモデルを用いて高品質のSFTデータを生成し、他のドメインのデータと混合して、再度SFT学習を行います。最後に、すべてのドメインのデータを用いて最終強化学習を行い、最終モデルを取得します。

Step-R1-V-Mini の使い方

• ステップAIウェブページにアクセスStep-R1-V-MiniがStep AIで正式に利用可能になりました。公式ウェブサイトにアクセスして、推論タスク用のモデルを直接選択できます。
• APIインターフェースの呼び出し開発者や企業ユーザー向けに、Step-R1-V-MiniはStep-R1 Starry Skyオープンプラットフォーム上でAPIインターフェースを提供します。詳細なAPIドキュメントと呼び出し方法は、Step-R1 Starry Skyオープンプラットフォームにアクセスすることで入手できます。
• 視覚的推論ユーザーは画像をアップロードし、関連する質問を入力できます。このモデルは画像を高精度で認識し、画像内の位置特定、物体の数の計算、レシピの認識など、複雑な推論タスクを実行できます。
• 数学的および論理的推論数学の問題や論理的推論問題を入力すると、モデルは合理的な推論過程を構築し、段階的に問題を解決します。

Step-R1-V-Miniの応用事例

• 画像認識と分析このモデルは、高精度で画像を認識し、複雑な推論タスクを実行できます。画像内の要素を迅速に識別し、色や物体などの情報を組み合わせ、場所がウェンブリー・スタジアムであることを総合的に判断することで、試合における両チームに関する情報を提供します。
• オブジェクト数の計算形状、色、位置が異なるオブジェクトを含む図を入力してください。モデルは各オブジェクトを識別し、論理推論を実行して残りのオブジェクトの数を決定します。
• レシピ認識食品の写真を入力すると、モデルは料理とつけだれを正確に識別し、必要な量を具体的にリストアップします。
• マルチモーダルデータ融合テキストと画像を含むマルチモーダルデータを処理し、包括的な推論結果を生成できる。
• 異種感覚推論画像を形式的なテキスト記述に変換することで、言語モデルは画像を正確に処理し、それについて推論することが可能になる。