InftyThink - 浙江大学と北京大学が共同で立ち上げた無限深度推論パラダイム

InftyThinkとは何ですか？

InftyThinkは、従来のモデルが抱える長時間の推論タスクにおける限界を打破する、革新的な大規模モデル推論パラダイムです。セグメント化された反復アプローチを用いることで、複雑な推論プロセスを複数の短いセグメントに分割し、各セグメントの後に中間的な要約を生成することで、ブロックベースの思考を実現します。この「ジグザグ」型の記憶パターン（古い詳細を定期的に破棄し、新しい要約を保持する）により、計算の複雑さが効果的に軽減され、理論上無限に長い推論チェーンを処理できるようになります。

InftyThinkの技術原則

• 反復推論と定期的な要約InftyThinkは、従来の単一の連続的な推論プロセスを複数の短い推論セグメントに分割し、各セグメントの後に簡潔な要約を生成して、次の推論段階への文脈情報として提供します。これにより、人間が段階的に帰納的要約を行う認知プロセスをシミュレートし、文脈の一貫性を維持しながら無限に深い推論を実行できるため、文脈の長さや計算の複雑さといった従来の長時間の推論における限界を克服します。
• 固定された計算オーバーヘッドとコンテキストウィンドウInftyThinkは「ジグザグ」型のメモリ使用パターンを採用しており、短い推論ラウンドごとに前のラウンドのコンテキストをクリアし、サマリーのみを保持することで、推論時の計算量を大幅に削減しています。従来の推論手法と比較して、InftyThinkは推論深度と計算効率のバランスに優れています。
• 元のアーキテクチャから切り離され、トレーニングパラダイムとの互換性が非常に高いInftyThinkはモデル構造の調整に頼るのではなく、トレーニングデータを複数ラウンドの推論形式に再構築することでそのパラダイムを実現します。既存の事前学習済みモデル、ファインチューニング、強化学習プロセスとシームレスに統合できるため、高いエンジニアリング上の実現可能性を示しています。
• データ再構築技術を開発するInftyThinkは、既存の長文テキスト推論データセットを反復形式に変換する手法を開発しました。例えば、OpenR1-Mathデータセットは333,000個のトレーニングインスタンスに変換され、このパラダイムに基づくモデルトレーニングを容易にします。

InftyThinkの主な利点

• コンテキストウィンドウの制限を破るInftyThinkは、反復的な推論と中間的な要約を通じて、理論的には無限に長い推論チェーンを処理することができ、従来の大きなモデルコンテキストウィンドウの限界を克服します。
• コンピューティングコストを削減する従来の長文推論手法と比較して、InftyThinkは推論中の長文シーケンスの直接処理を削減し、計算コストを大幅に低減します。
• 推論性能を向上させる複雑な推論タスクにおいて、InftyThinkは長いシーケンス情報をより適切に処理することができ、推論の精度と生成のスループットを向上させます。

InftyThinkのプロジェクトアドレス

• プロジェクト公式サイト：https://zju-real.github.io/InftyThink/
• GitHubリポジトリ：https://github.com/ZJU-REAL/InftyThink
• arXiv技術論文：https://arxiv.org/pdf/2503.06692

InftyThinkの応用シナリオ

• 数学の問題を解くInftyThinkは、段階的な反復推論と中間的な要約を通して、複雑な数学的問題を段階的に解決することで、複雑な数学的問題を処理できます。
• 論理的推論長文の論理的推論を必要とするタスクにおいて、InftyThinkは推論の精度と効率を効果的に向上させることができます。
• コード生成コード生成タスクにおいて、InftyThinkは複雑なコードロジックを段階的に生成し、コードの一貫性と正確性を維持することができます。
• インテリジェントな個別指導インテリジェントな個別指導システムであるInftyThinkは、生徒の質問に基づいて詳細な回答と説明を段階的に提供することで、生徒が知識ポイントをよりよく理解し、習得できるよう支援します。
• 医薬品開発医薬品開発プロセスにおいて、InftyThinkは薬剤標的の3D構造と結合親和性を予測するために使用でき、開発プロセスを加速させることができます。