インターンシップS1 - 上海AIラボが立ち上げた科学的なマルチモーダル大規模モデル - AiBoss

インターンシップS1とは何ですか？

上海人工知能研究所が世界人工知能会議で正式にオープンソース化したIntern-S1は、言語とマルチモーダル性能を統合した大規模な科学マルチモーダルモデルです。高度でバランスの取れた開発能力と豊富な学際的専門知識を誇り、科学分野で優れた性能を発揮します。Intern-S1は、化学式、タンパク質構造、地震波信号などの複雑な科学モーダルデータを正確に解釈できる「クロスモーダル科学分析エンジン」の先駆けとなりました。化合物の合成経路を予測し、化学反応の実現可能性を評価できます。学際的な専門タスクベンチマークにおいて、トップレベルのクローズドソースモデルを凌駕し、優れた科学的推論能力と理解能力を示します。Intern-S1は、動的トークナイザーと時間信号エンコーダーを介して複数の科学モダリティを深く統合し、汎用的かつ特化した統合科学データ合成手法を採用することで、強力な汎用推論能力と複数のトップレベルの専門能力を備えています。

Intern-S1の主な機能

異種モダリティ科学分析
- 化学化学分子式を正確に解釈し、化合物の合成経路を予測し、化学反応の実現可能性を判断することができる。
- 生物医学分野タンパク質配列を解析することができ、創薬標的の発見や臨床応用価値の評価に役立つ。
- 地球科学地震波信号を識別し、地震波現象を分析し、地震研究を支援することができる。
言語と視覚の統合これは、言語情報と視覚情報を組み合わせて、テキストベースの質問応答や科学現象の説明といった複雑なマルチモーダルタスクを実行する。
科学データ処理材料科学における光度曲線や天文学における重力波信号など、さまざまな複雑な科学的モードデータの入力に対応しています。
科学的な質問への回答入力された科学的な質問に基づき、強力な知識ベースと推論能力を組み合わせることで、正確な回答を提供することができます。
実験計画と最適化これは、研究者が実験計画を立案し、実験手順を最適化し、研究効率を向上させるのに役立ちます。
マルチエージェントコラボレーションマルチエージェントシステムをサポートしており、他のエージェントと連携して複雑な科学研究タスクを完了できる。
自律的な学習と進化それは一定の自己学習能力を備えており、環境との相互作用を通じて自身の性能を継続的に最適化することができる。
データ処理と分析研究者が科学データを迅速に処理・分析できるよう、データ処理・分析ツールを提供する。
モデルの展開と適用ローカル環境への展開やクラウドサービスなど、複数の展開方法に対応しているため、研究者はさまざまな状況で便利に利用できます。

インターンシップS1 技術原理

革新的なマルチモーダル建築Intern-S1は、動的トークナイザーと時系列信号エンコーダーを追加することで、化学式、タンパク質配列、光度曲線、重力波信号、地震波形など、さまざまな複雑な科学モデルデータに対応しています。この革新により、科学モデルデータのより深い理解と効率的な処理が可能になります。例えば、化学式の圧縮率はDeepSeek-R1よりも70%以上向上しています。
大規模な科学的事前訓練このモデルは、2350億個のパラメータを持つMoE言語モデルと60億個のパラメータを持つビジュアルエンコーダを基盤として構築されており、5兆個のトークンを含むマルチモーダルデータで事前学習されています。このデータのうち、2.5兆個以上のトークンは科学分野からのものです。これにより、このモデルは汎用的な機能と専門的な科学分野の両方で優れた性能を発揮し、化学構造の解釈やタンパク質配列の理解といった専門的なタスクにおいて卓越したパフォーマンスを示します。
共同最適化システムとアルゴリズムインターンシップS1の研究開発チームは、大規模マルチモーダルMoEモデルの効率的かつ安定した強化学習トレーニングをFP8精度で実現し、最近リリースされたMoEモデルと比較してトレーニングコストを10分の1に削減しました。システムレベルでは、トレーニングと推論を分離する強化学習スキームを採用し、独自開発の推論エンジンを用いてFP8精度での効率的な大規模非同期推論を実現しました。アルゴリズムレベルでは、複数の報酬信号とフィードバック信号を統合してトレーニング効率と安定性を向上させる混合報酬学習アルゴリズムを提案しました。
一般知識と専門知識を統合した科学データの合成科学分野における高付加価値タスクの特殊なニーズに対応するため、Intern-S1は、汎用データと専門データを統合するハイブリッドアプローチを採用した科学データ合成システムです。一方では、膨大な量の汎用科学データを活用してモデルの知識ベースを拡張し、他方では、専門モデルを通じて読みやすい科学データを生成し、ドメイン固有の検証エージェントによる品質管理を行います。

インターンシップS1プロジェクトの住所

プロジェクト公式サイト学者モデル
GitHubリポジトリ：https://github.com/InternLM/Intern-S1
ハギングフェイスモデルライブラリ：https://huggingface.co/internlm/Intern-S1-FP8

Intern-S1の応用シナリオ

画像とテキストの融合Intern-S1は、画像の内容を説明したり、画像内の科学現象を解説したりするなど、画像とテキストを融合するタスクを処理できます。
複雑な科学的モーダルデータ処理本システムは、材料科学における光度曲線や天文学における重力波信号など、様々な複雑な科学的モードデータの入力に対応し、これらのデータの深層融合と効率的な処理を可能にする。
科学研究ツールの統合Intern-S1は研究ツールに統合することができ、研究者が科学データを迅速に処理・分析するのに役立ちます。
科学的な質問への回答インテリジェントアシスタントであるIntern-S1は、その強力な知識ベースと推論能力に基づいて、様々な科学的な質問に答えることができます。