ComAct - 上海AIラボなどが、ソフトウェア自動化のための研究パラダイムを発表。 - AiBoss

ComActとは何ですか？

ComAct（COM-as-Action）は、Jiaxin Aiらが提唱した、プロフェッショナルなソフトウェア操作の自動化を再定義する研究パラダイムです。このパラダイムは、Windowsのコンポーネントオブジェクトモデル（COM）を統一された実行可能な抽象化として認識し、プロフェッショナルなソフトウェア操作を、脆弱で逐次的な視覚的制御から決定論的なプログラム合成へと変革します。これにより、長期タスクにおけるGUIベースのエージェントのエラー蓄積問題や、プロトコルの多様性とクローズドソースのインターフェースに起因するAPIベースの手法の限界に対処します。

ComActの主な機能

COMをアクションとして捉えるパラダイムシフトこれは、Windows COMインターフェイスを統一された実行可能抽象化として利用し、ソフトウェアの内部構造化プログラミングインターフェイスを直接呼び出すことで、脆弱な逐次的な視覚的制御（GUI）から決定論的なプログラム構成へと、プロフェッショナルなソフトウェア操作を変革します。
ComCADBenchベンチマーク本研究は、実際の産業用CADソフトウェアを操作するインテリジェントエージェントを評価するための初のベンチマークを確立するものであり、SolidWorks、Inventor、AutoCADという3つの主要プラットフォームと、3Dモデリング、2Dスケッチ、アセンブリ、エンジニアリング図面作成を含む7つのエンジニアリング活動を網羅する1,000のタスクで構成されている。
ComActor自己較正エージェントこのシステムは、テキストからコードへの教師あり微調整（SFT）、複数ラウンドのインタラクション軌跡に基づくエージェントSFT、および連続的な幾何報酬に基づくGRPO強化学習という3段階の段階的なトレーニングフレームワークを採用しています。これにより、エージェントはCOMスクリプトを生成し、端末からのフィードバックを読み取り、失敗したステップを診断して書き換えることができます。
ComForge スケーラブルトレーニングプラットフォーム1,000以上のDocker化されたWindows環境の同時ホスティングをサポートし、実際のCADソフトウェアがプリインストールされており、さらに... code_execute(COMスクリプト)gui_action（マウス/キーボード） reset 3種類の動作タイプにより、大規模な並列トレーニングと評価が可能になります。
アプリケーション間ワークフロー統合COMは、統一されたセマンティックプログラミングインターフェースとして、さまざまなプロフェッショナルソフトウェア（Microsoft Office、Adobeスイート、産業用CADなど）間での共同作業や複雑なワークフローのオーケストレーションを自然にサポートします。
長距離タスクの堅牢な実行数百ものエラーが発生しやすい一連のGUI操作を単一の決定論的なスクリプトに置き換えることで、長期的なエラーの蓄積を解消し、長期的なマルチタスクパイプラインにおいて80%を超えるエンドツーエンドの成功率を維持し、従来のGUIベースのエージェントを大幅に上回る性能を発揮します。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

ComActの技術原則

COMをアクションとして捉えるパラダイムシフトこれは、Windowsコンポーネントオブジェクトモデル（COM）を統一された実行可能な抽象化として認識し、脆弱な逐次的な視覚的制御（GUI）から、構造化されたプログラミングインターフェイスを介して内部ソフトウェア関数を直接呼び出す決定論的なプログラム構成へと、プロフェッショナルなソフトウェアのインタラクションを再定義します。
検証済みの手順 - データ構築のためのコード検証済みの命令-COMコードコーパスは、特殊なデータ構築プロセスを通じて合成され、構文レベルおよび意味レベルでのトレーニングデータの正確性を保証し、教師あり微調整のための高品質な基盤を提供する。
3段階の段階的トレーニングフレームワーク：
- フェーズ1（テキストからコードへの変換SFT）検証コーパスに対して教師ありファインチューニングを実行することで、モデルが構文的に有効なCOMスクリプトを生成することを学習できるようにします。
- フェーズ2（エージェントSFT）複数ラウンドのインタラクション軌跡と画面スクリーンショット／端末フィードバックに基づいた反復的なデバッグとトレーニングにより、エージェントは実行エラーから回復する能力を持つことができる。
- フェーズ3（GRPO強化学習）この手法は、グループ相対ポリシー最適化と、面取り距離に基づく連続的な幾何学的報酬を組み合わせることで、タスクレベルの幾何学的忠実度を直接最適化し、「文法的には正しいが幾何学的に不適合」というギャップを埋めます。
自己修正実行ループCOMスクリプトを生成した後、エージェントはそれを実行し、端末から返されるトレースバックまたは実行結果を読み取り、エラーの原因を自律的に診断して失敗した手順を書き換え、「生成-実行-フィードバック-修正」の閉じたループを形成します。
ComForge スケーラブルインフラストラクチャDockerコンテナ上に構築されたトレーニングプラットフォームで、実際のCADソフトウェアがプリインストールされた1,000以上の環境を同時にホストし、... code_execute(COMスクリプト)gui_action（マウス/キーボード） reset 3種類の動作タイプにより、大規模な並列トレーニングと評価が可能になります。
アプリケーション全体にわたる統合アクションスペースCOMのセマンティックなオブジェクトレベルの性質を活用することで、さまざまなプロフェッショナルソフトウェア（SolidWorks、AutoCAD、Inventor、Microsoft Officeなど）の異種インターフェースを標準化された実行可能なアクションスペースに統合し、アプリケーション間のワークフローオーケストレーションを自然にサポートします。

ComActの使い方

環境準備（ComForge）対象となるプロフェッショナルソフトウェア（SolidWorks、AutoCAD、Inventorなど）がプリインストールされたDockerコンテナ環境をデプロイすると、ComForgeはトレーニングや評価のために1,000以上の並列インスタンスを同時にホストすることをサポートします。
タスクコマンド入力ComActorエージェントに自然言語コマンド（例：「角が丸い立方体を作成し、設計図を生成する」）を入力すると、エージェントはそれらを解析して対応するCOM操作ターゲットに変換します。
COMスクリプト生成ComActorは、3段階のトレーニング機能に基づいて、マウスのクリックをシミュレートするのではなく、ソフトウェアの内部オブジェクトモデルを直接操作するための、構文的に有効なCOMスクリプト（PythonからCOMインターフェースを呼び出すなど）を自動的に生成します。
実行とフィードバックループこのスクリプトはComForge環境で実行されます。エージェントは端末から返される実行結果またはエラーのトレースバックを読み取り、問題を自律的に診断して失敗した手順を書き換え、自己修正型の閉ループを形成します。
結果の検証と出力タスクが完了すると、エージェントは最終的に生成されたファイル（3Dモデルやエンジニアリング図面など）を出力し、面取り距離メカニズムを通じて幾何学的精度を検証します。
アプリケーション間ワークフローオーケストレーションCOM統合インターフェースを利用して複数のプロフェッショナルソフトウェアプログラムを接続し、複雑なパイプラインタスク（CADでのモデリング→エクスポート→Excelでの部品表生成など）を完了します。

ComActの公式ウェブサイトアドレス

プロジェクト公式サイト：https://knowledgexlab.github.io/ComAct/
GitHubリポジトリ：https://github.com/KnowledgeXLab/ComAct
arVivの技術論文：https://arxiv.org/pdf/2606.13239

ComActの主な利点

決定論的な手続き型合成が、脆弱な視覚制御に取って代わるこれにより、プロフェッショナルなソフトウェア操作は、ピクセル位置に依存する一連のGUI操作から、単一の決定論的なCOMスクリプトを生成するものへと変革され、長期的なエラーの蓄積を根本的に排除し、「一つのミスが別のミスにつながる」という従来のGUIベースのエージェントにおける連鎖的な障害を回避します。
異種インターフェース全体にわたる統一された実行可能な抽象化Windows COMを統一されたセマンティックプログラミングインターフェースとして活用し、SolidWorks、AutoCAD、Inventor、Microsoft Officeなどの様々なプロフェッショナルソフトウェアからの異種プロトコルを統合し、アプリケーション間の複雑なワークフローオーケストレーションを自然にサポートします。
クローズドソースソフトウェア向けのツール不足の問題を解決するCOMインターフェースは、アプリケーションの内部機能をセマンティックオブジェクトレベルで公開し、ソースコードが公開されていない商用ソフトウェアに対しても、高精度なローカルAPIレベルのアクセス機能を提供することで、APIベースの手法がアクセスできない商用インターフェースによって制限されるというボトルネックを克服します。
長距離タスクに対する優れた堅牢性長距離マルチタスクパイプラインの維持 エンドツーエンドの成功率は80%以上従来のGUIベースのベースラインモデルは、ComCADBench上で従来のGUIベースのモデルとほぼ同等のタスク成功率を達成している。 0%これは、長期的な計画立案と実行における並外れた回復力を示している。
自己修正機能と反復デバッグ機能Agentic SFTを使用してトレーニングされたこのエージェントは、「生成→実行→トレースバックの読み取り→診断→書き換え」という閉ループ機能を備えており、人間の介入なしにCOMスクリプトの実行エラーから自律的に回復することができます。
幾何学的忠実度を直接最適化するGRPO強化学習の第3段階では、チャンファー距離に基づく連続的な幾何学的報酬を導入することで、タスクレベルの幾何学的精度を直接最適化し、「文法的には正しいが幾何学的に不適合」という実行上のギャップを埋めます。

ComActの応用事例

産業用CAD自動設計SolidWorks、AutoCAD、Inventorなどの実際の産業用CADソフトウェアでは、自然言語による要求が自動的にCOMスクリプトに変換されて実行され、3Dモデリング、2Dスケッチ、アセンブリ設計、エンジニアリング図面の生成、品質特性分析、干渉検出など、エンジニアリング活動の全プロセスを網羅しています。
長距離マルチタスクパイプラインオーケストレーションこれは、概念設計→詳細部品設計→組立検証→エンジニアリング図面出力→部品表生成といった複雑な設計パイプラインのタスクを接続し、エラーが発生しやすい数百もの連続的なGUI操作を単一の決定論的なスクリプトに置き換えることで、エンドツーエンドの高い成功率を維持します。
アプリケーション間連携ワークフローCOM統合インターフェースを使用して、Microsoft Office（Excel、Word）、Adobeスイート、および産業用CADソフトウェアを統合し、「CADモデルの変更後にExcelの部品表を自動的に更新し、Wordの技術レポートを生成する」といったアプリケーション間の自動化を実現します。
設計検証および品質テスト干渉検出、幾何学的寸法検証、品質属性計算などの解析タスクを自動的に実行します。継続的な幾何学的報酬メカニズムにより、出力結果の幾何学的精度を確保し、エンジニアが設計上の矛盾を迅速に特定できるよう支援します。
パラメトリックバッチモデリング入力パラメータに基づいて標準化された部品／アセンブリをバッチ処理で生成または変更できるため、多数の反復的なモデリング作業（標準部品ライブラリの生成やシリーズ製品のバリエーション設計など）を必要とするシナリオに適しており、設計効率を大幅に向上させます。

すべてのカテゴリ