NVIDIAのオープンソースNemotron-Labs-TwoTower拡散言語モデル

NVIDIAは、事前学習済みの自己回帰バックボーンに基づく離散拡散言語モデルであるNemotron-Labs-TwoTowerをオープンソース化しました。このモデルは、大規模モデルにおけるトークン生成速度のボトルネックを解消します。モデルは合計60バイトのパラメータを持ち、30バイトの自己回帰コンテキストタワーと30バイトの拡散ノイズ除去タワーからなるデュアルタワーアーキテクチャを採用しており、各タワーは3バイトのパラメータをアクティブ化します。コンテキストタワーは自己回帰コンテキストを固定し、ノイズ除去タワーはノイズ除去を処理します。この2つのタワーは、レイヤーごとのクロスアテンションによって連携します。