Xiaohongshuは、マルチモーダルで大規模なモデルのパイプライン並列学習フレームワークであるBigMacをオープンソース化した。

XiaohongshuのDots Infraチームは、マルチモーダル大規模モデルトレーニングフレームワークであるBigMacをオープンソース化しました。計算効率とメモリ使用量のバランスを取るという課題に対応するため、BigMacはLLMパイプラインをバックボーンとしてエンコーダーとジェネレーターの計算を順次埋め込む、セキュアなネスト型パイプライン設計を提案しています。実験結果によると、トレーニング速度はベースラインよりも1.08～1.9倍速く、メモリ使用量も安定しています。現在、Dotsシリーズモデルの運用トレーニングに使用されています。