ニュース
Antminer Lingは、Ling-3.0 tinyとFlash用の6つの基本的なチェックポイントをオープンソース化しました。
Ant FinancialのオープンソースLingであるLing-3.0-tinyとLing-3.0-flashには、事前学習、中間学習、WSMマージ段階を網羅する6つの基本的なモデルチェックポイントがありますが、事後学習は行われていません。
Ant Lingチームは、Ling-3.0-tinyおよびLing-3.0-flash向けの6つの基本モデルチェックポイントをオープンソース化しました。
これらのチェックポイントは、事前学習済み、中間学習済み、およびWSMマージ済みのフェーズを網羅しており、いずれも事後学習は含まれません。これらは、継続的な事前学習、微調整、および学習戦略の研究の出発点として機能します。研究チームは、WSMが学習率の減衰を重み付きチェックポイントマージに置き換えることで、研究者がまず小さなバージョンで戦略を検証し、その後フラッシュ版に拡張できると述べています。
ソース：アントリン発表。