ニュース
人間工学研究：自動化された研究エージェントは、10種類のモデルにおけるアライメントの失敗を軽減できる
Anthropic社は、Claudeが10種類の事前定義されたクラスにおけるアライメントの失敗を軽減するためのトレーニング後処理スキームを自動的に設計できることを示す初期実験結果を公表した。また、一部の手法は未知のテストやより大規模なモデルにも一般化できるという。
Anthropic社は、Claude氏が設計したトレーニング後の手法を用いて、10種類の事前定義済みモデルにおけるアライメントの失敗を軽減する自動アライメントに関する研究を発表した。最適なアプローチは、目標とするベンチマークを向上させ、これまで見たことのないベンチマークやモデルに対しても、最大で約4.7倍の汎化性能を示す。
ある実験では、Sonnet 5が初期のOpus 4.8のチェックポイントを約60時間で処理しましたが、この研究は10件のデフォルト失敗のみを対象とし、代替指標と制御された環境に依存していたため、一般的なモデルアライメントの問題が解決されたと結論付けることはできません。