AB
AB
AiBoss

すべてのカテゴリ

project

FeyNoBg - Feyn Labsのオープンソース自動背景除去モデル

FeyNoBgは、Feyn Labsが開発したオープンソースの自動背景除去モデルです。BiRefNetアーキテクチャをベースに大幅な改良が加えられており、2億6300万個のパラメータを誇ります。このモデルは、UHRSD-TEやHRSOD-TEを含む8つのベンチマークテストのうち4つで優れた結果を達成しました。

FeyNoBgとは何ですか？

FeyNoBgは、Feyn Labsが開発したオープンソースの自動背景除去モデルです。2億6300万個のパラメータを持つBiRefNetアーキテクチャを大幅に改良したバージョンです。このモデルは、UHRSD-TEやHRSOD-TEを含む8つのベンチマークテストのうち4つで最先端（SOTA）の結果を達成し、残りの4つの結果も最高値の2%以内に収まっています。また、チームはNoBg Pythonライブラリをオープンソース化し、モデルの実行とトレーニングのための統一インターフェースを提供するとともに、Hugging Faceエコシステムをサポートし、Apache 2.0ライセンスを使用しています。

FeyNoBgの主な機能

  • 高精度背景除去画像の前景を自動的に識別し、アルファマスクを生成します。髪の毛や細い線などの複雑なエッジにも対応しています。
  • 超高解像度対応UHRSD-TEのベンチマーク性能は、4Kおよび8Kのシナリオにおいてトップレベルです。
  • 画像と動画の切り抜き単一画像、バッチ画像、およびビデオフレームシーケンスの背景除去をサポートします。
  • オープンソースで学習可能NoBgライブラリは、カスタムデータセットでの微調整を可能にし、損失関数の置換や解像度の調整をサポートします。
  • ハグフェイス統合機種とプロセッサはどちらも互換性があります。 transformers このエコシステムは、ワンクリックダウンロードとプッシュ通知に対応しています。

FeyNoBgの技術原則

  • BiRefNetデュアルモジュールアーキテクチャ位置特定モジュールは前景認識を担当し、再構成モジュールは境界追跡を担当します。この2つのモジュールは互いに補完し合い、連携して動作します。
  • フェーズ3 深層拡張特徴抽出器の第3段階は、18ブロックから24ブロックに拡張され、パラメータ数は2億2200万から2億6300万に増加しました。元の事前学習済み重みは保持され、知識忘却を避けるために、新しく追加されたブロックのみがゼロから学習されました。
  • 多様なデータの組み合わせこのデータセットは、混雑したシーン、カモフラージュ、高解像度、ポートレート、アニメーションなど、10種類のデータセットから26,100枚の画像を統合しており、単一のデータが支配的になるのを防ぐため、ソースごとに最大4,000枚の画像を使用しています。
  • 標準化された注釈フォーマットセグメンテーションデータセットの前景マスクとマッティングデータセットのアルファチャンネルは、トレーニング目標の一貫性を確保するために、一律にバイナリ前景マスクに変換されます。
  • S測定評価0～1の範囲のS値指標は、被写体の完全性と形状の忠実性の両方を同時に評価します。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

FeyNoBgの使い方

  • インストール環境：合格 pip install nobg ライブラリをインストールし、Python ≥ 3.10 および torch ≥ 2.0 の環境が準備できていることを確認してください。
  • モデル：使用 AutoModel.from_pretrained("feyninc/FeyNobg") Hugging Faceから事前学習済みの重みをダウンロードして読み込みます。
  • ロードプロセッサ：使用 AutoProcessor.from_pretrained("feyninc/FeyNobg") 画像前処理モジュールを初期化します。
  • 読書画像入力がモデルの要件を満たすように、対象画像をRGB形式に変換してください。
  • 前処理プロセッサが呼び出され、画像のサイズ変更と正規化が行われ、モデルに必要なテンソル入力が生成されます。
  • モデル推論：存在する torch.inference_mode() 次に、pixel_valuesをモデルに渡して、背景除去後の生の出力を取得します。
  • 後処理マスク：使用 post_process_alpha_matting モデルの出力は、元の画像サイズのアルファマスクとして復元されます。
  • 結果： 電話 cutout この方法は、元の画像の前景とアルファマスクを組み合わせ、透明なPNGファイルとして保存します。

FeyNoBgの主な利点

  • 最先端性能8つのベンチマークのうち4つでトップの成績を収め、超高解像度環境において顕著な優位性を示している。
  • 知識保持トレーニングネットワークの深さを拡張する際には、壊滅的な忘却を避けるために、元の重みを保持してください。
  • エンジニアリング最適化NoBgライブラリは、バッチサイズ1/2/4において、オリジナルのBiRefNet実装よりも優れた性能を発揮し、より高いスループット、より低いレイテンシ、そしてより少ないメモリ使用量を実現します。
  • 環境に優しいハグフェイスとの深い統合 transformersトレーナー、ハブプッシュ、および半精度推論をサポートしています。

FeyNoBgのプロジェクトアドレス

  • プロジェクト公式サイト：https://usefeyn.com/blog/feynobg/
  • GitHubリポジトリ：https://github.com/feyninc/nobg
  • ハギングフェイスモデルライブラリ：https://huggingface.co/feyninc/FeyNobg

FeyNoBgの応用シナリオ

  • Eコマース商品の画像処理FeyNoBgは、商品の背景を一括で削除し、透明なベース画像を生成できます。生成された画像は、ECプラットフォームでの商品掲載や表示に直接使用できます。
  • 広告およびマーケティングデザインデザイナーはFeyNoBgを使用して、人物や製品の被写体をすばやく抽出し、新しい背景に合成してプロモーションポスターを作成できます。
  • 映画やテレビにおけるポストプロダクションのクロマキー合成FeyNoBgは、4Kおよび8Kビデオフレームの高精度な背景除去をサポートしており、従来のグリーンスクリーン撮影やポストプロダクションでのキーイング処理に取って代わるものです。
  • 証明写真のレタッチユーザーはFeyNoBgを使用して、複雑な背景から人物を自動的に分離したり、背景色を変更したり、髪の毛などのエッジのディテールを最適化したりできます。
  • AIトレーニングデータ生成FeyNoBgは、画像合成や生成モデルなどの下流タスク向けに、高品質な前景マスク注釈データをバッチ処理で生成できます。
戻る