project
GENERator - Alibaba AI for Scienceチームなどが開発した生成型DNAモデル。
GENERatorは、Alibaba CloudのApsara LabのAI for Scienceチームが開発した生成型ゲノムモデルで、DNA配列の設計と生成に重点を置いています。このモデルはTransformerデコーダーアーキテクチャに基づいており、98kの…
発電機とは何ですか？
GENERatorは、アリババクラウドのApsara LabにあるAI for Scienceチームが開発した、DNA配列の設計と生成に特化した生成型ゲノムモデルです。Transformerデコーダーアーキテクチャをベースとし、98,000塩基対のコンテキスト長と12億個のパラメータを備え、3,860億塩基対に及ぶ真核生物DNAのトレーニングデータを使用しています。複数のベンチマークテストで優れた性能を発揮し、天然のタンパク質ファミリー構造に類似したDNA配列を生成するとともに、プロモーター設計などのタスクにおいて最適化の可能性を示しています。
GENERatorの主な機能
- DNA配列生成GENERatorは、既知のファミリータンパク質と類似した構造を持つタンパク質をコードする、生物学的に重要なDNA配列を生成することができる。ヒストンおよびシトクロムP450ファミリーの新規変異体を生成することにも成功している。
- プロモーターデザインGENERatorは、微調整を行うことで、遺伝子発現を制御するための特定の活性を持つプロモーター配列を設計できます。実験結果によると、生成されたプロモーター配列は天然のサンプルとは活性が大きく異なり、遺伝子発現制御において大きな可能性を秘めていることが示されています。
- ゲノム解析とアノテーション遺伝子分類や分類学的タスクにおいて、GENERatorは非常に優れた性能を発揮し、遺伝子の位置を効率的に特定し、遺伝子の機能を予測し、遺伝子構造に注釈を付けます。
- 配列最適化GENERatorは配列最適化において大きな可能性を示しており、指示に基づいて特定の活性を持つDNA配列を生成することで、合成生物学や遺伝子工学のための新しいツールを提供している。
発電機の技術原理
- トランスフォーマーデコーダアーキテクチャGENERatorはTransformerデコーダーアーキテクチャを採用し、マルチヘッド自己注意機構とフィードフォワードニューラルネットワークによって効率的なシーケンスモデリングを実現しています。このデコーダーは長いシーケンスを処理でき、生成プロセス中に将来の情報を見ることを回避し、生成されたシーケンスが生物学的論理に適合することを保証します。
- 超長期コンテキストモデリングこのモデルは98,000塩基対のコンテキスト長を持ち、複雑な遺伝子構造を扱うことができます。また、長い配列を生成する際にも、一貫性と生物学的意義を維持します。
- 6mer単語分割器GENERatorは、6-merセグメンテーションを用いてDNA配列を6ヌクレオチド断片に分割します。配列解像度とコンテキストカバレッジのバランスが取れており、生成タスクにおいて単一ヌクレオチドセグメンテーションやBPEセグメンテーションよりも優れた性能を発揮します。
- 事前トレーニング戦略このモデルは、3860億塩基対の真核生物DNAを含む大規模データセットで事前学習されました。事前学習タスクでは、次のヌクレオチドを予測することでDNA配列の意味を学習する次トークン予測（NTP）が用いられました。
- 下流タスクの適応GENERatorは、遺伝子分類、分類群分類、プロモーター設計など、複数の下流タスクにおいて優れた性能を発揮します。モデルを微調整することで、特定の活性を持つプロモーター配列を生成することができ、強力な遺伝子発現制御能力を示します。
- 生物学的検証モデルによって生成されたDNA配列は、天然のタンパク質ファミリーの構造に類似したタンパク質をコードしている。生成された配列の生物学的意義は、Progen2を用いて生成された配列のパープレキシティ（PPL）を計算し、AlphaFold3を用いてそれらの三次元構造を予測することによって検証された。
GENERatorのプロジェクトアドレス
- プロジェクト公式サイト：https://generteam.github.io/
- GitHubリポジトリ：https://github.com/GenerTeam/GENERator
- ハギングフェイスモデルライブラリ：https://huggingface.co/GenerTeam
- arXiv技術論文：https://arxiv.org/pdf/2502.07272
GENERatorの応用シナリオ
- DNA配列の設計と最適化GENERatorは、タンパク質ファミリーのカスタマイズなどに用いられるような、生物学的に意味のあるDNA配列を生成できます。また、ヒストンやシトクロムP450ファミリーの変異体など、天然のタンパク質ファミリーに類似した構造を持つDNA配列を生成することも可能です。
- ゲノム解析とアノテーションゲノム研究において、GENERatorは遺伝子の位置を効率的に特定し、遺伝子の機能を予測し、遺伝子構造に注釈を付けることができます。
- 合成生物学と遺伝子工学GENERatorは、プロモーターやエンハンサーなどの遺伝子発現制御要素の設計と最適化のための革新的なツールを提供します。合成生物学や遺伝子工学において、重要な応用が期待されます。
- 精密医療と創薬GENERatorは、特定の疾患に関連する遺伝子配列を生成することで、精密医療や創薬を支援することができます。遺伝子治療のための標的配列の設計にも利用可能です。
- バイオテクノロジーにおける配列最適化GENERatorは、指示に基づいて特定の機能を持つDNA配列を生成することができ、バイオテクノロジーにおける配列最適化の新たな可能性を提供する。