Coral NPU - Googleのフルスタック・オープンソースAIプラットフォーム

Coral NPUとは何ですか？

Coral NPUは、スマートウォッチやARグラスなどの低消費電力エッジデバイス向けに設計された、Googleのフルスタック・オープンソースAIプラットフォームです。パフォーマンス、断片化、プライバシーという3つの主要な課題に対応しています。RISC-V命令セットをベースとするCoral NPUは、スカラーコア、ベクトル実行ユニット、マトリックス実行ユニットを備え、機械学習推論タスクを効率的にサポートします。Coral NPUは、統一された開発者エクスペリエンスを提供し、TensorFlow、JAX、PyTorchなどのフレームワークをサポートするとともに、ハードウェアによるセキュリティでユーザーのプライバシーを保護します。Coral NPUは、バッテリー消費を最小限に抑えながら、終日AIを利用できる環境を実現することを目指しています。

Coral NPUの主な機能

• 高効率機械学習推論Coral NPUは、低消費電力のエッジデバイス向けに設計されたニューラルプロセッシングユニット（NPU）であり、機械学習（ML）モデルの推論タスクを効率的に実行できます。画像分類、人物検出、姿勢推定、Transformerなど、さまざまなMLアプリケーションをサポートしています。
• 超低消費電力動作ハードウェアアーキテクチャを最適化することで、極めて低い消費電力（わずか数ミリワット）で動作させることが可能になり、ウェアラブルデバイス、スマートウォッチ、IoT（モノのインターネット）デバイスにおける全天候型AI機能の実現に適している。
• 統合された開発者エクスペリエンスTensorFlow、JAX、PyTorchといった主要な機械学習フレームワークをサポートする、包括的なソフトウェアツールチェーンを提供します。IREEやTFLMなどのコンパイラを通じて、モデルをコンパクトなバイナリに最適化し、エッジデバイス上で効率的に実行できるようにします。
• ハードウェアによるプライバシー保護CHERIテクノロジーなどのハードウェアレベルのセキュリティメカニズムをサポートしており、機密性の高いAIモデルや個人データをハードウェアで強制されたサンドボックス内に隔離することで、ユーザーのプライバシーを保護できます。
• カスタマイズ可能なアーキテクチャCoral NPUはRISC-V命令セットをベースとしており、開発者が特定のニーズに合わせてカスタマイズや最適化を行える、オープンで拡張性の高いアーキテクチャを提供します。

コーラルNPUの技術原理

• AI優先のハードウェア設計AI中心のハードウェアアーキテクチャに基づき、行列演算エンジンは最適化を優先的に行うように設計されています。行列演算は、深層学習において計算負荷の高い一般的なタスクです。スカラー計算のオーバーヘッドを削減することで、より多くのリソースをAIタスクに割り当てることができ、効率的な推論が可能になります。
• RISC-V命令セットCoral NPUは、オープンソースのRISC-V命令セットアーキテクチャに基づいており、32ビットのアドレス空間と、整数演算、浮動小数点演算、ベクトル演算などの様々な拡張機能をサポートしています。RISC-Vのオープン性と拡張性により、Coral NPUは様々なアプリケーションシナリオに合わせてカスタマイズ可能です。
• 複数の要素が連携した共同作業：
  • スカラーコアこれはバックエンドコアへのデータフローを管理し、低消費電力の従来型CPU機能を可能にする。
  • ベクトル実行ユニットSIMD（単一命令複数データ）演算をサポートしており、大規模データセットの効率的な処理を可能にします。
  • マトリックス実行ユニットニューラルネットワーク演算を高速化するために設計された、高性能な量子化外部積乗算累積（MAC）エンジン。
• コンパイラツールチェーンモデル開発からデバイス展開まで、包括的なツールチェーンを提供します。TensorFlowやJAXなどのフレームワークからMLIR中間表現を介してモデルを最適化し、IREEコンパイラを介してハードウェアに最適化されたバイナリを生成することをサポートします。
• ハードウェアセキュリティメカニズムハードウェアによるセキュリティ技術であるCHERIをサポートしており、CHERIは、きめ細かなメモリレベルのセキュリティとソフトウェアによるパーティショニングを通じて、機密データとモデルをハードウェアサンドボックス内に隔離し、メモリ攻撃を防止し、ユーザーのプライバシーを保護します。

コーラルNPUプロジェクトの住所

• プロジェクト公式サイト：https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/
• GitHubリポジトリ：https://github.com/google-coral/coralnpu

Coral NPUの応用シナリオ

• 状況認識ユーザーの行動（歩行、走行など）、距離、環境（屋内／屋外、移動など）を検知し、「おやすみモード」などの状況に応じた機能を有効にすることで、よりインテリジェントなインタラクティブ体験をユーザーに提供します。
• 音声処理音声・音検出、キーワード認識、リアルタイム翻訳、文字起こし、音声ベースのアクセシビリティ機能をサポートし、デバイスの音声対話機能を強化します。
• 画像処理これにより、人物や物体の検出、顔認識、ジェスチャー認識、低消費電力の視覚検索が可能になり、デバイスが視覚的に環境をよりインテリジェントに認識できるようになります。
• ユーザーインタラクションジェスチャー、音声プロンプト、またはその他のセンサーによる入力を介したデバイス制御は、ユーザーにより自然で便利な操作方法を提供する。