ニュース
Perplexity オープンソース Lily ローカル推論サーバー
Perplexity社は、Apple Silicon向けの軽量Metal推論サーバーであるLilyをオープンソース化しました。現在の実装では、Qwen3.6-35B-A3B向けのMLX 4ビット重みのみをサポートし、OpenAI Chat Completions互換の簡略化されたインターフェースを提供します。
Perplexityは、最新のApple Silicon搭載デバイス上で特定のQwenモデルを実行することを目的として、Lilyローカル推論サーバーをオープンソース化した。
現在のバージョンは、Qwen3.6-35B-A3B 用の MLX アフィン 4 ビット重みのみをサポートし、簡略化された OpenAI Chat Completions インターフェースを提供し、貪欲デコードを使用しています。このプロジェクトには、M5 以降の Apple GPU、macOS 26、および Rust 1.92 が必要です。
Lilyは汎用的なモデル実行フレームワークではありません。GGUF、AWQ、GPTQ、int8、fp8、ツール呼び出し、ストリーミング応答、マルチモーダル入力は明示的にサポートしていません。その厳密な制約により、特定のモデルとハードウェアの組み合わせに対する実験的なエンジニアリング実装としてより適しています。