Databricks 宣布 Spark 声明式管道实时模式正式可用

核心事实

Databricks 于 10 月 29 日发布博客，宣布 Spark 声明式管道（Spark Declarative Pipelines，SDP）的实时模式（Real-Time Mode，RTM）正式可用（General Availability）。据该博客介绍，RTM 通过持续流式处理、并行运行所有查询阶段，并在数据产生后立即在阶段间传递，实现毫秒级的端到端处理延迟。启用方式为将管道设为 continuous 模式，并开启 spark.databricks.streaming.realTimeMode.enabled，再通过 @dp.update_flow 装饰器定义触发方式为 RealTime 的更新流，并指向 dp.create_sink() 定义的输出目标。

背景与影响

Databricks 称，RTM 去年推出，当时已用于构建低延迟的运营类用例；此次将其引入 SDP，意味着团队可在同一框架内覆盖批处理、ETL 与低延迟流处理，而不必额外维护 Flink 等专用引擎，从而减少重复代码库、分散的治理模型与运维开销。博客列举的适用场景包括欺诈检测、实时个性化、实时推荐与实时特征计算，并称可通过 ForEach sink 将结果写入 Lakebase、Redis 或其他 OLTP 存储。文中还提到，Databricks Feature Store 采用该架构，从 Kafka 到在线特征存储的端到端 p99 延迟为 200 毫秒；并称在客户特征计算工作负载的基准测试中，RTM 比 Flink 快最多 92%。上述性能数字均来自 Databricks 单方博客，未经独立验证。

限制与来源

博客同时说明，RTM 需要 continuous 管道模式与更新流，支持的源与 sink 以官方文档为准；服务端无服务器形态的计费、可用区域与具体功能支持情况，应查阅 Databricks 官网当前信息。文中提及的后续计划（如将多个 RTM 流打包进单一管道、原生 Lakebase sink）属于规划方向，尚未获官方确认发布时间。本文信息来自 Databricks 官方博客，未包含独立实测。