Apache Spark 4.3 发布，实时模式支持有状态流处理

Apache Spark 4.3 发布并进入 Databricks Runtime 19

Databricks 博客发文介绍 Apache Spark 4.3，并称该版本已在 Databricks Runtime 19 中提供。据文章描述，4.3 的核心变化是把有状态处理引入实时模式（Real-Time Mode）：流式聚合、dropDuplicates 去重以及 Scala/Java 的 transformWithState 现在可以在 Structured Streaming 的低延迟执行模式下运行。文章还提到，该版本新增 SCD Type 2 Auto CDC、面向小数据查询的 Project Feather，以及 Spark Connect、PySpark 和 Spark SQL 的多项改进。

背景与影响

文章称，Spark 4.3 在 SPARK-58884 记录的基准测试中，三个代表性有状态负载的 P99 端到端延迟均低于 150 毫秒：去重 136 毫秒、窗口聚合 139 毫秒、transformWithState 141 毫秒。作者强调，这些只是三个被测负载的测量结果，并非对所有管道的延迟保证。为支撑持续数据流，该版本引入并发阶段调度与流水线式 shuffle，新增 PipelinedShuffleDependency 与 StreamingShuffleManager，使生产阶段与消费阶段可同时运行。文章同时宣布，Spark 从此前约每六个月一次发布改为每季度一次功能发布。

限制与来源

上述性能数字与功能范围均来自 Databricks 官方博客及文中引用的 SPARK 工单，尚未见独立第三方验证。实时模式的具体可用范围、所支持的 API 与部署条件，以及 Databricks Runtime 19 的版本与区域可用性，请以 Databricks 官网当前信息为准。本文仅为技术资讯整理，不构成任何采购或投资建议。