Linuxeden开源社区
我们很高兴向您介绍 Beam 的新版本 2.50.0。该版本包括改进功能和新功能。请查看此版本的下载页面。
有关 2.50.0 中更改的更多信息，请查看详细的发布说明。
亮点
Spark 3.2.2 被用作 Spark 运行程序的默认版本（#23804）。
Go SDK 新增默认本地运行程序，名为 Prism（#24789）。
所有 Beam 发布的容器镜像现在都是多架构镜像，同时支持 x86 和 ARM CPU 架构。
输入/输出
Java KafkaIO 现在支持通过 topicPattern 提取主题（#26948）
支持从 Cosmos DB Core SQL API 读取数据（#23604）
HBaseIO 升级至 HBase 2.5.5。(Java）（#27711）
增加了对 GoogleAdsIO 源的支持（Java）(#27681)。
新功能/改进
Go SDK 现在需要 Go 1.20 才能构建。(#27558)
Go SDK 新增默认本地运行程序 Prism。(#24789).
Prism 是一种可移植的运行程序，能独立执行每个转换，确保编码人员的安全。
目前，它在功能上取代了 Go 直接运行程序。Go 直接运行程序现已弃用。
有关 Prism 的目标和功能，请参见 https://github.com/apache/beam/blob/master/sdks/go/pkg/beam/runners/prism/README.md。
在 Python SDK 中添加了用于 RunInference 的抱脸模型处理程序。(#26632)
在 Python SDK 中添加了 RunInference 的 Hugging Face Pipelines 支持。(#27399)
RunInference 的顶点 AI 模型处理程序现在支持私有端点 (#27696)
添加了 MLTransform 变换，支持常见的 ML 预/后处理操作 (#26795)
将 Java SDK 的 Kryo 扩展升级至 Kryo 5.5.0。这带来了错误修复、性能改进以及 Java 14 记录的序列化。(#27635)
所有 Beam 发布的容器镜像现在都是支持 x86 和 ARM CPU 架构的多架构镜像。(#27674).多架构容器镜像包括
所有版本的 Go、Python、Java 和 Typescript SDK 容器。
所有版本的 Flink 作业服务器容器。
Java 和 Python 扩展服务容器。
Transform 服务控制器容器
Spark3 作业服务器容器
添加了对 AWS SQS 批量写入的支持，以提高吞吐量（Java、AWS 2）。
破坏性变更
Python SDK：从 Dataflow 中移除传统运行程序支持，所有管道都必须使用运行程序 v2。
Python SDK：在管道提交时，Dataflow Runner 不会再将来自 PyPI 的 Beam SDK 放在 –staging_location 中。非基于 Beam 默认镜像的自定义容器镜像必须包含 Apache Beam 安装。