Apache Beam 2.53.0发布

我们很高兴向您介绍 Beam 的新版本 2.53.0。
该版本包括改进和新功能。
请查看此版本的下载页面。

有关 2.53.0 中更改的更多信息，请查看详细的发布说明。

亮点
使用 2.47.0 及更新版本 Beam 的 Python 流媒体用户应更新至 2.53.0 版，该版本修复了一个已知问题：(#27330)。
输入/输出
TextIO 现在支持跳过多行头文件（Java）(#17990)。
现在使用 GCP GCS 客户端而非 apitools 实现 Python GCSIO (#25676)
在 ClickHouse（Java）中添加了对 LowCardinality DataType 的支持（#29533）。
为 KafkaIO（Java）添加了对处理坏记录的支持（#29546）
为顶点人工智能（Vertex AI）和拥抱人脸集线器（Hugging Face Hub）模型添加在MLTransform中生成文本嵌入的支持(#29564)
添加 NATS IO 连接器（Go）(#29000)。
新功能/改进
Python SDK 现在可以正确检查 collections.abc.Collections 类型。一些被 SDK 错误允许的类型提示现在可能会失败。(#29272)
在本地运行多语言管道不再需要 Docker。
取而代之的是，用于执行
扩展的子进程也可用作跨语言 Worker。
在 Java 中添加了向复合转换添加错误处理程序的框架 (#29164)。
Python 3.11 映像现在包含 google-cloud-profiler（#29561）。
破坏性更改
升级至 go 1.21.5 以构建，修复了 CVE-2023-45285 和 CVE-2023-39326
弃用
Euphoria DSL 已被弃用，并将在未来的版本中移除（不会在 2.56.0 之前） (#29451)
错误修正
(Python）修正了流管道中的零星崩溃问题，该问题影响了部分 2.47.0 及更新版本 SDK 的用户 (#27330)。
(Python）修正了一个 Bug，该 Bug 可导致 MLTransform 在输出 PCollection 中丢弃相同的元素（#29600）。