Apache Beam 2.19.0 发布了。 Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。
主要更新内容:
New Features / Improvements
- BEAM-6008 改进 Java/Python PortableRunner 中的错误报告
- BEAM-8296 容器化 Spark 作业服务器
- BEAM-8746 允许本地作业服务从 docker 内部工作
- BEAM-8837 PCollectionVisualizationTest :可能的错误
- BEAM-8139 执行便携式 Spark 应用程序 jar
- BEAM-9019 改进 Spark 编码器(包装器或光束编码器)
- BEAM-9053 改进无法获取 Python SDK 中指定路径的正确文件系统时的错误消息
- BEAM-9055 跨语言统一 Fn Data API 的配置名称
更新说明: https://beam.apache.org/blog/2020/02/04/beam-2.19.0.html
转自 https://www.oschina.net/news/113185/apache-beam-2-19-0-released