皇上,还记得我吗?我就是1999年那个Linux伊甸园啊-----24小时滚动更新开源资讯,全年无休!

Apache Beam 2.19.0 发布,大数据批处理和流处理标准

Apache Beam 2.19.0 发布了。 Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。

主要更新内容:

New Features / Improvements

  • BEAM-6008  改进 Java/Python PortableRunner 中的错误报告
  • BEAM-8296  容器化 Spark 作业服务器
  • BEAM-8746  允许本地作业服务从 docker 内部工作
  • BEAM-8837 PCollectionVisualizationTest :可能的错误
  • BEAM-8139  执行便携式 Spark 应用程序 jar
  • BEAM-9019  改进 Spark 编码器(包装器或光束编码器)
  • BEAM-9053  改进无法获取 Python SDK 中指定路径的正确文件系统时的错误消息
  • BEAM-9055  跨语言统一 Fn Data API 的配置名称

更新说明: https://beam.apache.org/blog/2020/02/04/beam-2.19.0.html

转自 https://www.oschina.net/news/113185/apache-beam-2-19-0-released