Apache Beam 2.36.0 发布

我们很高兴地介绍Apache Beam的新版本2.36.0。这个版本包括改进和新功能。请看这个版本的下载页面。

更多关于2.36.0的变化信息，请查看详细的发布说明。

I/Os

• 支持KafkaIO SDF（Java）上的stopReadTime。（BEAM-13171）。

New Features / Improvements

• 增加了对cloudpickle的支持，作为Python SDK的一个腌制库（BEAM-8123）。要使用cloudpickle，设置管道选项： -pickler_lib=cloudpickle
  增加了在流向BigQuery（Python）时指定触发频率的选项（BEAM-12865）。
  增加了一个选项，用于在Python Dataflow作业运行中缓存上传的工件（BEAM-13459）。要启用，请设置管道选项：-enable_artifact_caching，这将在未来的版本中被默认启用。

Breaking Changes

• 将jedis从3.x更新到4.x，改为Java RedisIO。如果你正在使用RedisIO并直接使用jedis，请参考此页面进行更新。(BEAM-12092).
  SqsMessage for AWS IOs for SDK v2中的时间戳字段的数据类型从String改为long，所有字段的可见性从package private修复为public BEAM-13638.
  在Java中正确检查从DoFns、定时器和onWindowExpiration输出的元素的输出时间戳 BEAM-12931.
  修正了DeferredDataFrame.xs在使用非元组键时的一个错误（BEAM-13421）。

Known Issues

• 用户可能会遇到一个意外的java.lang.ArithmeticException，当输出一个元素的时间戳比允许的DoFN倾斜度设置为一个超过Integer.MAX_VALUE的值时。
  查看影响此版本的公开问题的完整列表。

List of Contributors

根据git shortlog，以下人员对2.36.0版本有贡献。感谢所有的贡献者!

Ada Wong Ahmet Altay Alexander Alexander Dahl Alexandr Zhuravlev Alexey Romanenko AlikRodriguez Anand Inguva Andrew Pilloud Andy Ye Arkadiusz Gasiński Artur Khanin Arun Pandian Aydar Farrakhov Aydar Zainutdinov AydarZaynutdinov Benjamin Gonzalez Brian Hulette Chamikara Jayalath Daniel Collins Daniel Oliveira Daniel Thevessen Daniela Martín David Hinkes David Huntsperger Emily Ye Etienne Chauchot Evan Galpin Heejong Lee Ilya Ilya Kozyrev In-Ho Yi Jack McCluskey Janek Bevendorff Jarek Potiuk Ke Wu KevinGG Kyle Hersey Kyle Weaver Luís Bianchin Luke Cwik Masato Nakamura Matthias Baetens Mehdi Drissi Melissa Pashniak Michel Davit Miguel Hernandez MiguelAnzoWizeline Milena Bukal Moritz Mack Mostafa Aghajani Nathan J Mehl Niel Markwick Ning Kang Pablo Estrada Pavel Avilov Quentin Sommer Reuben van Ammers Reuven Lax Ritesh Ghorse Robert Bradshaw Robert Burke Ryan Thompson Sam Whittle Sayat Sergei Lebedev Sergey Kalinin Steve Niemitz Talat Uyarer Thiago Nunes Tianyang Hu Tim Robertson Valentyn Tymofieiev Vitaly Ivanov Yichi Zhang Yiru Tang Yu Feng Yu ISHIKAWA Zachary Houfek blais daria-malkova daria.malkova darshan-sj dpcollins-google emily ewianda johnjcasey kileys lam206 laraschmidt mosche msbukal@google.com tvalentyn

转自 https://beam.apache.org/blog/beam-2.36.0/