我们很高兴地宣布 Apache Beam 的最新版本 2.36.0 发布。此版本包括改进和新功能。请查看此版本的 下载页面。

有关 2.36.0 中更改的更多信息，请查看 详细的发布说明。

I/Os

• 支持 KafkaIO SDF 上的 stopReadTime（Java）。(BEAM-13171).

新功能 / 改进

• 💻 原生支持 ARM64 / Mac M1。(BEAM-11703).
• 添加了对 cloudpickle 作为 Python SDK 的序列化库的支持 (BEAM-8123)。要使用 cloudpickle，请设置管道选项：–pickle_library=cloudpickle
• 添加了在流式传输到 BigQuery 时指定触发频率的选项（Python）(BEAM-12865).
• 添加了为 Python Dataflow 作业启用跨作业运行上传的工件缓存的选项 (BEAM-13459)。要启用，请设置管道选项：–enable_artifact_caching，此选项将在未来版本中默认启用。

重大变更

• 将 Java RedisIO 中的 jedis 从 3.x 更新到 4.x。如果您正在使用 RedisIO 并直接使用 jedis，请参考 此页面 进行更新。(BEAM-12092).
• SDK v2 中 AWS IOs 的 SqsMessage 中时间戳字段的数据类型已从 String 更改为 long，所有字段的可见性已从 package private 修复为 public BEAM-13638.
• 在 Java 中正确检查从 DoFns、计时器和 onWindowExpiration 输出的元素的输出时间戳 BEAM-12931.
• 修复了在使用非元组键时 DeferredDataFrame.xs 出现的一个错误 (BEAM-13421).
• Beam Python 现在需要 google-cloud-pubsub>=2.1.0。apache_beam.io.gcp.pubsub 的 API 表面没有更改，但直接使用 PubSub 客户端的代码可能需要更新。

已知问题

• 当将元素输出到允许的 DoFN 偏斜设置为大于 Integer.MAX_VALUE 的值的允许偏斜范围之外的时间戳时，用户可能会遇到意外的 java.lang.ArithmeticException。
• Python SDK 中的 S3 对象元数据检索已损坏 (BEAM-13980)
• 查看影响此版本的 所有开放问题的完整列表。

贡献者列表

根据 git shortlog，以下人员贡献了 2.36.0 版本。感谢所有贡献者！

Ada Wong Ahmet Altay Alexander Alexander Dahl Alexandr Zhuravlev Alexey Romanenko AlikRodriguez Anand Inguva Andrew Pilloud Andy Ye Arkadiusz Gasiński Artur Khanin Arun Pandian Aydar Farrakhov Aydar Zainutdinov AydarZaynutdinov Benjamin Gonzalez Brian Hulette Chamikara Jayalath Daniel Collins Daniel Oliveira Daniel Thevessen Daniela Martín David Hinkes David Huntsperger Emily Ye Etienne Chauchot Evan Galpin Heejong Lee Ilya Ilya Kozyrev In-Ho Yi Jack McCluskey Janek Bevendorff Jarek Potiuk Ke Wu KevinGG Kyle Hersey Kyle Weaver Luís Bianchin Luke Cwik Masato Nakamura Matthias Baetens Mehdi Drissi Melissa Pashniak Michel Davit Miguel Hernandez MiguelAnzoWizeline Milena Bukal Moritz Mack Mostafa Aghajani Nathan J Mehl Niel Markwick Ning Kang Pablo Estrada Pavel Avilov Quentin Sommer Reuben van Ammers Reuven Lax Ritesh Ghorse Robert Bradshaw Robert Burke Ryan Thompson Sam Whittle Sayat Sergei Lebedev Sergey Kalinin Steve Niemitz Talat Uyarer Thiago Nunes Tianyang Hu Tim Robertson Valentyn Tymofieiev Vitaly Ivanov Yichi Zhang Yiru Tang Yu Feng Yu ISHIKAWA Zachary Houfek blais daria-malkova daria.malkova darshan-sj dpcollins-google emily ewianda johnjcasey kileys lam206 laraschmidt mosche [email protected] tvalentyn