Apache Beam 2.31.0

我们很高兴推出 Beam 的新版本 2.31.0。此版本包含改进和新功能。有关此版本的更多信息,请查看 下载页面

有关 2.31.0 中更改的更多信息,请查看 详细的发布说明

亮点

I/Os

  • 修复了 ReadFromBigQuery 中的错误,该错误在 RuntimeValueProvider 用作 table 参数的值时发生(Python)(BEAM-12514).

新功能/改进

  • CREATE FUNCTION DDL 语句添加到 Calcite SQL 语法中。JARAGGREGATE 现在是保留关键字。(BEAM-12339).
  • Flink 1.13 现在受 Flink 运行器支持 (BEAM-12277).
  • DatastoreIO:写入和删除操作现在遵循自动渐进式扩展,符合最佳实践 (Java/Python) (BEAM-12260, BEAM-12272).
  • Python TriggerFn 有一个新的 may_lose_data 方法来指示潜在的数据丢失。默认行为假定安全(为了向后兼容性而必需)。有关覆盖此方法的潜在影响,请参阅弃用部分。(BEAM-9487).

重大更改

  • Python Row 对象现在对字段顺序敏感。因此,Row(x=3, y=4) 不再被视为与 Row(y=4, x=3) 相等 (BEAM-11929)。
  • Kafka Beam SQL 表现在对 LOCATION 字段赋予含义;以前它被忽略,如果提供。
  • TopCombineFn 不允许 compare 作为其参数(Python)(BEAM-7372).
  • 删除对 Flink 1.10 的支持 (BEAM-12281).

弃用

  • Python GBK 将在 Beam 2.33 中停止支持具有全局窗口和默认触发器的无界 PCollections。这可以通过 --allow_unsafe_triggers 覆盖。(BEAM-9487).
  • 从 Beam 2.33 开始,Python GBK 将开始要求安全触发器或 --allow_unsafe_triggers 标志。(BEAM-9487).

已知问题

贡献者列表

根据 git shortlog,以下人员为 2.31.0 版本做出了贡献。感谢所有贡献者!

Ahmet Altay, ajo thomas, Alan Myrvold, Alex Amato, Alexey Romanenko, AlikRodriguez, Anant Damle, Andrew Pilloud, Benjamin Gonzalez, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Daniel Oliveira, David Cavazos, David Huntsperger, David Moravek, Dmytro Kozhevin, dpcollins-google, Emily Ye, Ernesto Valentino, Evan Galpin, Fernando Morales, Heejong Lee, Ismaël Mejía, Jan Lukavský, Josias Rico, jrynd, Kenneth Knowles, Ke Wu, kileys, Kyle Weaver, masahitojp, Matthias Baetens, Maximilian Michels, Milena Bukal, Nathan J. Mehl, Pablo Estrada, Peter Sobot, Reuven Lax, Robert Bradshaw, Robert Burke, roger-mike, Sam Rohde, Sam Whittle, Stephan Hoyer, Tom Underhill, tvalentyn, Uday Singh, Udi Meiri, Vitaly Terentyev, Xinyu Liu, Yichi Zhang, Yifan Mai, yoshiki.obata, zhoufek