Apache Beam 2.24.0 发布,大数据流处理与批处理编程范式

来源: OSCHINA
编辑: oschina
2020-09-21 07:31:41

Apache Beam 2.24.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。

此版本主要特性变更包括:

  • Python SDK 添加了一个共享库,用于简化对大型共享对象的管理。
  • 将数据流流计时器设置为较早的 mid-bundle 时并没有严格的时间顺序。
  • 在 FnApiDoFnRunner 中处理每个元素/计时器时,OnTimerContext 不应创建新的计时器。
  • @OnTimer 方法中 key 应该可用。

详情查看更新说明:

https://beam.apache.org/blog/beam-2.24.0

展开阅读全文
点击加入讨论🔥(1) 发布并加入讨论🔥
1 评论
1 收藏
分享
返回顶部
顶部