大数据批处理和流处理标准 Apache Beam

大数据批处理和流处理标准 Apache Beam

Apache
Java
跨平台
Apache
2016-11-13
王练

Apache Beam 是 Apache 软件基金会越来越多的数据流项目中最新增添的成员,是 Google 在2016年2月份贡献给 Apache 基金会的孵化项目。

这个项目的名称表明了设计:结合了批处理(Batch)模式和数据流(Stream)处理模式。它基于一种统一模式,用于定义和执行数据并行处理管道(pipeline),这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。

Apache Beam 的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。Apache Beam项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam希望基于Beam开发的数据处理程序可以执行在任意的分布式计算引擎上。

加载中

评论(9)

相国
相国
Apache Beam发布了第一个稳定版 http://beam-china.com/beam-first-stable-releas
d470969047h
d470969047h
技术更新太快了
侯法超
侯法超
Apache Beam Java SDK 快速开始: https://my.oschina.net/geekidentity/blog/834286
mengjoey
mengjoey
beam 不是处理器, 只是个model和sdk而已
裴松年
裴松年
很不错,领导行业
绝世武神
绝世武神
Spark,Flink只需要一个就足够了。
swingcoder
swingcoder
apache已经有一堆流处理器了,apace storm, spark streaming, and beam
勿忘初心321
勿忘初心321
m
mezongzi
很不错

Apache Beam 2.27.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.27.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实...

01/10 07:32

Apache Beam 2.25.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.25.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实...

2020/10/25 10:44

Apache Beam 2.24.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.24.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实...

2020/09/21 07:31

Apache Beam 2.23.0 发布,大数据批处理和流处理标准

Apache Beam 2.23.0 现已发布。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简...

2020/07/31 07:28

Apache Beam 2.19.0 发布,大数据批处理和流处理标准

Apache Beam 2.19.0 发布了。 Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简...

2020/02/06 07:54

Apache Beam 2.9.0 发布,大数据批处理和流处理标准

Apache Beam 2.9.0 发布了。Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活...

2018/12/16 07:54

Apache Beam 2.7.0 发布,大数据批处理和流处理标准

Apache Beam 2.7.0 发布了。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale 的数据集处理提供简单...

2018/10/20 08:04

Apache Beam 2.3.0 发布,大数据批处理和流处理标准

Apache Beam 2.3.0 发布了。主要更新内容如下: full Java 8 support Spark 2.x support in Spark runner Amazon WS S3 filesystem support General-purpose writing to files (FileIO) Spli...

2018/02/20 07:26

Apache Beam 2.0 发布,首个稳定版本

Apache Beam在官方博客上正式发布了Beam 2.0.0。这是Beam有史以来的第一个稳定版本,根据Beam社区的声明,Beam意欲为未来版本发布保持API的稳定性,并让Beam适用于企业的部署。 Beam的第一个...

2017/05/20 08:46

Apache Beam 0.6.0,大数据批处理和流处理标准

Apache Beam 0.6.0 发布了,该版本为 Python 编程语言引入了一个新的 SDK。 此外,该版本为 Apache HBase 在 Java SDK 中添加了一个新的 IO 链接器,以及一些常见的错误修复和改进。 最后,还...

2017/03/18 07:08

没有更多内容

加载失败,请刷新页面

暂无问答

暂无博客

返回顶部
顶部