分布式系统基础架构 Hadoop

分布式系统基础架构 Hadoop

Apache
Java
跨平台
Apache
2008-09-14

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

下图是Hadoop的体系结构:

加载中

评论(25)

ಸ_ಸ
ಸ_ಸ
入坑#Hadoop#
Y.S
Y.S
11111
囧囧恩
入门 #Hadoop#
l
lzghost
键盘到碗里来吧 Hadoop
z
zhongxing
test dongtan @xg032zx Hadoop ,only for test!
子木007
子木007
要学习 #R# + Hadoop
w
wllmvid
招聘资深java开发工程师: 1、对java有深刻理解,熟悉io、并发等框架,熟悉缓存、消息、搜索、持久化机制。 2、熟悉海量数据处理,至少熟悉hadoop、mapreduce、hive、hbase、storm、spark之一。 3、三年以上大型互联网开发经验,熟悉高并发,高负载,高可用性的分布式系统的设计与调优。 4、良好的团队合作能力。 Hadoop
xingxingge
xingxingge
上路了,哈哈。。。 Hadoop
M
MavisMa
hadoop配置自学,相当有难度…… Hadoop
andyx_5
andyx_5
欢迎加入hadoop技术交流群:246372656 Hadoop

Apache Hadoop 3.3.0 发布,首个支持 ARM 的版本

Apache Hadoop 3.3.0 发布了,主要更新内容有: 支持 ARM:这是第一个支持 ARM 架构的版本 从 2.5.0 升级 protobuf:随着 protobuf-2.5.0 结束生命周期,Protobuf 升级到 3.7.1 S3A 增强功能...

2020/07/31 07:53

Apache Hadoop 3.2.0 发布,3.x 系列最大版本

Apache Hadoop 3.2.0 发布了,这是 Hadoop 3.x 系列中最大的一个版本,带来了许多新功能和 1000 多个更改,通过 Hadoop 3.0.0 的云连接器的增强功能进一步丰富了平台,并服务于深度学习用例和...

2019/01/30 07:53

Hadoop 巨头完成合并,成为全球第二大开源软件公司

去年 10 月份,大数据领域 Hadoop 巨头 Cloudera 与 Hortonworks 宣布合并,给业界带来不小震动。 两家公司希望通过合并,创造出一个年收入达到 7.2 亿美元的新实体,并制定清晰的行业标准,...

2019/01/12 08:04

2018 年的 Apache 社区不平凡:让数字来说话

对于整个Apache社区来说,2018年是不平凡的一年。Apache软件基金会共管理着近2亿行代码,我们持续不断地取得成功,这归功于社区主导的开发模式:“Apache之道”(The Apache Way),300多个A...

2019/01/04 08:09

Hadoop 之父:开发者应将开源纳入职业规划

据福布斯报道,Hadoop 之父 Doug Cutting 在近日的 Oracle Code One 大会(原 JavaOne ) 上,获得了“开拓者奖”(Groundbreaker Award)。Doug Cutting 是 Hadoop 的创始人之一,Cloudera ...

2018/12/11 08:08

Google 收购 Cask 以强化云端 Hadoop 的应用生态

Cask 的主要产品 CDAP 是一个开源的应用平台,它整合了 Hadoop 生态,提供数据以及应用的抽象层,使得开发者能以快速且简单的方式开发应用。 Cask 创始人 Jonathan Gray 和 Nitin Motgi 在官...

2018/05/19 08:01

Apache Hadoop 3.1.0 发布,原生支持 GPU 和 FPGA

Apache Hadoop 3.1.0 正式发布了,Apache Hadoop 3.1.0 是2018年 Hadoop-3.x 系列的第一个小版本,并且带来了许多增强功能。不过需要注意的是,这个版本并不推荐在生产环境下使用,如果需要在...

2018/04/13 10:51

Apache Hadoop 3.0.1 发布,bug 修复和性能增强

Apache Hadoop 3.0.1 版本正式发布,属于 3.0 版本线,包含了 42 处 bug 修复和性能加强。 请注意:NameNode 的默认 RPC 端口改回了 8020(在 3.0.0 版本中为 9820) HADOOP-15027 AliyunOSS...

2018/03/26 18:49

没有更多内容

加载失败,请刷新页面

2
回答
openSOC环境具体如何搭建

@Booklearn 你好,想跟你请教个问题: 最近看了官方给的openSOC开源项目,但是看的云里雾里,不知道具体该如何搭建这样的一个环境,根据文档的介...

2015/09/06 23:55
2
回答
“2020 年度 OSC 中国开源项目评选” 活动说明

>>> 2020 年度 OSC 中国开源项目评选结果已公布! “2020 年度 OSC 中国开源项目评选” 活动将评出最佳人气项目、优秀 Gitee 组织...

2020/10/19 15:38
52
回答
程序员的出路在哪里?七年半老程序员的一点心得

我是南方人,大专,软件技术专业,2011年底出来实习做前端。实习大家都懂的,薪资低任务重,做了大半年,到2012年拿了毕业证就离职了。说实话当时的技术也菜...

2019/06/28 22:08
3
回答
hadoop2.5编译出现The requested profile "native" could not be activated because it does not exist?怎么解决

Downloading: http://maven.oschina.net/content/groups/public/org/mockito/mocki...

2015/02/15 00:22
6
回答
hadoop集群配置了kerberos后,如何使用JAVA程序调用?

hadoop集群配置了kerberos后,如何使用JAVA程序调用? 使用的是Cloudera 的CDH5.3,配置好kerberos后,使用如何JAVA...

2015/05/13 14:46
1
回答
【一周】fastjson安全公告 | Linus电脑配置 | Debian 10管理员手册 | TIOBE 榜单

回顾一周社区热门资讯 第【七十六】期:20200530-20200605 点击相应标题,跳转阅读全文 Ubuntu on WSL 2 GA iPhone ...

2020/06/07 20:35
1
回答
1
回答
arm64 cpu架构机器上安装了hadoop、hbase,编写的程序无法运行,求大神指教

报错说找不到Bytes$LexicographicalComparerHolder$UnsafeCompare,但是这个类没有问题,程序在我的window...

2019/07/18 15:09
1
回答
Can't get Master Kerberos principal for use as renewer     a

n" java.io.IOException:Can't get Master Kerberos principal for use as renewer...

2020/03/06 14:13

没有更多内容

加载失败,请刷新页面

暂无博客

返回顶部
顶部