分布式系统基础架构 Hadoop

分布式系统基础架构 Hadoop

Apache
Java
跨平台
Apache
2008-09-14

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

下图是Hadoop的体系结构:

加载中

评论(25)

ಸ_ಸ
ಸ_ಸ
入坑#Hadoop#
Y.S
Y.S
11111
囧囧恩
入门 #Hadoop#
l
lzghost
键盘到碗里来吧 Hadoop
z
zhongxing
test dongtan @xg032zx Hadoop ,only for test!
子木007
子木007
要学习 #R# + Hadoop
w
wllmvid
招聘资深java开发工程师: 1、对java有深刻理解,熟悉io、并发等框架,熟悉缓存、消息、搜索、持久化机制。 2、熟悉海量数据处理,至少熟悉hadoop、mapreduce、hive、hbase、storm、spark之一。 3、三年以上大型互联网开发经验,熟悉高并发,高负载,高可用性的分布式系统的设计与调优。 4、良好的团队合作能力。 Hadoop
xingxingge
xingxingge
上路了,哈哈。。。 Hadoop
M
MavisMa
hadoop配置自学,相当有难度…… Hadoop
andyx_5
andyx_5
欢迎加入hadoop技术交流群:246372656 Hadoop

Apache Hadoop 3.3.0 发布,首个支持 ARM 的版本

Apache Hadoop 3.3.0 发布了,主要更新内容有: 支持 ARM:这是第一个支持 ARM 架构的版本 从 2.5.0 升级 protobuf:随着 protobuf-2.5.0 结束生命周期,Protobuf 升级到 3.7.1 S3A 增强功能...

07/31 07:53

Apache Hadoop 3.2.0 发布,3.x 系列最大版本

Apache Hadoop 3.2.0 发布了,这是 Hadoop 3.x 系列中最大的一个版本,带来了许多新功能和 1000 多个更改,通过 Hadoop 3.0.0 的云连接器的增强功能进一步丰富了平台,并服务于深度学习用例和...

2019/01/30 07:53

Hadoop 巨头完成合并,成为全球第二大开源软件公司

去年 10 月份,大数据领域 Hadoop 巨头 Cloudera 与 Hortonworks 宣布合并,给业界带来不小震动。 两家公司希望通过合并,创造出一个年收入达到 7.2 亿美元的新实体,并制定清晰的行业标准,...

2019/01/12 08:04

2018 年的 Apache 社区不平凡:让数字来说话

对于整个Apache社区来说,2018年是不平凡的一年。Apache软件基金会共管理着近2亿行代码,我们持续不断地取得成功,这归功于社区主导的开发模式:“Apache之道”(The Apache Way),300多个A...

2019/01/04 08:09

Hadoop 之父:开发者应将开源纳入职业规划

据福布斯报道,Hadoop 之父 Doug Cutting 在近日的 Oracle Code One 大会(原 JavaOne ) 上,获得了“开拓者奖”(Groundbreaker Award)。Doug Cutting 是 Hadoop 的创始人之一,Cloudera ...

2018/12/11 08:08

Google 收购 Cask 以强化云端 Hadoop 的应用生态

Cask 的主要产品 CDAP 是一个开源的应用平台,它整合了 Hadoop 生态,提供数据以及应用的抽象层,使得开发者能以快速且简单的方式开发应用。 Cask 创始人 Jonathan Gray 和 Nitin Motgi 在官...

2018/05/19 08:01

Apache Hadoop 3.1.0 发布,原生支持 GPU 和 FPGA

Apache Hadoop 3.1.0 正式发布了,Apache Hadoop 3.1.0 是2018年 Hadoop-3.x 系列的第一个小版本,并且带来了许多增强功能。不过需要注意的是,这个版本并不推荐在生产环境下使用,如果需要在...

2018/04/13 10:51

Apache Hadoop 3.0.1 发布,bug 修复和性能增强

Apache Hadoop 3.0.1 版本正式发布,属于 3.0 版本线,包含了 42 处 bug 修复和性能加强。 请注意:NameNode 的默认 RPC 端口改回了 8020(在 3.0.0 版本中为 9820) HADOOP-15027 AliyunOSS...

2018/03/26 18:49

没有更多内容

加载失败,请刷新页面

52
回答
程序员的出路在哪里?七年半老程序员的一点心得

我是南方人,大专,软件技术专业,2011年底出来实习做前端。实习大家都懂的,薪资低任务重,做了大半年,到2012年拿了毕业证就离职了。说实话当时的技术也菜...

2019/06/28 22:08
3
回答
hadoop2.5编译出现The requested profile "native" could not be activated because it does not exist?怎么解决

Downloading: http://maven.oschina.net/content/groups/public/org/mockito/mocki...

2015/02/15 00:22
6
回答
hadoop集群配置了kerberos后,如何使用JAVA程序调用?

hadoop集群配置了kerberos后,如何使用JAVA程序调用? 使用的是Cloudera 的CDH5.3,配置好kerberos后,使用如何JAVA...

2015/05/13 14:46
1
回答
【一周】fastjson安全公告 | Linus电脑配置 | Debian 10管理员手册 | TIOBE 榜单

回顾一周社区热门资讯 第【七十六】期:20200530-20200605 点击相应标题,跳转阅读全文 Ubuntu on WSL 2 GA iPhone ...

06/07 20:35
1
回答
1
回答
arm64 cpu架构机器上安装了hadoop、hbase,编写的程序无法运行,求大神指教

报错说找不到Bytes$LexicographicalComparerHolder$UnsafeCompare,但是这个类没有问题,程序在我的window...

2019/07/18 15:09
1
回答
Can't get Master Kerberos principal for use as renewer     a

n" java.io.IOException:Can't get Master Kerberos principal for use as renewer...

03/06 14:13
5
回答
想用eclipse实现对mongodb数据库的增删等操作,卡在jar加载,java mongodbdriver只有tar.gz后缀的能下载到,下了以后解压里面的文件找不到可以加载进java project的jar文件

想用eclipse建立java project实现对mongodb数据库的增删等操作,卡在jar加载这里了,到官网一直下载不到,最后在maven.org这...

04/22 21:59
2
回答
hive任务转为mapreduce任务后,运行失败了,mr自动kill掉了

配置:centos7.3 ,1核8G内存,hadoop版本2.7.3,hive版本0.12 -----------------------------分割...

2018/09/03 16:48

没有更多内容

加载失败,请刷新页面

Hadoop(Hadoop优化)

Hadoop(Hadoop优化) 及 配置情况

2015/06/11 10:37
402
0
Hadoop已死,Hadoop万岁

云,在地平线之内 最近又有很多关于“Hadoop已死”的论调,似乎每隔一段时间就会有一些类似的文章或声音。几年前Cloudera就已经停止了以Hadoop来营销自己,而是一家企业数据公司。如今,Clo...

2019/09/15 09:43
49
0
Hadoop 之初识Hadoop

Hadoop 之初识Hadoop

2015/04/02 12:46
493
0
Hadoop记录-Hadoop jmx

https://cwiki.apache.org/confluence/display/EAG/Hadoop+JMX+Monitoring+and+Alerting curl http://10.116.100.2:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020 认识...

2019/03/29 10:39
16
0
Hadoop hadoop balancer配置

hadoop版本:2.9.2 1、带宽的设置参数: dfs.datanode.balance.bandwidthPerSec 默认值 10m 2、datanode之间数据块的传输线程大小:dfs.datanode.max.transfer.threads 默认值4096 3、修改d...

2019/07/12 18:06
45
0
Hadoop

Hadoop安装 http://hadoop.apache.org/releases.html CentOS 下载 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz 下载后解压 tar zxf hadoop-3.0.0.tar...

2018/01/27 21:47
17
0
Hadoop

Hadoop集群 主节点:dd 从节点:dd1 dd2 添加节点:dd3 -------------------------------------------------------------------------------- 快速安装 #无密互通 ssh-keygen ssh-copy-id -...

2019/02/18 13:38
12
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部