博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
[综合]Apache Hadoop 2.2.0概要[翻译]
阅读量:4112 次
发布时间:2019-05-25

本文共 682 字,大约阅读时间需要 2 分钟。

Apache Hadoop 2.2.0

apache hadoop2.20版本较比以前以前稳定版本(hadoop-1.x)有显著改进

此处简要针对hdfs和MapReduce的改进说明如下:

 

HDFS联盟

为了水平扩展命名服务,联盟采用了多重无依赖的Namenode和Namespace。namenodes是联合在一起的,每个namenode相互独立不需要跟其他的namenode进行通信协调。datanode被namenode用来作为通用的基于block存储。每个datanode在所有的集群namenode中都注册。datanode维持间隔心跳、块信息报告,同时处理namenode传过来的命令。

更多详细请参考  

 

MapReduce下一代又称YARN,又称MRv2

新的架构设计在hadoop-0.23中提到过,JobTracker拆分成两大主要单独模块:资源管理和job生命周期管理。

新在资源管理器管理整个应用的计算资源分配,应用主控管理应用的调度和协作。

一个应用指的是MapReduce中的一个单独的job或一组job。

资源管理器和每个节点管理器守护进程,他们管理用户在此节点上的计算。

每个机器上的ApplicationMaster实际上是一个特殊的框架负责跟ResourceManager协商资源同时和NodeManager协调监控任务执行情况。

更多详情请参考 。

 

Getting Started

hadoop文档包括使用hadoop的帮助信息。可以先从开始,他会告知你如何构建一个hadoop单机安装模式。后续可以开始安装,去了解多节点安装。

 

转载地址:http://isqsi.baihongyu.com/

你可能感兴趣的文章
链表各类操作详解
查看>>
C++实现 简单 单链表
查看>>
Linux的SOCKET编程 简单演示
查看>>
Linux并发服务器编程之多线程并发服务器
查看>>
C语言内存检测
查看>>
Linux epoll模型
查看>>
Linux系统编程——线程池
查看>>
Linux C++线程池实例
查看>>
shared_ptr的一些尴尬
查看>>
C++总结8——shared_ptr和weak_ptr智能指针
查看>>
c++写时拷贝1
查看>>
Linux网络编程---I/O复用模型之poll
查看>>
Java NIO详解
查看>>
在JS中 onclick="save();return false;"return false是
查看>>
idea 有时提示找不到类或者符号
查看>>
matplotlib.pyplot.plot()参数详解
查看>>
MFC矩阵运算
查看>>
ubuntu 安装mysql
查看>>
c# 计算器
查看>>
C# 简单的矩阵运算
查看>>