• 欢迎访问开心洋葱网站,在线教程,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,欢迎加入开心洋葱 QQ群
  • 为方便开心洋葱网用户,开心洋葱官网已经开启复制功能!
  • 欢迎访问开心洋葱网站,手机也能访问哦~欢迎加入开心洋葱多维思维学习平台 QQ群
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏开心洋葱吧~~~~~~~~~~~~~!
  • 由于近期流量激增,小站的ECS没能经的起亲们的访问,本站依然没有盈利,如果各位看如果觉着文字不错,还请看官给小站打个赏~~~~~~~~~~~~~!

10分钟学习大数据之hadoop实战经典-第02讲

大数据 开心洋葱 1259次浏览 0个评论

10分钟学习大数据之hadoop实战经典-第02讲

10分钟从技术角度理解Hadoop

 

Hadoop的核心

HDFS: Hadoop Distributed File System 分布式文件系统

MapReduce:并行计算框架

Yarn:集群资源管理和调度框架

Hadoop是什么?

适合大数据的分布式存储、计算、资源管理平台

作者:Doug Cutting

受Google三篇论文的启发

Hadoop生态系统

10分钟学习大数据之hadoop实战经典-第02讲

HDFS

10分钟学习大数据之hadoop实战经典-第02讲

主从结构
主节点,只有一个: namenode
从节点,有很多个: datanodes

namenode负责:
接收用户操作请求
维护文件系统的目录结构
管理文件与block之间关系,block与datanode之间关系

datanode负责:
存储文件
文件被分成block存储在磁盘上
为保证数据安全,文件会有多个副本

Yarn

10分钟学习大数据之hadoop实战经典-第02讲

Yarn下的MapReduce

主从结构
主节点,只有一个: ResourceManager
控制节点,每个Job都有一个MRAppMaster
从节点,有很多个: YarnChild

ResourceManager负责:
接收客户提交的计算任务
把Job分给MRAppMaster执行
监控MRAppMaster的执行情况

MRAppMaster负责:
负责一个Job执行的任务调度
把Job分给YarnChild执行
监控YarnChild的执行情况


开心洋葱 , 版权所有丨如未注明 , 均为原创丨未经授权请勿修改 , 转载请注明10分钟学习大数据之hadoop实战经典-第02讲
喜欢 (0)

您必须 登录 才能发表评论!

加载中……