设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 开源资讯 查看内容

Hadoop 2终问世:大数据向前迈出一大步

2013-10-17 15:19| 发布者: joejoe0332| 查看: 1520| 评论: 0|原作者: ZDNet|来自: ZDNet

摘要:   Apache软件基金会终于推出了最新的Hadoop 2数据分析平台。Hadoop 2通过支持YARN数据处理和服务引擎,增强了它的计算引擎,同时为Hadoop File System (HDFS)添加高可用特性。  尽管一些Hadoop发行版中已经对HDF ...

  Apache软件基金会终于推出了最新的Hadoop 2数据分析平台。Hadoop 2通过支持YARN数据处理和服务引擎,增强了它的计算引擎,同时为Hadoop File System (HDFS)添加高可用特性。


  尽管一些Hadoop发行版中已经对HDFS进行了升级,例如Cloudera,而且一些公司如Pivotal也提供YARN支持有半年的时间了,但是Apache公开发布这个版本将为用户处理数据提供更强的信心。


  Pivotal公司首席科学家Milind Bhandarkar表示:“全面发布的功能特性让用户能够确保这些面向用户的API和YARN协议是稳定的,在Hadoop下一代主要版本出现之前不会发生变化,这也是的仍然更放心地构建应用和使用这些API。”


Hadoop 2终问世:大数据向前迈出一大步


  YARN带来了巨大的改变,改变了Hadoop计算组件(MapReduce)切分和重新组成处理任务的方式,因为YARN将MapReduce的追踪组件切分成两个不同部分:资源管理器,以及应用调度。


  这让数据整理工具更轻松地同时运行MapReduce或者Storm这样的任务,以及HBase等服务。


  Hadoop共同创始人之一Doug Cutting表示:“它使得其他不是MapReduce的工作负载现在可以更有效地与MapReduce分享资源。现在这些系统可以动态地分享资源,资源也可以设置优先级。”


  Cuuting和Bhandarkar都承认,这种方法是受到了Apache项目“Mesos”集群管理系统以及谷歌Borg和Omega秘密项目的一些影响。



酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部