设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 开源资讯 查看内容

Hadoop生态系统全面盘点

2013-11-5 10:35| 发布者: 红黑魂| 查看: 5490| 评论: 0

摘要:   Hadoop拥有一个庞大而且充满活力的开发者社区,但Hadoop生态系统当中的很多项目在名称与功能的匹配性方面出入很大,这直接导致很多朋友难以分清各个项目的作用以及使用目的。  作为Hadoop的构建核心,HDFS与Ma ...

 


  能做什么: 利用数据流或者脚本类语言进行数据处理。


  有何帮助: 帮助程序员利用数据流语言发挥MapReduce功能。



  能做什么: 利用预先编写的库在MapReduce中运行机器学习算法。


  有何帮助: 允许用户通过库创建MapReduce建议与集群。利用现有代码加快开发速度。


 


  能做什么: 利用预先编写的库在MapReduce中运行图形算法。


  有何帮助: 用户不必再为了使用MapReduce而重新编写图形算法。利用现有代码加快开发速度。


 


  能做什么: 运行测试以验证MapReduce工作功能的正确性。


  有何帮助: 运行程序测试以验证MapReduce程序运作的正确性。提供对象,允许用户模拟输入流程以验证执行结果。


 


  能做什么: 提供简便方式以实现MapReduce工作数据的输入与输出。


  有何帮助: 创建域对象以存储数据。简化MapReduce工作数据的序列化与反序列化。


 


  能做什么: 在关系型数据库与Hadoop之间实现数据移动。


  有何帮助:允许数据从关系型数据库转移到Hadoop当中,以备后期处理。将数据输出结果从MapReduce工作中提取出来并移回关系型数据库。


 


  能做什么: 以可扩展方式处理大量日志数据。


  有何帮助: 将大量日志数据转移到HDFS当中。由于Flume拥有的扩展性,因此能够处理大量传入数据。


 


  能做什么: 允许用户通过网络浏览器与Hadoop集群进行交互。


  有何帮助: 用户能够更轻松地与Hadoop集群实现交互。细化权限设定帮助管理员对用户进行配置。


 


  能做什么: Hadoop中的复杂工作流的创建任务更加便捷。


  有何帮助: 允许用户利用Hive、pig以及MapReduce等其它项目创建复杂工作流。内置逻辑允许用户按预定步骤处理故障。


  英文原文:http://www.networkworld.com/slideshow/124977/sizing-up-the-hadoop-ecosystem.html#slide1


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部