设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 开源资讯 查看内容

对Hadoop目前使用情况的调查和采访

2013-12-20 11:05| 发布者: joejoe0332| 查看: 2740| 评论: 0|原作者: Boris Lublinsky|来自: infoQ

摘要:   我们正生活在“大数据”的时代。在当今这个技术驱动的世界,计算能力、电子设备和Internet的可达性正在日益增长,同时比以往任何时候更多的 数据正在被传输和收集。组织正在以惊人的速度产生数据。仅Facebook自 ...


  InfoQ尽管Hadoop提供了惊人的处理能力,远远超过了SQL,但是Hive在Hadoop的使用上依然有举 足轻重的地位。同时有更多的公司正在为Hadoop数据提供实时SQL查询解决方案,强调将SQL作为主要的Hadoop编程语言的声音似乎增长得更多。 你认为这是一个短期现象还是一个长期趋势?


  McJannet鉴于当今世界丰富的SQL技能,对存储在Hadoop中的数据进行访问时最常用的方式之一是使用 SQL这并不稀奇。在这一方面,Apache Hive是到目前为止Hadoop SQL查询领域的一个占主导地位的工具。当然,一些希望抓住这一市场机遇的专有供应商也在Hadoop之上推出了一些新产品,但是总的来说Hive是标准 同时也很有可能始终都是,特别是考虑到为了继续提升Hive的速度、规模和SQL语义Microsoft、SAP、Hortonworks以及其他组织在 Stinger Initiative上所做的工作。
除了SQL之外,还有很多其他的方式可以访问存储在Hadoop中的数据,但是公平一点地说,使用SQL/Hive将会是最主要的途径。例如,Hive往 往是所有基于Hadoop的BI工具所使用的接口。但是对于更加复杂的用例,我们确实会看到广泛使用的技术,例如Pig(脚本查询),同时还有更加普遍的 高端工具,它们所使用的接口对用户而言并不可见,例如R和SAS。
随着时间的发展,最常用的接口很有可能是一个打包的应用程序(SAS、Microstrategy、Excel、业务对象、Platfora等),最终用户根本就不需要知道底层用了什么。


  InfoQ你认为Hadoop将会被用于构建主流企业应用程序么?大约什么时候我们才能看到这些应用程序?


  McJannet毫无疑问!历史告诉我们Web公司是采用这些新型技术(例如现在正在发展中的Hadoop)的先锋。这些公司已经基于Hadoop构建他们的主流应用程序几年了,现在我们看到主流的企业也在遵循同样的路径。


  也是出于这方面的原因,我们才有了这样一个焦点:与人们已经拥有的开发技能集成。例证:.NET开发者?.NET SDK for Hadoop是基于开源HDP的。Java开发者?Java Spring(构建Java应用的主要框架)的HDP认证将会是这个迁移的一个强力推动者。
什么时候?做这种类型的预测一直都非常难,但是我认为新生技术的转变通常会需要比预期更长的时间,同时意义也要比预期更加深远。Hadoop技术的使用到 现在已经进行了好几年,现在才真正地开始固定下来,因为事实证明它能够带来客户群的增长。作为一个供应商,我们认为我们角色中的一个非常重要的方面是:关 注于技术和技能的集成从而以最及时最合理的方式推动它的发展。


查看英文原文A Survey and Interview on How Hadoop Is Used Today

转自 http://www.infoq.com/cn/news/2013/12/HadoopUsage


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部