日前，由中科院计算所主办的“Hadoop 中国2010云计算大会 - Hadoop in China 2010”于9月4日在京落下帷幕，共有600多名来自企业、高校、科研院所的Hadoop技术爱好者参加了此次盛会。记者现场采访了大会程序主席、中科院计算所副研究员查礼博士。
中科院计算所副研究员查礼博士主持Hadoop大会 记者注意到，此次大会邀请了Yahoo!、Facebook、百度、中国移动研究院、淘宝、EMC、VMware、Intel、IBM、eBay等国内外著名IT企业到会分享交流技术内容，其中大部分是互联网企业。而且，听众当中也有很多人来自互联网、SNS、电子商务等领域。对于Hadoop为什么受到互联网等企业的追捧，查礼在接受采访时谈到，Hadoop作为一种支撑大规模互联网服务的软件平台和工具集，可以用来解决分布式计算中的很多问题，跟商业软件相比，有两大主要优势：一是实用，效率较高，能够处理许多商业软件如传统数据库不能做的事情，特别是在大规模数据处理和计算方面，Hadoop的优势非常明显;二是开源，成本低，而且容易修改，便于做二次开发，这尤其对于那些新兴互联网业务非常适用。 据了解，Hadoop的软件工具非常丰富，主要提供了一套名为HDFS的分布式文件系统以及支持Map-Reduce的计算框架。此外，还提供构建在HDFS 和Map/Reduce之上的可扩展的数据仓库Hive，结构化数据库HBase，数据流高层语言Pig，高性能分布式协同服务ZooKeeper，以及面向大规模分布式系统的数据收集软件Chukwa等。 自2002年Apache设置相关项目以来，源于互联网的Hadoop也渐渐在互联网领域扎下了根。如Yahoo!使用4000节点的机群运行Hadoop，支持广告系统和 Web搜索的研究;Facebook使用1000节点的机群运行Hadoop，存储日志数据，支持其上的数据分析和机器学习;百度用Hadoop每天处理1PB的数据，进行搜索日志分析和网页数据挖掘工作;中移动研究院基于Hadoop开发了“大云”(Big Cloud)系统，不但用于相关数据分析，还对外提供服务;淘宝的Hadoop系统用于存储并处理电子商务的交易相关数据。 |
