开源助力大数据精进 越来越多的公司开始聚焦于大数据技术领域,而开源恰恰是大数据技术的灵魂。现在已经有了许多数据相关的开源项目和工具,例如众所周知的Hadoop. 现在最为欠缺的并不是数据分析的工具,更多的是怎 样把这些工具与实际的业务场景结合起来。很多人一想到大数据就会想到Hadoop,但实际上,程序员需要根据自己的实际业务场景,选择适合自己的工具。例 如需要评估,是否需要实时分析,如果是,也许Storm是一个不错的选择;是否需要对单一记录的处理,而不是分析,如果是,也许一些NoSQL就可以满足需求。
ThoughtWorks公司最近在做的就是这样的探索,他们制作了一个大数据工具的全景图,然后,帮助客户分析其业务场景,看看客户需要的大数据需求,属于哪种类型,再结合全景图以及客户的技术栈推荐相应的工具及解决方案. 郑晔认为,随着大数据概念的发展,程序员们的技能需要更新,需要更好的熟悉这些工具,但最重要的是对于数据分析技术的熟悉。数据分析,这个原本对程序员很高深的词汇,在未来一段时间,会变得随处可见,甚至有可能成为程序员的基本功之一。 结语 总之,使用开源技术的好处颇多。简单来讲,它有利于减少垄断,减少某一个公司,或者几个公司对业界垄断性的管理和控制;非常有利于公平的竞争,进而催生大量的创新,并将之宣告世界,被众人所接受。 近年来,国内的一些大公司开始涉足开源,并努力营造一种开源文化。在这样的氛围中,对程序员是友善的,程序员在其中能得到更大的发展,更好地自我实现。 未来,如果能有更多关于开源的报道和活动,给更多开源项目和开源人曝光的机会,那么开源技术也就没有想象中的那么高不可攀了,开源会逐渐从IT行业的创新工具变成普通民众的日用品。 |