设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 开源资讯 查看内容

Structure Big Data揭示Hadoop未来

2011-4-1 17:07| 发布者: joejoe0332| 查看: 7834| 评论: 0|原作者: InfoQ|来自: InfoQ

摘要:   关于新版Hadoop的新闻和流言充斥着整个Structure Big Data会议。在以MapReduce为主题的小组讨论上,DataStax宣布了Brisk,这款产品基于Hadoop构建,但是它却使用了Cassandra而不是默认的HDFS作为文件系统来存储 ...

  记者采访了Werther和首席工程师Jake Luciani,询问了Brisk的架构和作为文件系统的CassandraFS的实现。我们在此对HDFS及其可能的改进版本,还有CassandraFS的一些关键的区别列在下表中:

当前版本 HDFS可能改进 CassandraFS
NameNode(NN)是单点故障(SPOF) 一些改善和消除NNSPOF的方法正在开发中。 CassandraFS将数据存储在Cassandra中,没有SPOF。
文件元数据保存在RAM中的单个进程中,限制了文件总数 结合HDFS和BookKeeper是一个调节数据存储能力的方法,不过正在开发中。 CassandraFS提供了可视化的无限文件调整。
不支持WAN数据冗余 不支持WAN数据冗余 Cassandra支持多数据中心数据冗余
支持数据追加(在Cloudera Distribution for Hadoop 3和Apache Hadoop 0.21) 不可用 设计之初就支持追加功能,不过第一个版本并不支持,因为HDFS追加功能本来是用于支持HBase的,这个功能的开发很有难度

  从技术上来说,CassandraFS创建了一个将其路径作为key的表,并且将inodes以及一些元数据,例如文件拥有者,权限和块数据作为值。而且还有另外一张表,使用块的id作为key,而序列化的块作为值。

  Werther提到Brisk也可以和其他的Hadoop周边代码共存。并且回应了InfoQ的关于客户如何加载非Cassandra的日志数据,他说客户可以使用Cloudera Flume,这个工具已经验证可以和Brisk一起使用。同时,Wether也提到了Cloudera Hue,表示这个基于浏览器的用户界面同样也可以和Brisk共存。


酷毙
1

雷人

鲜花

鸡蛋

漂亮

刚表态过的朋友 (1 人)

相关阅读

  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部