设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客

新一代弹性云计算平台 Cloudxy 发布 0.1 版

2011-11-29 17:01| 发布者: 红黑魂| 查看: 4964| 评论: 0|原作者: ChenLijun|来自: 开源中国

摘要: 从年初到现在,经过大半年的奋战,康华(博客)在工作之余,带领西邮兴趣小组的同学进行弹性云存储项目的开发,目前终于完成了第一个版本,取名cloudxy,其中的xy意味着,任何感兴趣者都可以加入进来,或许因为您的 ...


hlfs roadmap ?

    目前0.1版本实现了基本概念原型,系统支持随机读写。未来将进一步实现:

    checkpoint机制 ——
    block cache机制、异步回写机制 —— 目前都是写透读透,安全性高,但性能差。
    预读readahead —— 读性能优化主要靠readahead和提高cache命中率。
    异步实现hlfs driver for tapdisk —— 目前实现是用同步IO模型实现之。
    hdfs一致性的改进(或者说特化)

hlfs 项目中包含那些组件 ?

    libhlfs 库
    tools ——
        mkfs.hlfs 格式化工具
        hlfs-seg-usaage-calc 段使用统计工具
        hlfs-seg-clean 段清理工具(只能用于离线状态使用)
    hlfs driver for tapdisk2
        hlfs driver tapdisk2的一个driver
        tapdisk_ops 外部控制工具
    采用nbd架构的虚拟磁盘实现
        ndb-server
        nbd-client
        nbd-ops 外部控制工具

hlfs 和同类项目有什么区别 ?

    sheepdog——牧羊犬项目的目的和hlfs最为相似,都是奔着EBS服务而生。hlfs先从xen虚拟化实现入手,sheepdog从kvm入手 (不过这都不重要,两者都是面向block-level的)。牧羊犬项目的实现,颇具创意——其采用对等网(无单点)结构实现后台存储服务,颇有Dynamo的影子在其中;hlfs的后台存储没有自己实现,而是建设于hadoop dfs之上,可以说是站在巨人肩膀上 —— 我们也曾经思考过独立开发分布存储系统,不过考虑工作量、以及更重要的是,考虑到我们设想是在最终理想的云环境中离线任务和在线应用是无差别的混合部署。而hadoop是离线应用的基石之一。所以希望整个系统都能遵循以hdfs为最下层存储基础,其他各种服务(如VM服务镜像存储服务、如key value存储服务、SQL \NO SQL等数据服务)都建立在其上的“分层策略”。基于此考虑,我们选择了hdfs做后台存储。
    moose ——有些公司采用moose实现虚拟机镜像存储(存放镜像文件)。moose系统做镜像存储来说有点“大材小用”,或者尾大不掉的感觉。它是一个实在的文件系统,而不是block-level级别的存储系统,相比而言元数据管理稍微重点。moose系统存储镜像,就需要使用fuse模式挂载到本地系统,也就是说数据流要经过内核态转发,相比hlfs只存在于用户态,所以数据流更精简,另外就是错误不至于影响内核错误;另外moose系统的反熵过程比较慢,较为影响当前写操作;不能实现随时快照功能。
    Drbd ——DRDB可看成网络RAID。能解磁盘冗余、跨机器问题。但不能提供thin provisoning,也不能动态负载均衡。

更多关于Cloudxy的详细信息,或者下载地址请点这里


酷毙
5

雷人

鲜花

鸡蛋

漂亮

刚表态过的朋友 (5 人)

  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部