设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客

大数据开放日:腾讯云存储实践与SequoiaDB数据库详解

2014-5-23 15:20| 发布者: joejoe0332| 查看: 3900| 评论: 0|原作者: 王子殿下|来自: CSDN CODE

摘要: 2014年5月17日(周六)、18日(周日)两天,我们在深圳举行了“大数据开放日”活动。本次活动的目的是为普及大数据相关知识,促进广州、深圳地区大数据爱好者的交流,增强企业使用大数据相关开源项目的意识。 ...
  2014年5月17日(周六)、18日(周日)两天,我们在深圳举行了“大数据开放日”活动。本次活动的目的是为普及大数据相关知识,促进广州、深圳地区大数据爱好者的交流,增强企业使用大数据相关开源项目的意识。


   本活动由 CSDN CODE与 腾讯大讲堂联合主办,同时得到了CSDN开源战略合作伙伴 腾讯公司、 腾讯云、 腾讯基金会的大力支持。


  本次“大数据开放日(深圳)”进行了两场,分别是5月17日(周六)下午的畅聊沙龙和5月18日(周日)全天的大数据专场培训。活动邀请了来自腾讯数据平台部的高级工程师赵伟、巨杉软件公司CTO王涛等广东地区的知名企业的大数据项目负责人为大家分享企业在大数据方面的实践故事。虽然深圳天气变化多端,但参加本次活动的小伙伴们热情很高,对此,我们表示非常感谢。


  下面是本次活动的简单报道。


  一、TDW:腾讯开源的分布式数据仓库


  腾讯分布式数据仓库(Tencent distributed Data Warehouse,简称 TDW),是腾讯工程技术事业群数据平台部基于开源软件研发的大数据处理平台,它基于Hadoop、Hive、PostgreSQL之上进行研发,并在开源软件的基础上做了大量的定制和优化。




  目前,TDW是腾讯内部规模最大的分布式系统,集中了腾讯内部各个产品的数据,为腾讯的各个产品提供海量数据存储和分析服务,包括数据挖掘、产品报表、经营分析等服务。TDW作为腾讯首批对外开源软件,代码已经托管到CSDN CODE平台。


  TDW代码托管地址: https://code.csdn.net/Tencent/tdw


  关于TDW的详情,可参阅文章:《【资料】TDW:腾讯开源的分布式数据仓库》



  二、腾讯云的存储实践:为你讲述演进之路


  来自腾讯基础架构部的程彬,为大家详细介绍了腾讯云的CDB、CBS、CKV的演进之路。随着业务需求不断变化,只有不断地改进现有的技术设计才能适应业务发展、满足用户需求。


  那什么是CDB、CBS、CKV呢?我们下面来简单了解下:


  • CDB:Cloud Database,云数据库,SQL的关系数据库,适用于结构化查询场景,目前腾讯云CDB的第三方业务400达余款,腾讯公司内部业务已达300余款,目前共有4000多台机器,提供200T存储空间;
  • CBS:Cloud Block Storage,云盘,是虚拟块设备存储系统,CBS(云盘)主要为用户提供块层存储服务;CBS表现形式就是一个 /dev 块设备,用户可以对其做格式化、创建文件系统,同时CBS的数据存储在远端集群,支持快照、故障转移;
  • CKV:是极高性能、内存级、持久化、分布式的Key-Value存储服务,适用NoSQL接口的键值型高速存储,以不同空间参数对用户提供服务。使用CKV,可以很好地支持Master/Slave热备、切换后实例的IP/Port不变,应用层无需修改配置;支持空间自动扩缩,无需业务参与;支持冷热分离,以降低成本。


  详情,可参阅演讲幻灯:


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部