设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 开源资讯 查看内容

开源GraphLab突破人类图计算“极限值”

2014-2-26 10:45| 发布者: joejoe0332| 查看: 4054| 评论: 0|原作者: 毛梦琪|来自: CSDN

摘要: 目前图数据已应用于用户分析、欺诈检测、生命科学等多个领域,图数据巨大的商业价值逐渐被发现,开源项目GraphLab有力推动了图分析技术的发展,SFrame框架的首次亮相吸引来大量目光,未来的应用还会更加广泛。 ...


  GraphLab Create是为那些想要开发推荐系统之类数据产品的软件工程师和数据科学家设计的,即使那些对机器学习比较陌生的人也能很快上手,还可以帮助经验丰富的开发者节省大量时间。


  通过GraphLab Create可以开发数据产品或者用机器学习和图分析方法进行数据分析,可以连接到你的数据,通过迭代层次模型实现数据转换,并轻松地分析模型和系统性能,还可以在你的机器上运行应用或在AWS中运行实例。


  而SFrame就是GraphLab Create的一部分,三月份将发布Python包,以简化可扩展分析产品的创建(例如推荐系统和图型分析系统)。利用GraphLab Create,用户将能够从Python或Ipython内部生成和维护分析管道,并将它们部署在单个服务器上或整个群集(包括本地和云)。


  过去GraphLab被认为可扩展、速度快,但是使用困难而且应用范围有限。但过去的几个月里,GraphLab公司已解决两个首要问题,由此开发的工具应该可以大大增加GraphLab对于数据科学家的吸引力。与IPython的集成为PyData社区开启了一个GraphLab快速、可扩展分析模块时代(通过Python的六个线程生成端到端推荐)。SFrame和GraphLab Create扩展了数据科学工作流,使其包括数据转换(data wrangling)和数据吸收(data ingestion)。


在利用图工具分析之前,需要将数据转化成图。GraphBuilder是英特尔的一个开源项目,它使用Hadoop MapReduce从大型数据集中生成图。另一个选择是GraphX与Spark的结合产物,是由一个叫做Trifacta的新公司开发的多用途数据辨析工具。


  由于SFrames类似于Pandas(PyData)和R数据架构,数据科学家可以非常方便快速地使用它们,提高工作效率。要问SFrames为什么能吸引Strata与会者,我觉得是因为它能够扩展到更大的数据集: SFrame允许用户处理大型表格式数据集而不局限于内存大小。


相关链接:

Easily Manipulate Terabyte-Sized Datasets With GraphLab

Improving options for unlocking your graph data

酷毙

雷人
1

鲜花

鸡蛋

漂亮

刚表态过的朋友 (1 人)

  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部