Twitter:收发一条推文的背后

　　Twitter被称为“互联网的短信服务”，允许用户发布不超过140个字的微博客，该创意来自Twitter的联合创始人Jack Dorsey，这个在7年前被分析师称为“有史以来最愚蠢”的创意，不料如今已经成为了风靡全世界的社交网络和微博客服务，月活跃用户达到了2.183亿人，每天大约有5亿条推文（tweet）被发送，几乎每秒钟就产生了超过6000条推文。

　　2013年11月7日，Twitter正式在纽约证券交易所上市，发行价26美元，但开盘即大涨73%至45.1美元。

　　Twitter可以称之为构建于开源项目之上，该公司开源负责人Chris Aniszczyk表示，如果没有开源软件，Twitter将不会存在，用户在移动端和PC端发送和接收的每一条推文都会需要开源软件。

　　在Twitter公司，当计划开展一个新项目时，工程师会首先衡量需求以及开源项目的能力，并通过定制开源项目来更好地满足需求。正是如此，Twitter才发展如此迅速，并轻松解决了日益飞速扩增的流量和请求。

　　Twitter所使用的开源项目

　　Twitter每天需要处理用户发送的推文数超过4亿条，此外还要处理大量的时间线（来自用户关注的人的所有推文），这一工程是相当浩大和复杂的。Twitter使用了大量的开源项目，从各种工具到各种库。如果没有这些开源项目，日常工作将无法正常运作。

　　下面来看看推文传递的背后都用到了哪些开源项目。

　　1.  分析和搜索服务

　　Twitter的搜索服务每天支持超过10亿次的查询，其背后的开源项目包括：

• Apache Cassandra：一套分布式NoSQL数据库系统，以Amazon专有的完全分布式的Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发，于2008开源并捐赠给Apache基金会。
• Apache Hadoop：由Apache基金会所开发的分布式系统基础架构，可使应用程序充分利用集群的威力高速运算和存储，用户可以在不了解分布式底层细节的情况下，开发分布式程序。
• Apache Lucene：一个全文检索引擎工具包，目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
• Apache Pig：一个基于Hadoop的大规模数据分析平台，它提供的类SQL语言称为Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

　　2. 服务器和存储

　　Twitter需要将每天用户发送的推文存储到数据库，并推送给其他相关的用户。该过程用到的开源项目包括：

• Linux：主要用于Twitter服务器。
• Memcached：主要用于Twitter的缓存基础设施，作用是加速动态Web应用程序，减轻数据库负载。
• Mysql：流行的开源关系型数据库，被Twitter大量用于存储Twitter消息。
• Node.js：一套用来编写高性能网络服务器的JavaScript工具包，在Twitter中用于队列处理（接收推文并写入数据库），使服务器能处理每个连接而不会阻塞通道。