第一个架构改动是创建一个直写式向量缓存包含了一个tweet ID的数组，tweet ID是序列化的64位整数。这一缓存的命中率是99%。
第二个架构改动是加入另一个直写式行缓存，它包含了数据库记录：用户和tweets。这一缓存有着95%的命中率并且使用了Nick Kallen的名为Cache Money的Rails插件。Nick是Twitter的一名系统架构师。
第三个架构改动是引入了一个直读式的碎片缓存，它包含了通过API客户端访问到的tweets的序列化版本，这些tweets可以被打包成JSON，XML或者是Atom的格式，有着同样是95%的命中率。这一碎片缓存“直接消费向量，而且如果现在缓存了一个序列化的碎片，它不会加载你试图看到的该tweet的实际的行，因此它将在大量时间将数据库置于短路状态，”Evan这样说到。
还有另一个改动是为页面缓存创建一个单独的缓存池。根据Evan的说法，该页面缓存池使用了一个分代的键模式，而不是直接的失效，因为用户可以发送HTTP的if-modified-since并且将任何他们想要的时间戳放入请求路径，我们需要将这一数组切片并只呈现给他们他们想要看到的tweets，但我们不想跟踪客户端所使用的所有可能的键值。这一分代的键模式有一个大问题，在于它不会删除所有失效的键值。每一个被加入的对应到人们所接收的tweets数目的页面都会向缓存推送有效的数据，最后变得我们的缓存仅仅只有五个小时的有效生命周期，因为所有的页面缓存都将流过。
当该页面缓存转移到其自己的池之后，缓存未命中降低了将近50%。
这是Twitter现在所使用的缓存模式：
因为80%的Twitter流量都来自API，因此还有额外的二层缓存，每一个最多将处理95%来自前一层的请求。整体的缓存改动总共有百分之二三十的优化，它带来了
10倍的容量提升，它本可以更多，但现在我们遇到了另一瓶颈...我们的策略是首先加入直读式缓存，确保它正确失效，然后再转移到直写式缓存并且在线修复，而不是当一个新的tweet ID进来时每次都要销毁。
消息队列
因为，平均来说一个用户有126个追随者，这就意味着每个tweet将有126个消息在队列里。同时，流量会有出现高峰的时候，就像在奥巴马就职的时候达到了每秒几百个tweet或者说是成千上万的消息在队列里，是正常流量的3倍。MQ应当去化解这一高峰并随着时间将其分散，这样就不用增加许多额外的硬件。Twitter的MQ很简单：基于Memcached的协议，job之间是无序的，服务器之间没有共享的状态，所有的东西都保存在RAM里，并且是事务性的。
第一版的MQ实现是用的Starling，以Ruby写成，伸缩性不佳，特别是Ruby的GC不是分代的。这将导致MQ在某一点上崩溃，因为GC完成工作时将会把整个队列处理中止。因此作出了将MQ移植到Scala上的决定，它有着更为成熟的JVM GC机制。现有的MQ仅仅只有1200行代码并且运行在3台服务器上。
Memcached客户端
Memcached客户端的优化目的是试图优化集群负载。现在的客户端用的是libmemcached，Twitter是其最重要的用户和其代码库最重要的贡献者。基于此，持续一年的碎片缓存优化带来了50倍的每秒页面请求服务增加。
因为请求来自的位置难以确定，处理请求最快的办法就是将预先计算好的数据存储在网络RAM上，而不是当需要的时候在每个服务器上都重新计算一次。这一方式被主流的Web 2.0站点所使用，它们几乎都是完全直接运行于内存之上。根据Evan的说法，下一步就是“既可伸缩的读持续了一年之后，(解决)可伸缩的写，然后就是多协同定位的问题”。
http://tech.it168.com/a2009/0902/672/000000672848_2.shtml