Caching（缓存）在现代的计算机系统中是一项最古老最基本的技术。它存在于计算机各种硬件和软件系统中，比如各种CPU, 存储系统（IBM ESS， EMC Symmetrix…），数据库，Web服务器，中间件等。它的一个重要的作用就是用于弥补不同速度的硬件之间的存取速度的差距，cache可以完全通过硬件实现（算法也是通过硬件实现的），也可以通过在更快硬件上通过软件控制来实现。
EMCSymmetrix之所以如此的昂贵，就是因为在这个系统中，提供了一个640G全相连的高速数据缓存（DRAM缓存），完全用硬件实现，就像一个放大版的CPU一级缓存。
Caching技术对于现代计算机系统之所以如此重要，就是在于，任何一个小的改进都会对整个计算机系统产生巨大的影响。因为cache具备一个特性，用最高的性价比可以实现我们希望得到的系统整体性能。
比如，磁盘和内存相比，磁盘具有大容量的特性，而内存具有高性能，但是对于同等容量，磁盘相比于内存来说非常廉价。这也就是我们不可能把所有磁盘都替换成内存（先不考虑永久存储的特性），即便这样我们可以获得非常高的I/O速度。那么如何解决这两者之间的不匹配？就是利用缓存技术。利用内存介质为磁盘做一层缓存。这样就可以在不多花额外费用的同时，得到速度和容量的平衡。
同样的道理存在于内存和CPU缓存之间。下图是Intel Core i7 5500系列各部件的访问速度：
访问速度 | |
L1 Cache Hit | 4 cycles |
L2 Cache hit | 10 cycles |
L3 Cache hit, line unshared | 40 cycles |
L3 Cache hit, shared line in another core | 65 cycles |
L3 Cache hit, modified in another core | 75 cycles |
Remote L3 cache | 100~300 cycles |
Local RAM | 60 ns |
Remote RAM | 100 ns |
从这里我们可以看到缓存对于系统性能的重要性。但是我们要达到理想的性能，还必须提高缓存的命中率，这样缓存才可以最大限度的得到利用。