这张图总结了缓存性能的三个主要指标：未命中率（Miss Rate）、命中时间（Hit Time） 和 未命中惩罚（Miss Penalty）。这些指标用于评估缓存系统的效率和性能。

1. 未命中率（Miss Rate）

• 定义：未命中率是指在所有内存访问中未找到（未命中）缓存的比例，计算公式为：
  $$\text{未命中率}=1-\text{命中率}$$
  即未命中率等于 1 减去命中率。
• 典型数值：
  • 对于 L1 缓存，未命中率通常在 3-10% 之间。
  • 对于 L2 缓存，未命中率可以非常低，通常小于 1%，具体值取决于缓存大小和其他因素。
• 解释：较低的未命中率表示缓存系统能有效地存储并提供常用数据，从而减少对主存的访问，提升性能。

2. 命中时间（Hit Time）

• 定义：命中时间是指将缓存中的数据传递给处理器所需的时间，包括判断数据是否在缓存中的时间。
• 典型数值：
  • 对于 L1 缓存，命中时间通常为 1-2 个时钟周期。
  • 对于 L2 缓存，命中时间在 5-20 个时钟周期之间。
• 解释：较短的命中时间表示处理器可以快速访问缓存中的数据，这对于高性能系统尤其重要。L1 缓存一般更接近处理器，速度较快，因此命中时间较短。

3. 未命中惩罚（Miss Penalty）

• 定义：未命中惩罚是指由于未命中而需要从更慢的存储层（如主存）获取数据所增加的时间。
• 典型数值：
  • 对于访问主存的未命中惩罚通常为 50-200 个时钟周期。
  • 这一趋势在现代系统中可能越来越高，因为处理器速度和主存速度差距在不断增加。
• 解释：未命中惩罚对系统性能影响较大，较高的未命中惩罚会导致处理器等待时间增加，降低整体系统效率。

总结

这三个指标反映了缓存系统性能的不同方面：

• 未命中率衡量了缓存有效性，低未命中率表示缓存有效地存储了常用数据。
• 命中时间表示缓存的访问速度，较短的命中时间可以加快处理器访问数据的速度。
• 未命中惩罚则表示未命中缓存带来的时间损失，较低的未命中惩罚可以减少缓存未命中对系统性能的影响。

综合这些指标，可以更好地设计和优化缓存系统以提升整体性能。

这张图通过一个例子来解释缓存系统中命中和未命中对平均访问时间的影响，并且指出未命中率相比于命中率在评估缓存性能上更具意义。

核心内容

1. 命中与未命中的巨大差异：

   • 当发生命中时，数据可以快速从缓存中读取；而当未命中时，处理器需要花费大量时间从主存中加载数据。
   • 这种差异在 L1 缓存和主存之间尤为显著，未命中时间可能比命中时间高达 100 倍。

2. 命中率 99% 是否比 97% 好一倍？

   • 从表面上看，99% 命中率似乎只是比 97% 高了 2 个百分点。然而，由于未命中带来的高代价，这 2% 的差异实际上会对性能产生巨大的影响。
   • 举例来说，假设：
     • 缓存的命中时间是 1 个周期。
     • 未命中的惩罚是 100 个周期。

3. 计算平均访问时间：

   • 97% 命中率的平均访问时间：
     $$\text{平均访问时间}=1\text{ cycle}+0.03\times 100\text{ cycles}=4\text{ cycles}$$
   • 99% 命中率的平均访问时间：
     $$\text{平均访问时间}=1\text{ cycle}+0.01\times 100\text{ cycles}=2\text{ cycles}$$
   • 由此可见，将命中率从 97% 提高到 99%，平均访问时间从 4 个周期降低到 2 个周期，提升了一倍。这表明命中率的微小提升可以显著减少未命中带来的时间开销。

4. 未命中率的重要性：

   • 图中最后强调，未命中率（Miss Rate）相比命中率（Hit Rate）在性能评估上更为重要，因为未命中惩罚对性能影响较大。
   • 通过关注未命中率，我们能更准确地衡量未命中带来的性能开销。

总结

• 未命中率是缓存性能的关键指标，因为未命中导致的额外延迟远远高于命中带来的加速。
• 提高缓存命中率，即使只是少量的提升，都会显著减少平均访问时间，进而提升系统性能。