Buffer cache 的原理

一、

1·）当一个服务器进程需要读数据到buffer cache中时，首先必须判断该数据在buffer 中是否存在，如果存在且可用，则获取该数据，根据lru算法在lru list上移动该block；如果buffer中不存在该数据，则需要从数据文件上获取

2）在读取数据之前，server进程需要扫描lru list 寻找free的buffer，扫描过程中server进程会把发现的所有已经被修改过的buffer移动到checkpoint queue上，这些dirty buffer随后可以被写出到数据文件。

3）如果checkpoint queue超过了阈值，server进程会通知dbwn去写出脏数据；这也是出发dbwr写的一个条件。

  Select   kvittag,kvitval,kbvitdsc  from x$kvit  where  kvittag=’kcbldq’;

   如果server进程扫描lru超过一个阈值仍然不能找到足够的free buffer ，将停止寻找，转而通知dbwn去写出脏数据，释放空间。

   Select   kvittag,kvitval,kbvitdsc  from x$kvit  where  kvittag=’kcbfsp’;

同时由于增量检查点的引入，dbwn进程也会主动扫描lru list，将发现的dirty buffer 移动至checkpoint queue，这个扫描也受到一个内部 约束，

   Select   kvittag,kvitval,kbvitdsc  from x$kvit  where  kvittag=’kcbdsp’;

  4)找到足够的buffer之后，server进程就可以将buffer从数据文件读入buffer cache

  5）如果读取的block不满足读一致性要求，则server进程需要通过当前block版本和回滚段构造前镜像返回给用户。

   从oracle 8i开始lru list 和dirty list 引入了辅助的list，用于提高管理效率，当数据库初始化时，buffer首先存放在lru的辅助list上，当被使用后移动到lru 的主list上，这样当用户进程搜索free buffer时，首先从辅助list上搜索，当dbwr搜索dirty buffer时 会首先从lru 的主list上进行搜索，提高了搜索效率和数据库性能。

二、转储buffer cache 的内容（1-10级）

 Alter  session  set  events ‘immediate  trace  name  buffers level  4’;

Level  1:仅包含buffer headers 的信息。

Level  2：包含buffer headers和buffer概要信息转储

Level 3：包含buffer headers和完整buffer内容转储。

三、cache buffer  lru chain 闩锁竞争与解决

   当用户进程需要读数据到buffer cache时，或cache buffer根据lru算法进行管理时，就不可避免地要扫描lru list 获取可用buffer或更改buffer状态。在搜索的过程中必须获取latch，锁定lru的latch就是常见到的cache buffers  lru chain

  解决该latch竞争的方法：

    1）适当的增加buffer cache，这样既可以减少读数据到buffer cache的机会，减少扫描lru list 的竞争

。

2）可以适当增加lru latch 的数量，修改_db_block_lru_latches 参数可以实现，

3）通过多缓冲池技术，可以减少不希望的数据老化和全表扫描等操作对于default池的冲击，从而减少竞争。

四、cache  buffer  chain 闩锁竞争与解决

   1、在lru和checkpoint queue这两个内存结构之外，buffer cache的管理还存在另外两个重要的数据结构：hash bucket 和 cache buffer chain

   2、为了提高oracle 确定某个block在buffer中的位置，oracle引入了bucket的数据结构，oracle把管理的所有buffer通过一个内部的hash算法运算之后，存放到不同hash  bucket中，这样通过hash bucket进行分割之后，众多的buffer 被分布到一定数量的bucket之中，当用户需要在buffer中定位数据是否存在时，只需要通过同样的算法获得hash值，然后到相应的bucket中查找少量的buffer即可确定。每个buffer存放的bucket由buffer的数据块地址运算决定。

Bucket 内部，通过cache buffer chain （一个双向链表）将所有的buffer通过buffer header信息联系起来。

Buffer header 存放的是对应数据块的概要信息，包括数据文件号、块地址、状态等。要判断数据块在buffer中是否存在，通过检查buffer header即可确定。

3、bucket的数量受一个隐含参数的影响：

    Db_block_hash_budkets

1)       从oracle 8i开始，bucket的数量比以前大大增加，通过增加的bucket的稀释使得每个bucket上的buffer数量大大减少。

2)       oracle 8i之前，_db_block_hash_laches的数量和bucket的数量是一致的，每个latch管理一个bucket；从oracle 8i开始每个latch管理多个bucket，由于每个bucket上的buffer数量大大降低，所以latch的性能反而得到了提高。

3)       每个bucket存在一条cache buffer chain

4)       Buffer header 上存在指向具体buffer的指针。

5)       了解了以上算法后，可以想象，如果大量进程对相同的block进程进行操作，那么必然引发cache buffer chain的竞争，也就是通常所说的热快竞争。

五、x$bh和 buffer header

  每个buffer在x$BH中都存在一条记录。

  X$BH中有一个重要字段TCH   ，TCH为touch的缩写，表示一个buffer的访问次数，buffer被访问的次数越多，说明该buffer越抢手，也就是可能存在热点块竞争的问题

  查询当前数据库最繁忙的buffer

    Select *

     From (select addr,ts#,file#,dbarfil,dbablk,tch

            From x$bh

            Order by tch desc)

     Where rownum<11;

结合dba_extents中的信息，可以查询到这些热点buffer都来自那些对象。

Select   e.owner,e.segmet_name,e.segment_type

From dba_extents e,

（Select *

     From (select addr,ts#,file#,dbarfil,dbablk,tch

            From x$bh

            Order by tch desc)

     Where rownum<11）

Where  e.relative_fno=b.dbarfl

       And e.block_id<=b.dbablk

       And e.block_id+e.blocks>dbablk;

如果需要确定热点块对象，可以从v$latch_children中查询具体的子latch信息。

X$BH中还存在另外一个关键字段hladdr 即hash chain latch address，这个字段可以和v$latch_child.addr进行关联，这样就可以把具体的latch竞争和数据块关联起来。再结合dba_extents视图再结合v$sqlarea或者v$sqltext找到频繁操作这些对象的sql，然后对其进行优化，即可缓解或解决热点竞争的问题。

oracle buffer cache的基本原理