首页 > 代码库 > oracle整体结构-内存结构、物理结构、逻辑结构、进程

oracle整体结构-内存结构、物理结构、逻辑结构、进程

 

 

Oracle的体系结构大体上分为两部分:Instance(实例)和Database(数据库)。

 

  • Instance(实例) :在Oracle Instance中主要包含了SGA以及一些进程(例如:PMON、SMON、DBWn、LGWR、CKPT等)。如果一个用户的进程连接到Oracle Server时,其实就是连接到Oracle Instance。在SGA中又包含了5大部件:Share Pool、Database Buffer Cache、Redo Log Buffer、Java Pool、Large Pool。
  • Database(数据库) :Database其实就是一堆文件组成的,主要是用于存储着数据,Database中主要包含三种类型的文件:Data Files、Control Files、Redo Log Files。

 

下面介绍几个Oracle重要概念:


Oracle Server(Oracle服务器) 
      Oracle Server又包含两部分:Oracle Instance和Oracle Database(Oracle Server是一个比较大的概念,我们通常说的Oracle服务器就是指的Oracle Server)。

 

 

Oracle Instance(Oracle实例) 
      Oracle Server用于管理数据,数据存储在Oracle Database中,其表现形式为存储在磁盘上的一堆文件,如果要去访问这堆文件,需要有一个媒介------Oracle Instance,Oracle Instance是访问Oracle Database的一种手段。
       一个Oracle Instance对应一个且只能对应一个Oracle Database,而一个Oracle Database可以有多个Instance来访问他,也就是说Oracle Instance和Oracle Database是多对一的方式。一般情况下我们以一台机器上安装Oracle时都是以Instance和Database一对一的方式,但是在Oracle集群(Oracle RAC环境)的情况下他是多个Instance对应一个Database。

 

 

Oracle Instance有两部分组成:

 

  • Memory Structures(内存结构) :Memory Structures就是Oracle Instance中的SGA。
  • Background Process Structures(后台进程结构) :Background Process Structures就是指PMON、SMON、DBWR、LGWR、CKPT等后台进程。

Oracle Instance启动时就会启动一些Background Process并且分配内存,Oracle Instance是易于消失的。(相对于数据库文件来说,例如:一断电就没有了)。

 

Oracle数据库Connection & Session

 

Oracle Connection 
      Oracle中的Connection是指一个Oracle的客户端和后台的服务器建立的一个TCP连接,一定是Oracle客户端和后台的进程(Server Process)建立的TCP连接。

 

在Oracle Process中有三种类型:

 

  1. Background process(后台进程)他是Oracle Instance的基本组成部分
  2. Server process(服务器进程)其实Background Process和Server Process都是Oracle的后台进程。其中Background Process是专注于数据库核心服务的进程;而Server process是处理客户端和服务器之间连接的进程。
  3. User process(客户端进程) 客户端要与服务器连接,那么在客户端启动起来的进程就是User Process(例如:SQL*Plus、Toad等)。用户登录到Oracle Server就是User Process和Server Process建立Connection。

Oracle Session

 

 

      Connection建立的过程其实就是首先建立TCP连接,Oracle对用户的身份进行认证、进行安全审计等等,当这些都通过后Oracle的Server Process才会允许客户端使用Oracle提供的服务,当Oracle的连接建立起来以后,就意味着开始了一个会话,当连接断开的时候这个回话就消失了。Session是和Connection相辅相成的。Session信息会存储在Oracle的Data Dictionary中。

 

下图为在Linux中启动Oracle Instance

 

输入一个【!】便可以切换到shell中。后续如果想返回sqlplus中输入【exit】即可。

通过Linux命令ps –ef可以查看Oracle进程(Oracle Instance)

 

 

Oracle Database(Oracle数据库)

 

 

      Oracle Database其实就是一堆文件,这堆文件是一堆数据,他们是作为一个整体。Oracle Database包含三种基本的核心文件类型Data File、Control File、Redo Log File。

 

 

  • Data Files(数据文件) :Data Files就是用于存储数据的,Table中的数据都是保存在Data File中的。
  • Control Files(控制文件) :Oracle为了操作Data File,提供了一些Control files,这些Control File主要是记录数据库的一些控制信息。
  • Redo Log Files(重做日志文件) :Redo Log Files记录着数据库的改变,如果向数据库中放入数据或者是修改里面的数据,只要对数据库作了修改,那么就要将修改之前的状态、修改之后的状态都会记录在Redo Log Files中,其作用就是恢复Data File。例如:数据库有一个事务需要提交,但是提交失败了,事务就要回滚,那么事务回滚的依据就来自于这个Redo Log Files。Redo Log Files中记录着数据库的改变,关于这个事务的改变,如果需要回滚就需要把Redo Log Files中的数据取出来,依照Redo Log Files中的数据把Data Files恢复到修改之前的状态。
  • Parameter File(参数文件) :任何一个数据库都必须要有参数文件,这个参数文件就规定了Oracle中的一些基本的参数、初始化的参数的值。
  • Archived Log Files(归档日志文件) :Archived Log Files和Redo Log Files是相辅相成的,Redo Log Files其实是一个反复利用的过程,他会有几个(一般为3个)固定的文件,这些固定文件他会被依次使用,用满了以后,Oracle就会在此写这个文件头,就把以前的东西冲掉了。为了进一步加强数据库的备份恢复能力,在覆盖之前把这些修改的信息都把他归档到Archived Log Files中。
  • Password File :用与户客户端连接到后台数据库系统时候存储口令的。

 

      下面显示在Linux安装的Oracle的Database部分。下面显示的这一大堆文件就是Oracle Database(一般存放在数据库安装路径下的实例名对应的目录下)。

 

  • *.tcl控制文件
  • *.dbf数据文件
  • *.log重做日志文件

 

 

 

Memory Structures

 

 

 

Oracle的Memory Structures实际上包含两部分内容:SGA和PGA:

 

  • SGA(System Global Area系统全局区) 一个Oracle Instance对应一个SGA,SGA在Oracle Instance启动的时候被分配,SGA是Oracle Instance的基本组成部分。一个Oracle Instance就仅有一块SGA,SGA是一个非常大的内存空间,甚至可以占据物理内存的80%。
  • PGA(Program Global Area程序全局区) 一个Server Process启动的时候就会分配一个PGA。

 

      整个Oracle Instance只有一个SGA,一个Server Process就会有一个PGA。在Oracle Instance中PGA可能会很多。例如启动10个Server Process就会有10个PGA。无论启动多少个进程,只要有一个Oracle Instance那么他就仅有一个SGA。 
      Oracle的使用场景一般为管理海量数据,那么大量的数据都是存储在磁盘上的,为了提高存储、访问的效率,那么Oracle必然会在内存中开辟一块很大的内存区域(内存的访问速度要快几千倍几万倍)。Oracle是一个比较耗费内存的软件,一般他会把可用的内存全部用完,他的内存一般是消耗在SGA上。

      当Linux/Unix下的Oracle进程启动,我们可以在Linux/Unix的shell中输入【ipcs】命令查看系统共享内存分配的情况(IPC是进程间通讯的一种机制,ipcs命令是用于查看ipc资源的、ipc状态的)。在Linux/Unix中Oracle的SGA的实现方式就是利用Shared Memory Segments(共享内存),对于Windows的实现方式可能不同。SGA的大小是可以配置的,随着数据库的负载加大,Oracle Instance对内存的需求加大,那么SGA也会扩张甚至会把整个内存都消耗掉。

 

 

 

SGA(System Global Area)

 

SGA(System Global Area系统全局区),其中包含以下几大块的基本内存:

  • Shared Pool
  • Database Buffer Cache
  • Redo Log Buffer
  • Large Pool
  • Java Pool

      其中Shared Pool、Database Buffer Cache、Redo Log Buffer是核心的内存区域,其中Large Pool和Java Pool是可选项的(在Oracle 11g中又包含了String Pool)。
      对于一个启动好的Oracle数据库,怎样去查看他的SGA?以Linux为例,首先可以通过命令【ps –ef | grep oracle】查看Oracle 的Background Process。

 

输入命令【show sga;】便可以查看SGA的信息了。

 

 

      在早期的Oracle版本中,在Oracle启动之后SGA就是固定不变的,在Oracle 9i以后的版本就可以在运行时发生改变,即在线动态调整SGA的值。Oracle Instance启动起来就会分配一个SGA,用户便可以向数据库服务发送请求,随着用户发出的请求负荷增大,Oracle需要的内存资源就越大,因此SGA就需要扩张,所以便有了可以动态变化SGA的需求。
在SGA中有一个重要的参数 SGA_MAX_SIZE ,该参数决定了Oracle Instance SGA的最大值,在这个上限的范围内,SGA可以分配他的每个部件占用多少内存。SGA可以动态增长或缩小,SGA每次增大或缩小的单位granules(granules是SGA分配内存的基本单位,通常对于SGA小于128M的情况granules=4M,SGA超过128M的情况granules=16M )。SGA是一个连续分配的内存区域,而且他的分配最小单位是granules但是他的最大尺寸不能超过SGA_MAX_SIZE。
      执行下图中的SQL语句便可以查看当前Oracle系统的granules。下图显示了SGA的组成部分以及每个组成部分的granules。

 

      SGA最大值是由SGA_MAX_SIZE决定的,它里面又包含了不同的组件(Shared Pool、Database Buffer Cache、Redo Log Buffer、Large Pool、Java Pool),这些内部组件也有其内存大小设置的参数:

  • DB_CACHE_SIZE 用于设置Database Buffer Cache的内存大小
  • LOG_BUFFER 用于设置Redo Log Buffer的内存大小
  • SHARED_POOL_SIZE 用于设置Shared Pool的内存大小
  • LARGE_POOL_SIZE 用于设置Large Pool的内存大小
  • JAVA_POOL_SIZE 用于设置 Java Pool的内存大小

      Oracle10g引入了一个功能,就是自动内存分配功能,例如:已经制定了SGA_MAX_SIZE,在这个上限范围内,具体每个部件最优的尺寸设置有Oracle自动来进行分配。这样便可以减少对如果设置SGA内部各组件的内存大小设置的问题。随着Oracle负荷的变化,Oracle会自动去调整内存分配的最佳布局。

 

Shared Pool

 

 

      Shared Pool(共享池)的主要作用是存储SQL解析后的内容。例如:发出一个SQL语句或命令让数据库执行,SQL就需要在数据库内部就需要被解析,建立执行计划,然后按照执行计划去执行,每个SQL语句都要被解析成原始操作去执行,解析好的SQL语句都会存储在共享池中。
      在Oracle Instance中Shared Pool非常总要,它关系到数据库的性能,共享池包含两块共享内存,这两块共享内存关系到数据库的性能。

  • Library Cache :Library Cache中存储的是经过编译解析后的SQL和PL/SQL语句的内容。如果下次在执行同样的SQL语句的时候,就不需要解析了,立即从Library Cache获取执行。Library Cache的SIZE会决定着编译解析SQL语句的频度,从而决定了性能。Library Cache中有包含两部分内容:Shared SQL Area和Shared PL/SQL Area。Library Cache是Shared Pool的一个子部件,Library Cache的SIZE是由Shared Pool来决定的。
  • Data Dictionary Cache :Data Dictionary就是存储着数据库控制信息。为了提高访问Data Dictionary的速度,此时需要一个Cache,需要的时候访问内存即可。Data Dictionary Cache里面的信息包含了database files、tables、indexes、columns、users、privileges和其他的数据库对象。数据字典是使用最频繁的,几乎所有的操作都需要到数据字典去查询(例如:需要针对一个表进行操作,就需要到数据字典去查询用户对这个表是否具有访问权限等等),他的SIZE是由Shared Pool来决定的。

      可以在线去更改Shared Pool的SIZE,只需要执行下面的SQL语句即可:

  1. ALERT SYSTEM SET SHARED_POOL_SIZE=64M  

 

Database Buffer Cache

 

 

      Database Buffer Cache的任务主要是用于存储数据文件中的数据,在Oracle中数据是存储在磁盘上的,又不可能将所有的数据文件内容都放到内存中,但访问磁盘中的数据速度又会很慢,那么就需要将其中一部分的数据放入到内存中,当用户去访问时发现需要访问的信息在内存中,那么就不需要访问磁盘了,这样提升了访问的速度。
      Database Buffer Cache就是包含了来自于Data File中的数据以及即将要写到Data File中的数据(也成为Dirty Buffer)都会保存到这个Database Buffer Cache中,而且Database Buffer Cache得SIZE是最大的。例如一个用户去访问一个表里面的记录时,数据库接收到这个请求后,他首先会在这个Cache中查找是否存在该数据库表的记录,如果有这个记录直接从内存中读取该记录返回给用户,否则只能去磁盘上去读取。很显然如果希望性能提高就需要提升Cache的命中率。
      Database Buffer Cache中存储的是Data Blocks(数据块)。Oracle中的数据是按照Block来进行存储的,Block是Oracle存储的最基本的单位。在Database Buffer Cache中针对Block的SIZE的设置,对应的参数是:DB_BLOCK_SIZE。

在Database Buffer Cache中包含三部分内容:

 

  • DB_CACHE_SIZE
  • DB_KEEP_CACHE_SIZE
  • DB_RECYCLE_CACHE_SIZE

 

      Database Buffer Cache可以在线去更改SIZE,只需要执行下面的SQL语句即可:

  1. ALERT SYSTEM SET DB_CACHE_SIZE=64M  

       在性能调优的过程中,需要去监控DB_CACHE_SIZE的行为和他的统计信息,可以使用DB_CACHE_ADVICE参数来设定是否要收集信息,如果收集信息那么收集后的信息就会放在V$DB_CACHE_ADVICE表中。

 

Redo Log Buffer

 

 

      数据库是处于经常在改变的,比如有时候事务失败的需要回滚,就需要Redo Log Files来记录数据库的改变,如果想恢复数据库文件就用Redo Log Files里面的内容进行恢复。Redo Log File在内存中有一个对应的Cache它称为Redo Log Buffer。每次对数据进行改变,在Redo Log里面就会有相应的一条记录,这条记录称为Redo Entries,一条Redo Entries就可以恢复一次对数据库的改变。Redo Log Buffer的SIZE由参数LOG_BUFFER来决定。

 

Large Pool

 

      Large Pool主要是用于处理一些额外的工作,比如说使用RMAN进行备份需要使用Large Pool或者进行并行处理的时候会需要用到Large Pool。做一些IO操作的时候也会用到Large Pool。Large Pool的SIZE由参数LARGE_POOL_SIZE来决定。

 

Java Pool

 

      Oracle支持Java编程,例如支持Java编写存储过程的,Java Pool的SIZE由参数JAVA_POOL_SIZE来决定。

 

PGA(Program Global Area)

 

 

      PGA(Program Global Area程序全局区)与SGA不同,每一个Background Process对应一个PGA(例如:PMON就会有一个PGA与之对应)。PGA和SGA是平等的关系,并不存在包含关系。

 

Process Structures

 

      Oracle分为三种类型的进程:User Process、Server Process、Background Process。其中Server Process和Background Process都属于后台进程。为了连接Oracle的后台服务器,那么User Process是在客户端所必须的进程。Oracle本身的进程细分成两类,就是前面提到的Server Process和Background Process。Oracle是可以运行在多种平台下,而Linux和Windows的进程有所不同,在Linux中进程为基本单位,所以Oracle在Linux(或Unix)中体现的是多个进程。而在Windows中一般是在进程中运行多个线程,所以Oracle在Windows中的体现是一个大的进程中运行了多个线程。

 

User Process

 

 

      Oracle User Process就是Oracle客户端的进程,任何程序如果想去连接到Oracle的后台,那么这个程序就是Oracle的客户端(一般是编译利用Oracle提供的类库实现)。例如下面使用SQL*Plus进行登录,通过Windows Task Manager可以看到这便是Oracle User Process。

 

 

 

 

Server Process

 

 

      Oracle的后台进程分为两类,一类是Background Process,另一类就是Server Process。Server Process主要是负责和User Process连接。Oracle的连接方式有两种:Dedicated Server模式和Shared Server模式。Server process是处理客户端和服务器之间连接的进程。
以Linux为例,首先通过命令ps –ef | grep oracle查看Oracle进程。

 

      当有User Process与Server Process进行连接的时候,以Linux为例,通过ps –ef | grep oracle这时会发现后台进程中多出了一个进程(即本例中的:oracledlw),之所以客户端可以连接到Oracle Server,就是这个进程与客户端进程进行的通信,这个进程就是Server Process的一种。

 

 

 

在Oracle的服务器也可以通过SQL*plus命令进行客户端连接到Server Process。

 

 

      那么在客户端机器使用客户端工具访问Oracle Server和在Oracle服务器上直接使用SQL*plus访问Oracle Server有什么区别呢?下图的两个大的矩形框表示两台物理机,黄色的框表示网卡,主机中的圆圈表示进程,两台机器的进行通信,需要通过网卡进行连接,一般是通过TCP/IP建立的连接,对于同一台计算机的进程之间的通信方式有两种:第一种方式为利用IPC进行通信;另一种方式为模拟TCP/IP方式,在Linux中有一个特殊的网卡【lo】这个网卡称为Local Loopback(本地环路网卡),他的IP地址永远是127.0.0.1,即使计算机不存在物理网卡这个网卡也是存在的。这种方式其实就是本地对本地的通信。

 

 

IPC:Inter Process Communication,包括共享内存、队列、信号量等几种形式。

 

 

 

Background Process

 

      Background Process是Oracle Instance的核心,Oracle中有很多Background Process,下面可以通过命令 ps –ef | grep oracle   查看Oracle的进程,Oracle Background Process都是以【ora_ 】为前缀,以【_数据库实例名 】为后缀。

 

 

Oracle Background Process又分为两种:

 

  • Mandatory Background Processes(必须的后台进程):当Oracle Instance启动完成以后这些进程必须要存在(例如:DBWn其中n表示从0开始,可能存在多个进程)。

 

  • Optional Background Process(可选的后台进程):根据具体的配置,这些进程可能启动或不启动。

 

DBWn(Database Writer)

 

 

      DBWn是Oracle中工作最繁重的进程。他的任务是把SGA中的Database Buffer Cache中保存着已修改过的内容(Dirty Buffer)写到Data File中,已经发生过修改的这些Buffer,在Oracle中称为Dirty Buffer(脏数据)。Data Buffer Cache中的Dirty Buffer通过DBWn Process写入Data File,如果数据库的负荷比较大,来自于客户端的请求比较多,存在大量的IO操作,需要频繁的将缓冲区的内容写到磁盘文件上,那么这时就可以配置多个DBWn(一共Oracle支持20个DBWn,DBW0-DBW9,DBWa-DBWg)。通常一个中小型的Oracle只需要一个DBW0 Process就可以了。

 

触发DBWn Process将缓冲区的内容写到磁盘文件的条件:

 

  • Checkpoint Occurs
  • Dirty Buffer reach threshold
  • There are no free Buffers
  • Timeout occurs
  • RAC ping request is made
  • Tablespace OFFLINE
  • Tablespace READ ONLY
  • Table DROP or TRUNCATE
  • Tablespace BEGIN
  • BACKUP

 

 

LGWR(LOG Writer)

 

 

      在Oracle Instance中只有一个LGWR Process,这个Process的工作和DBWn Process类似,LGWR Process是将Redo Log Buffer中的内容写入到Redo Log Files中。Redo Log Buffer是一个循环的Buffer,对应的Redo Log Files也是一个循环的文件组,从文件头开始写,当文件写满了,又会从文件头开始写(会把前面的内容覆盖掉),为了避免将Redo Log File覆盖掉可以选择将其写入到Archived Redo Log Files中。

 

触发LGWR Process的条件:

 

  • At Commit
  • When one-third full
  • When there is 1 MB of redo
  • Every three seconds
  • Before DBWn writes

 

SMON(System Monitor)

 

 

      SMON(System Monitor)系统管理器,当Oracle运行时突然宕机,那么在下一次启动Oracle Instance的时候,它里面一些没有释放的资源,这些资源都会由SMON进行清理;在一些事务失败的时候也由SMON进行清理,或者由于内存空间很分散(不连续)这时需要SMON将这个分散的空间整合起来;对于一些临时的Segment由SMON进行释放。

 

 

PMON(Process Monitor)

 

 

      PMON ( Process Monitor )进程监控器,用于监控各个 Oracle 后台进程的,检查各个进程是否正常,发现异常的进程将其清除掉,重新生成该进程。

 

 

CKPT(Checkpoint)

 

 

      CKPT(Checkpoint)主要用于写Checkpoint(检查点)、在Data File的在文件头更新检查点信息、在Control File中更新检查点的信息。

 

 

ARCn(Archiver)

 

 

      ARCn(Archiver)是Oracle中的可选项的进程(几乎可看作必选项进程),Oracle可以运行在两种模式下,一种是ARCHIVELOG MODE(归档模式);另一种是NOARCHIVELOG MODE(非归档模式)。Redo Log Files是一个循环文件组,从头开始写,写完了以后,又回到最开始的地方写(即:覆盖原来的开头部分),在覆盖之前就可以通过ACRn进程将老的信息写到Archiver Redo Log files(归档日志文件)中,基本上所有的生产数据库都会运行在Archiver模式,否则数据库发生灾难性事故后就很难进行恢复了。

 

 

Logical Structure

 

 

      Oracle有一套Logical Structures(逻辑结构),一个Oracle Server只有一个Oracle Database,一个Oracle Database可以由多个Tablespace组成,一个Tablespace可以有多个Segment组成,一个Segmnet可以由多个Extent组成。一个Extent是一组连续的Blocks组成,Block是Oracle中的最小基本单位,Oracle中的Block对应着操作系统的Block,操作系统的文件系统也是由Block组成的,一个Block又对应着内存中的一个Page,Oracle的Block是操作系统文件系统的Block的整数倍,例如: Oracle的一个Block对应着操作系统的1个Block或者Oracle的一个Block对应着操作系统的2个Block。Oracle中有一个重要的参数DB_BLOCK_SIZE,该参数用于设置Oracle Block的SIZE(通常Oracle的Block=8K)。一堆连续的Block组成了Extent。很多Extent(不一定是连续的)组成了Segment。一个或多个Segment就组成了一个Tablespace。一个Tablespace或多个Tablespace组成了Oracle Database。Oracle有很多Data File,这些Data File其实就是他的物理结构。一个Tablespace可以由多个Data File组成,一个Segment也可以由多个Data file组成,但Segment和Data File并没有隶属关系,一个Data File必然属于一个Tablespace,但是一个Data File不一定属于一个Segment,Extent不能跨Data File,一个Extent只能存在于一个Data File中。

 

 

 

Processing SQL Statements

 

      Oracle处理SQL语句的过程分为以下阶段:客户端Connect到后台建立一个Connection,建立一个会话,建立完成后,  向后台发出SQL语句,发到后台第一个阶段Parseing(其实在做Parseing之前还要做安全检查,查看用户的权限),Parseing就是解析SQL语句,把SQL语句分解成它能够执行的原子操作;下一个阶段叫做Banding,就是把一些变量绑定在SQL语句上,接下来就开始执行,执行完成SQL语句后,把返回的结果返回给客户端。
      SQL语句分为几种:一种就是查询语句,就是SELECT,第二种是DML(数据操作语言),也就是INSERT、DELETE、UPDATE。比如说去UPDATE一条记录的时候,这条语句通过Parseing、通过安全检查后以及解析成原子操作后开始执行的时候,如果该操做的记录没有在SGA的Database Buffer Cache中,就会从磁盘上的数据文件中读取上来,然后再进行更新操作。

 转载:http://jianshi-dlw.iteye.com/blog/1554892