Oracle數(shù)據(jù)塊原理深入剖析-入門基礎(chǔ)時(shí)間:
數(shù)據(jù)塊(Oracle Data Blocks),本文簡稱為“塊”,是Oracle最小的存儲(chǔ)單位,Oracle數(shù)據(jù)存放在“塊”中。一個(gè)塊占用一定的磁盤空間。特別注意的是,這里的“塊”是Oracle的“數(shù)據(jù)塊”,不是操作系統(tǒng)的“塊”。
Oracle每次請求數(shù)據(jù)的時(shí)候,都是以塊為單位。也就是說,Oracle每次請求的數(shù)據(jù)是塊的整數(shù)倍。如果Oracle請求的數(shù)據(jù)量不到一塊,Oracle也會(huì)讀取整個(gè)塊。所以說,“塊”是Oracle讀寫數(shù)據(jù)的最小單位或者最基本的單位。
塊的標(biāo)準(zhǔn)大小由初始化參數(shù)DB_BLOCK_SIZE指定。具有標(biāo)準(zhǔn)大小的塊稱為標(biāo)準(zhǔn)塊(Standard Block)。塊的大小和標(biāo)準(zhǔn)塊的大小不同的塊叫非標(biāo)準(zhǔn)塊(Nonstandard Block)。同一數(shù)據(jù)庫中,Oracle9i及以上版本支持同一數(shù)據(jù)庫中同時(shí)使用標(biāo)準(zhǔn)塊和非標(biāo)準(zhǔn)塊。Oracle允許指定5種非標(biāo)準(zhǔn)塊(Nonstandard Block)。
操作系統(tǒng)每次執(zhí)行I/O的時(shí)候,是以操作系統(tǒng)的塊為單位;Oracle每次執(zhí)行I/O的時(shí)候,都是以Oracle的塊為單位。
Oracle數(shù)據(jù)塊大小一般是操作系統(tǒng)塊的整數(shù)倍。
數(shù)據(jù)塊的格式(Data Block Format)
塊中存放表的數(shù)據(jù)和索引的數(shù)據(jù),無論存放哪種類型的數(shù)據(jù),塊的格式都是相同的,塊由塊頭(header/Common and Variable),表目錄(Table Directory),行目錄(Row Directory),空余空間(Free Space)和行數(shù)據(jù)(Row Data)五部分組成,
如下圖所示。
塊頭(header/Common and Variable):存放塊的基本信息,如:塊的物理地址,塊所屬的段的類型(是數(shù)據(jù)段還是索引段)。 表目錄(Table Directory):存放表的信息,即:如果一些表的數(shù)據(jù)被存放在這個(gè)塊中,那么,這些表的相關(guān)信息將被存放在“表目錄”中。
行目錄(Row Directory):如果塊中有行數(shù)據(jù)存在,則,這些行的信息將被記錄在行目錄中。這些信息包括行的地址等。
行數(shù)據(jù)(Row Data):是真正存放表數(shù)據(jù)和索引數(shù)據(jù)的地方。這部分空間是已被數(shù)據(jù)行占用的空間。
空余空間(Free Space):空余空間是一個(gè)塊中未使用的區(qū)域,這片區(qū)域用于新行的插入和已經(jīng)存在的行的更新。
頭部信息區(qū)(Overhead):我們把塊頭(header/Common and Variable),表目錄(Table Directory),行目錄(Row Directory)這三部分合稱為頭部信息區(qū)(Overhead)。頭部信息區(qū)不存放數(shù)據(jù),它存放的整個(gè)塊的信息。頭部信息區(qū)的大小是可變的。一般來說,頭部信息區(qū)的大小介于84字節(jié)(bytes)到107字節(jié)(bytes)之間。
數(shù)據(jù)塊中自由空間的使用
當(dāng)往數(shù)據(jù)庫中插入(INSERT)數(shù)據(jù)的時(shí)候,塊中的自由空間會(huì)減少;當(dāng)對(duì)塊中已經(jīng)存在的行進(jìn)行修改(UPDATE)的時(shí)候(使記錄長度增加),塊中的自由空間也會(huì)減少。
DELETE語句和UPDATE語句會(huì)使塊中的自由空間增加。當(dāng)使用DELETE語句刪除塊中的記錄或者使用UPDATE語句把列的值更改成一個(gè)更小值的時(shí)候,Oracle會(huì)釋放出一部分自由空間。釋放出的自由空間并不一定是連續(xù)的。通常情況下,Oracle不會(huì)對(duì)塊中不連續(xù)的自由空間進(jìn)行合并。因?yàn)楹喜?shù)據(jù)塊中不連續(xù)的自由空間會(huì)影響數(shù)據(jù)庫的性能。只有當(dāng)用戶進(jìn)行數(shù)據(jù)插入(INSERT)或者更新(UPDATE)操作,卻找不到連續(xù)的自由空間的時(shí)候,Oracle才會(huì)合并數(shù)據(jù)塊中不連續(xù)的自由空間。
對(duì)于塊中的自由空間,Oracle提供兩種管理方式:自動(dòng)管理,手動(dòng)管理
行鏈接和行遷移(Row Chaining and Migrating)
行鏈接(Row Chaining):如果我們往數(shù)據(jù)庫中插入(INSERT)一行數(shù)據(jù),這行數(shù)據(jù)很大,以至于一個(gè)數(shù)據(jù)塊存不下一整行,Oracle就會(huì)把一行數(shù)據(jù)分作幾段存在幾個(gè)數(shù)據(jù)塊中,這個(gè)過程叫行鏈接(Row Chaining)。如下圖所示:
如果一行數(shù)據(jù)是普通行,這行數(shù)據(jù)能夠存放在一個(gè)數(shù)據(jù)塊中;如果一行數(shù)據(jù)是鏈接行,這行數(shù)據(jù)存放在多個(gè)數(shù)據(jù)塊中。
行遷移(Row Migrating):數(shù)據(jù)塊中存在一條記錄,用戶執(zhí)行UPDATE更新這條記錄,這個(gè)UPDATE操作使這條記錄變長,這時(shí)候,Oracle在這個(gè)數(shù)據(jù)塊中進(jìn)行查找,但是找不到能夠容納下這條記錄的空間,無奈之下,Oracle只能把整行數(shù)據(jù)移到一個(gè)新的數(shù)據(jù)塊。原來的數(shù)據(jù)塊中保留一個(gè)“指針”,這個(gè)“指針”指向新的數(shù)據(jù)塊。被移動(dòng)的這條記錄的ROWID保持不變。行遷移的原理如下圖所示:
無論是行鏈接還是行遷移,都會(huì)影響數(shù)據(jù)庫的性能。Oracle在讀取這樣的記錄的時(shí)候,Oracle會(huì)掃描多個(gè)數(shù)據(jù)塊,執(zhí)行更多的I/O。
塊中自由空間的自動(dòng)管理
Oracle使用位圖(bitmap)來管理和跟蹤數(shù)據(jù)塊,這種塊的空間管理方式叫“自動(dòng)管理”。自動(dòng)管理有下面的好處:
◆易于使用
◆更好地利用空間
◆可以對(duì)空間進(jìn)行實(shí)時(shí)調(diào)整
塊中自由空間的手動(dòng)管理
用戶可以通過PCTFREE, PCTUSED來調(diào)整塊中空間的使用,這種管理方式叫手動(dòng)管理。相對(duì)于自動(dòng)管理,手動(dòng)管理方式比較麻煩,不容易掌握,容易造成塊中空間的浪費(fèi)。
PCTFREE參數(shù)用于指定塊中必須保留的最小空閑空間百分例。之所以要預(yù)留這樣的空間,是因?yàn)?/span>UPDATE時(shí),需要這些空間。如果UPDATE時(shí),沒有空余空間,Oracle就會(huì)分配一個(gè)新的塊,這會(huì)產(chǎn)生行遷移(Row Migrating)。
PCTUSED也是用于設(shè)置一個(gè)百分比,當(dāng)塊中已使用的空間的比例小于這個(gè)百分比的時(shí)候,這個(gè)塊才被標(biāo)識(shí)為有效狀態(tài)。只有有效的塊才被允許插入數(shù)據(jù)。
文章轉(zhuǎn)載自網(wǎng)管網(wǎng):http://www.bitscn.com/pdb/oracle/200904/160356.html
ORACLE塊的分析
(一)
一直以來對(duì)“塊”的概念總是含混不清,從字面意義理解,只知道這是ORACLE存放數(shù)據(jù)的最小單位,然而它的內(nèi)部世界如何呢,本人打算從今天開始連載幾篇文檔,對(duì)它進(jìn)行深度分析。
通過很多文檔、資料,了解到了數(shù)據(jù)庫基本結(jié)構(gòu)魚刺圖:
基本上每個(gè)對(duì)象對(duì)應(yīng)一個(gè)段( Segment),只有分區(qū)對(duì)應(yīng)多個(gè)段,這里的對(duì)象包括table,index,partition等等,段可以跨越多個(gè)數(shù)據(jù)文件。
每個(gè)段又有多個(gè)區(qū)(extent)來組成,這些區(qū)不能跨越多個(gè)數(shù)據(jù)文件,同時(shí)在系統(tǒng)使用過程中自動(dòng)擴(kuò)展。
最后是塊(block),所有的數(shù)據(jù)都是存放在塊中。為了適應(yīng)操作系統(tǒng),每個(gè)塊在創(chuàng)建數(shù)據(jù)庫的時(shí)候默認(rèn)了一個(gè)大小,這個(gè)大小一般是8K,同時(shí)在9I及其以 后的版本中增加了不同大小的塊參數(shù),這將在以后的實(shí)驗(yàn)中體現(xiàn)。先說說這個(gè)8K大小的塊,一般來說,為了使得oracle運(yùn)行讀寫數(shù)據(jù)文件的時(shí)候有一個(gè)合理 的吞吐量,這里的塊大小,都跟操作系統(tǒng)塊大小設(shè)為整數(shù)倍,例如ntfs格式化的磁盤文件,每個(gè)物理塊大小為4,這里oracle的塊大小為8,即是代表每 讀取一個(gè)oracle塊,其實(shí)物理上也就是讀取了兩個(gè)操作系統(tǒng)塊。 這里主要指的是數(shù)據(jù)文件存放在塊設(shè)備上,在實(shí)際的生產(chǎn)環(huán)境中,大部分情況都是將數(shù)據(jù)庫安裝在裸設(shè)備(RAW)也叫做原始分區(qū)之上。關(guān)于RAW將在以后進(jìn)行 講解。
通過上面這段文字,我們可以了解到ORACLE基本的存儲(chǔ)結(jié)構(gòu),下一篇將針對(duì)塊的大小與存放數(shù)據(jù)大小來做實(shí)驗(yàn)。
(二)
上一節(jié)了解到了ORACLE的存儲(chǔ)結(jié)構(gòu),這節(jié)講一講塊的大小與數(shù)據(jù)存放之間的關(guān)系。
大家都知道了在ORACLE環(huán)境中,所有的對(duì)象都是存放在塊中,這個(gè)塊大小與存放的記錄之間到底存在怎樣的關(guān)系呢?
做一個(gè)實(shí)驗(yàn)看看:
創(chuàng)建一個(gè)表空間test
create tablespace test datafile '/oracle/oradata/test.dbf' size 100m;
創(chuàng)建一個(gè)用戶
create user test identified by test default tablespace test;
創(chuàng)建一個(gè)表
create table test.t1 (a1 number,a2 varchar2(100));
檢查段,可以發(fā)現(xiàn)在這個(gè)視圖中出現(xiàn)了名稱為T的段,段類型為TABLE,這個(gè)段里面分配了1個(gè)區(qū),其中包含8個(gè)塊,大小為64K字節(jié)。
select segment_name,blocks,extents,bytes,segment_type,tablespace_name from dba_segments where owner='TEST';
SEGMENT_NAME BLOCKS EXTENTS BYTES SEGMENT_TYPE TABLESPACE_NAME
---------- ---------- ---------- ---------- ------------------ ----------
T 8 1 65536 TABLE TEST
檢查區(qū),可以發(fā)現(xiàn)在這個(gè)視圖中出現(xiàn)了一個(gè)區(qū),區(qū)號(hào)為0,包含8個(gè)塊,大小為64K字節(jié)。
select segment_name,segment_type,extent_id,blocks,bytes from dba_extents where owner='TEST';
SEGMENT_NAME SEGMENT_TYPE EXTENT_ID BLOCKS BYTES
---------- ------------------ ---------- ---------- ----------
T TABLE 0 8 65536
檢查塊,可以發(fā)現(xiàn)這里沒有載入到內(nèi)存的塊,由此斷定,在數(shù)據(jù)未寫入的時(shí)候,內(nèi)存中并沒有存放數(shù)據(jù)的塊。
select file#,block#,class#,status,xnc,objd from v$bh where ts#=12;
未選定行
插入10行數(shù)據(jù),進(jìn)行測試。
SQL> declare
2 i number
3 ;
4 begin
5 for i in 1..10 loop
6 execute immediate 'insert into test.t values (:x,:y)' using i,i;
7 end loop;
8 end;
9 /
PL/SQL 過程已成功完成。
再次查看v$bh視圖,檢查內(nèi)存中是否使用到了塊。
select file#,block#,class#,status,xnc,objd from v$bh where ts#=12;
FILE# BLOCK# CLASS# STATU XNC OBJD
---------- ---------- ---------- ----- ---------- ----------
1 28089 4 xcur 0 11038
1 28090 1 xcur 0 11038
哈哈,果然出現(xiàn)了數(shù)據(jù),說明在數(shù)據(jù)插入的表的時(shí)候在內(nèi)存中已經(jīng)載入了分配的塊,同時(shí)在這些塊中寫入了數(shù)據(jù),這里占用了兩個(gè)塊,塊號(hào)分別為28089,28090,其中我們可以根據(jù)CLASS#來判斷出他們屬于不同類型。
(三)
這一節(jié)緊接著上一節(jié)來說。
上一節(jié)通過實(shí)驗(yàn),我們了解到,塊的創(chuàng)建和讀取流程,不過只是針對(duì)一個(gè)會(huì)話的,現(xiàn)在我們來看看在一個(gè)會(huì)話中插入數(shù)據(jù)之后,同時(shí)在另外一個(gè)會(huì)話查詢數(shù)據(jù),這樣的情況會(huì)對(duì)塊有什么影響。
打開一個(gè)新的會(huì)話, 然后執(zhí)行如下命令:
查詢表,由于插入數(shù)據(jù)的事務(wù)沒有提交,這里在另外的會(huì)話中就看不到任何數(shù)據(jù),深深體現(xiàn)了ORACLE的多版本一致性
select * from test_gao.t;
未選定行
查詢視圖v$bh,看是否有了變化
select file#,block#,class#,status,xnc,objd from v$bh where ts#=12;
FILE# BLOCK# CLASS# STATU XNC OBJD
---------- ---------- ---------- ----- ---------- ----------
1 28089 4 xcur 0 11038
1 28090 1 cr 0 11038
1 28090 1 cr 0 11038
1 28090 1 xcur 0 11038
果然和上一節(jié)查詢出來的結(jié)果不同,多了紅色字體標(biāo)識(shí)出來的兩行,大家可以看到這兩行的STATUS字段值為cr,什么是cr呢?它是Consistency Read(一致性讀取)的縮寫。從這里可以看出28090這個(gè)塊被兩個(gè)會(huì)話進(jìn)行了操作。
在第一個(gè)會(huì)話中回滾事務(wù)會(huì)發(fā)生什么呢?看下面的操作:
會(huì)話1:執(zhí)行rollback
SQL> rollback;
回退已完成。
再次查詢v$bh視圖,看看什么情況
select file#,block#,class#,status,xnc,objd from v$bh where objd=11038;
FILE# BLOCK# CLASS# STATU XNC OBJD
---------- ---------- ---------- ----- ---------- ----------
1 28089 4 xcur 0 11038
1 28090 1 cr 0 11038
1 28090 1 cr 0 11038
1 28090 1 xcur 0 11038
結(jié)果還是一樣,說明在事務(wù)回滾之后,塊還是處于一致讀取的狀態(tài)。
(四)
我們繼續(xù)上一節(jié)的話題。
關(guān)閉數(shù)據(jù)庫實(shí)例
SQL> shutdown immediate
數(shù)據(jù)庫已經(jīng)關(guān)閉。
已經(jīng)卸載數(shù)據(jù)庫。
重新打開數(shù)據(jù)庫
SQL>startup
ORACLE 例程已經(jīng)啟動(dòng)。
Total System Global Area 253214492 bytes
Fixed Size 454428 bytes
Variable Size 117440512 bytes
Database Buffers 134217728 bytes
Redo Buffers 1101824 bytes
數(shù)據(jù)庫裝載完畢。
數(shù)據(jù)庫已經(jīng)打開。
檢查v$bh視圖
select file#,block#,class#,status,xnc,objd from v$bh where objd=11038;
未選定行
說明在沒有進(jìn)行塊中數(shù)據(jù)的相關(guān)操作的時(shí)候,并沒有從物理文件中提取塊到內(nèi)存。
執(zhí)行查詢或者插入、更新的SQL語句
SQL> insert into test.t values (200,200);
已創(chuàng)建 1 行。
再次檢查v$bh視圖
SQL> select file#,block#,class#,status,xnc,objd from v$bh where objd=11038;
FILE# BLOCK# CLASS# STATU XNC OBJD
---------- ---------- ---------- ----- ---------- ----------
1 28089 4 xcur 0 11038
1 28090 1 xcur 0 11038
總結(jié):在沒有進(jìn)行物理I/O的時(shí)候,v$bh視圖中不會(huì)出現(xiàn)相關(guān)的塊信息,同時(shí)證明此視圖中存放的乃是數(shù)據(jù)文件塊放到內(nèi)存中的“塊”信息。
實(shí)例講解Oracle 9i數(shù)據(jù)壞塊的處理
筆者在一臺(tái)生產(chǎn)用測試庫上SELECT一個(gè)表時(shí)出現(xiàn)ORA-01578,一個(gè)塊損壞,以前學(xué)習(xí)過塊損壞怎么處理,到還真沒遇到過,今天總算讓我遇到了,還是一臺(tái)生產(chǎn)用測試庫,就不用很緊張了。
數(shù)據(jù)庫版本是9.2.0.4,Oracle9i的RMAN有一個(gè)blockrecover命令,可以在線修復(fù)壞塊,以下就是使用RMAN修復(fù)壞塊的過程。
SQL> conn owi/owi Connected. SQL> select * from dpa_history; select * from dpa_history * ERROR at line 1: ORA-01578: ORACLE data block corrupted (file # 15, block # 18) ORA-01110: data file 15: '/d01/app/oracle/oradata/dpa/dpa01.dbf' |
報(bào)ORA-01578數(shù)據(jù)塊損壞,以下使用RMAN命令查詢是否可以使用blockrecover命令恢復(fù)以及怎樣恢復(fù)
使用rman登錄catalog數(shù)據(jù)庫
[ora9@rmanserver ~]$ rman target sys/oracle@dpa catalog rman/rman
Recovery Manager: Release 9.2.0.8.0 - Production
Copyright (c) 1995, 2002, Oracle Corporation. All rights reserved.
connected to target database: DPA (DBID=843495022) connected to recovery catalog database |
查找最近datafile 15的全備份,今天下午剛做了一次RMAN的全備份
RMAN> list backup of datafile 15;
List of Backup Sets
===================
BS Key Type LV Size Device Type Elapsed Time Completion Time
------- ---- -- ---------- ----------- ------------ ---------------
643 Full 64K DISK 00:00:27 16-MAR-09
BP Key: 650 Status: AVAILABLE Tag: TAG20090316T154352
Piece Name: /d02/fullbackup/20090316_data_24_1
List of Datafiles in backup set 643
File LV Type Ckp SCN Ckp Time Name
---- -- ---- ---------- --------- ----
15 Full 11856250905 16-MAR-09 /d01/app/oracle/oradata/dpa/dpa01.dbf
查找SCN 11856250905 以后的archivelog是否有備份
RMAN> list backup of archivelog scn from 11856250905 List of Backup Sets =================== BS Key Size Device Type Elapsed Time Completion Time ------- ---------- ----------- ------------ --------------- 680 265K DISK 00:00:00 16-MAR-09 BP Key: 681 Status: AVAILABLE Tag: TAG20090316T154731 Piece Name: /d02/fullbackup/20090316_arch_28 List of Archived Logs in backup set 680 Thrd Seq Low SCN Low Time Next SCN Next Time ---- ------- ---------- --------- ---------- --------- 1 109 11856250805 16-MAR-09 11856251483 16-MAR-09 1 110 11856251483 16-MAR-09 11856251487 16-MAR-09 |
查找sequence 110 以后的archivelog是否有備份
RMAN> list copy of archivelog from sequence 110;
List of Archived Log Copies Key Thrd Seq S Low Time Name ------- ---- ------- - --------- ---- 694 1 111 A 16-MAR-09 /d02/arch/1_111.dbf 695 1 112 A 16-MAR-09 /d02/arch/1_112.dbf
查詢online archive log
SQL> select sequence#,members,archived,status from v$log;
SEQUENCE# MEMBERS ARC STATUS ---------- ---------- --- ---------------- 113 1 NO CURRENT 111 1 YES INACTIVE 112 1 YES INACTIVE |
從以上查詢中可以看出datafile 15有一次最近的全備份,有全備份以來的所有archivelog,online redo log
下面開始blockreocver,其實(shí)命令很簡單
RMAN> blockrecover datafile 15 block 18;
Starting blockrecover at 16-MAR-09
allocated channel: ORA_DISK_1
channel ORA_DISK_1: sid=16 devtype=DISK
channel ORA_DISK_1: restoring block(s)
channel ORA_DISK_1: specifying block(s) to restore from backup set
restoring blocks of datafile 00015
channel ORA_DISK_1: restored block(s) from backup piece 1
piece handle=/d02/fullbackup/20090316_data_24_1 tag=TAG20090316T154352 params=NULL
channel ORA_DISK_1: block restore complete
starting media recovery
archive log thread 1 sequence 111 is already on disk as file /d02/arch/1_111.dbf
archive log thread 1 sequence 112 is already on disk as file /d02/arch/1_112.dbf
channel ORA_DISK_1: starting archive log restore to default destination
channel ORA_DISK_1: restoring archive log
archive log thread=1 sequence=109
channel ORA_DISK_1: restoring archive log
archive log thread=1 sequence=110
channel ORA_DISK_1: restored backup piece 1
piece handle=/d02/fullbackup/20090316_arch_28 tag=TAG20090316T154731 params=NULL
channel ORA_DISK_1: restore complete
media recovery complete
Finished blockrecover at 16-MAR-09
SQL> select * from dpa_history;
PRODLINEID BARCODE PA
---------- ------------------------------ --
7 S*33040-D8311050149512B 03
7 S*33040-D8311050143512B 03
7 S*33040-D8311050140512B 03