上篇文章,简单介绍了 RedoLog 是什么,以及怎么从 Oracle Dump 二进制日志。接下来,分析下 Redo Log 二进制文件的格式,主要包括:文件头,重做日志头,DML-INSERT 操作,DDL-CREATE 操作。
Redo Log 二进制文件中,采用的是小端序字节序。
原文链接:https://www.chuonye.com/archives/oracle-redolog-format.html
1. File Header
文件头,占用第一个块。Oracle 中许多二进制的数据和日志文件都有相似的格式,在线日志 Redo Log 文件也是如此。下图是 RedoLog 文件开始的前 80 字节。
File Type
前 2字节
表示文件类型,区分不同的 Oracle 文件,比如,在 10g 版本中:
0xA2
表示数据文件,Data File0xC2
表示控制文件,Control File0x22
表示重做日志文件,Redo Log File
Oracle 数据库其实就是由一堆文件组成的。
Block Size
偏移量 20
,长度 2字节
,存储的是块大小,它的值是固定的,只会因操作系统而不同。在 Windows, Linux 和 Solaris 上,块大小为 512字节–0x0200
,而 HP-UX 的块大小为 1024。
另外,每个块都有一个 16字节
的块头,稍后会介绍它。
Number of Blocks
偏移量 24
,长度 4字节
,存储的是文件中的块数,不包括文件头本身使用的块,可以这样计算出整个文件的大小:
(0x00019000 + 1) * 512 = 52429312 (50MB)
Magic
魔数只是文件标识,用来检查是否是 Oracle 文件。
Block Header
每个块都有一个 16字节
的头部,即使一个 Redo Record 横跨多个块,解析时这一点尤为重要。
上图黄色指示的是一个头部示例,每个块头都是以签名 0x0122
开头,其中:
- 偏移量
4
,长度4字节
,存储的是块在文件中的编号 - 偏移量
8
,长度4字节
,存储的是日志序号 - 偏移量
12
,长度1字节
,存储的是 Record 在该块内的字节偏移量
这三个值正好是 Record 的 RBA 内容。
最后偏移量 14
,长度 2字节
,存储的是校验和,用于验证数据是否完整,验证的逻辑这里就不记录了,感兴趣的可以在上篇描述的 PDF 文件内找到。
2. Redo Log Header
重做日志头,占用第二个块。这里包含的信息就多了,如数据库SID,数据库版本和开始记录的时间等。
3. Redo Record
Redo Record 包含一个 SCN 中的所有操作,由一个头和一个或多个 change vector
组成。比如往一个有索引的表中插入一条数据,会创建以下内容:
- 为 INSERT 操作,分别创建
redo change
和undo change
- 为索引改动,分别创建
redo change
和undo change
- 一个事务开始 change,一个事务提交 change
其中的每个 Change 都有一个操作码,用于区分,常见的操作码:
- 5.1:撤销修改 – Undo Record
- 5.2:事务开始
- 5.4:事务提交 – Commit
- 11.2:插入一行数据
- 11.3:删除一行数据
- 11.11:插入多行数据
- 11.19:更新多行数据
- 10.2:插入一个索引 – INSERT LEAF ROW
- 10.4:删除一个索引 – DELETE LEAF ROW
- 13.1:申请空间 – CREATE TABLE 后
- 24.1:DDL 操作
4. DML-INSERT
增删改是数据库基本操作,下图显示的是一个插入操作 Record 转成十六进制的信息。
Block 头的第 12
个字节 0x10
,表示 Record 开始字节在偏移量 16字节
处;
Record 开始的前 2字节
表示长度,最大为 65536字节,因此它可能需要多个 block 存储。这里长度是 0x01A8=424
一个 block 足以存储。之后的第4个字节
是 Record 头长度标识 VLD,具体数值取决于 Record 类型,这里的 0x0D
表示头长度为 0x44=68
;
跳过 0x44字节
就能找到第一个 Change Vector,操作码是 0x0B02 - 11.2
,即 INSERT 操作。在操作码后的第22字节,可以找到插入对象的ID,这里是 0x0057 - 87
,在字典表 dba_objects 查询 data_object_id=87 的记录可知插入的表为 SYS.SYSAUTH$
;
跳过 0x44+0x18字节
,开始的2字节 0x000C=12
表示第一个 Change 的元素长度列表的长度,元素长度占用 2字节
,12字节表示除头2字节外,总共有 (12-2)/2=5
个 长度元素,这意味着插入了 3个
字段内容。
0x0014
和0x0031
:这两个值是半固定的,表示 KTB 和 KDO 的长度0x0002
:表示插入第一列的数据字节数为2字节
0x0002
:表示插入第二列的数据字节数也为2字节
0x0003
:表示插入第三列的数据字节数为3字节
上面的长度计算的是实际长度,但在计算偏移量是都需要 4字节对齐。跳过指定的字节后,可以得到三个字段的值为:
0xC102
:表示的内容为 数字 10xC105
:表示的内容为 数字 40xC20931
:表示的内容为 数字 848
结合 SYSAUTH$ 的字段就能还原 SQL:
SQL> INSERT INTO SYS.SYSAUTH$ (GRANTEE#,PRIVILEGE#, SEQUENCE#) VALUES (1,4,848);
再往后有两个 Change,0x0502
和 0x0501
。0x0502
可以解析出此次事务的 XID;0x0501
是撤销操作,INSERT 对应的就是 DELETE。
5. DDL-CREATE
虽然 DDL 语句已写入 Redo Log 文件中,但是在使用 ALTER SYSTEM DUMP LOGFILE
命令后,结果中没有语句,内容如下:
REDO RECORD - Thread:1 RBA: 0x000082.0000febf.002c LEN: 0x00f4 VLD: 0x01
SCN: 0x0000.003a061f SUBSCN: 1 03/13/2007 13:55:41
CHANGE #1 MEDIA RECOVERY MARKER SCN:0x0000.00000000 SEQ: 0 OP:24.1
操作码 24.1
表明是 DDL 操作。从 RBA 中,可以看到块编号为 0x0000febf (65215)
,块大小为 512
,所以该操作在二进制文件的偏移量为 512*65215=33390080
,十六进制为 0x01FD7E00
:
可以清楚的看到 DDL 语句:
create user wiggywiggywiggy identified by VALUES '2FA1749D698AD874'
对应二进制格式映射信息是:
6. 总结
本文简单描述了二进制格式具体是什么,实际分析的时候也是这样,把二进制文件打开转成 16进制显示,一个字节一个字节的分析。如果做过网络编程,特别是 TCP 私有协议设计和解析,应该很容易理解。
下一篇会介绍解析的一些问题,比如 Record 头长度怎么计算,Rowid 怎么计算等等。