[翻译] SQLite架构

本翻译版本谢绝转载!

SQLite架构

介绍

本文描述了SQLite库的架构。本文信息对哪些想要理解或修改SQLite内部工作内容的人非常有用。

附图展示了SQLite的主要组件以及他们是如何相互操作的。其下的文字解释了各个组件的角色。

Overview总览

SQLite 先编译SQL文本为字节码bytecode, 然后使用虚拟机来运行字节码(bytecode)来工作。

sqlite3_prepare_v2()以及相关接口扮演着编译器的角色,将SQL文本转换成字节码。 sqlite3_stmt 对象是一个容器。该容器用于包含一个实现单独SQL语句的独立的字节码程序。 sqlite3_step() 接口向虚拟机传递字节码程序, 并执行字节码程序直到完成,或返回产生的一行结果,或碰到一个致命fatal错误, 或被打断interrupted.

Interface接口

大部分的C语言接口C-language Interface 在 main.clegacy.c, and vdbeapi.c 这些源文件中被找到,尽管一些程序被分散在其他可以通过文件域访问数据结构的文件中。sqlite3_get_table()程序在 table.c 中实现.sqlite3_mprintf() 程序在 printf.c 中实现。sqlite3_complete() 接口在 tokenize.c 中. TCL Interface 在 tclsqlite.c 中实现.

为了避免命名冲突,SQLite库的所有的外部(external)符号都使用 sqlite3 前缀。那些用于外部使用的(换句话说,那些符号形成了SQLite的API)符号增加下划线,因此以 sqlite3_ 开头。 扩展API有时候在下划线前增加扩展名;例如: sqlite3rbu_ 或 sqlite3session_

Tokenizer分词器

当一个包含SQL句子的字符串被计算时,它首先会被发送到tokenizer(分词器)。tokenizer将SQL文本拆分成tokens(词),然后将token一个接一个传递给parser(解析器)。tokenizer编码在tokenize.c文件中。 注意在这个设计中,tokenizer调用parser。熟悉YACC和BISON的人可能习惯用相反的方式-让parser调用tokenizer。让tokenizer调用parser的方式更好一些,因为这样能够线程安全,并且执行的更快。

Parser解析器

parser(解析器)根据上下文为token赋予意思。SQLite的parser通过Lemon parser generator生成。Lemon和YACC/BISON做同样的事情,但是它使用另一种不容易出错的输入语法。Lemon同时一个可重入的,线程安全的parser。Lemon定义了一个(non-terminal destructor)非终端析构的概念,因此在遇到语法错误时它不会内存泄漏。在parse.y中找到执行Lemon的语法文件和SQLite理解SQL语言的定义。 因为Lemon这个程序一般不会在开发机器上找到,所以Lemon完整的源代码(就一个C文件)被包含在SQLite分发的“tool”子目录中。

Code Generator代码生成器

在parser将token装配成parse树后,代码生成器开始分析parse树,生成执行SQL语句工作的字节码bytecodeprepared statement 对象是包含了这些字节码的容器。 代码生成器有很多文件,包含: attach.cauth.cbuild.c,delete.cexpr.cinsert.cpragma.cselect.ctrigger.cupdate.cvacuum.cwhere.cwherecode.c, and whereexpr.c. 大部分重要的魔法发生在这些文件中。 expr.c 操纵着代码生成器的表达。 where.c* 操纵代码生成器处理SELECT,UPDATE和DELETE的WHERE从句。attach.cdelete.cinsert.cselect.ctrigger.c update.c, and vacuum.c 这几个文件操纵代码生成器处理和文件名同名的SQL语句。(所有这些文件必要时在expr.c 和 where.c中调用)所有其他SQL语句被编写在 build.c. auth.c 文件实现了 sqlite3_set_authorizer()的功能。

代码生成器,尤其时在where*.c 和 select.c中的逻辑,有时候被称为查询计划 query planner。对于任何具体的SQL语句,可能有成千上百个不同的算法来计算结果。查询计划query planner时一个力求从这么多算法中选择一个最好的算法的人工智能。

Bytecode Engine

字节码bytecode 程序代码生成器生成,运行在虚拟机上。 虚拟机自身完整地包含在单独的 vdbe.c源文件中。vdbe.h头文件在虚拟机和剩余的SQLite库之间定义了接口, vdbeInt.h 定义的结构和接口是虚拟机自己私有的。其他几个vdbe*.c文件是虚拟机的助手(helpers)。vdbeaux.c 文件包含虚拟机使用的有效工具和剩余SQLite库用于构建VM程序的接口模块。vdbeapi.c 文件包含虚拟机的扩展接口,如 sqlite3_bind_int() 和 sqlite3_step()。独立的值 (strings, integer, floating point numbers, and BLOBs) 被存储在由vdbemem.c实现,命名为“Mem”的内部对象中。

SQLite使用C语言程序的callbacks来实现SQL函数。即使内置的SQL函数也是这个方式实现。大部分内置SQL函数(如: abs()count()substr(), 等等) 能够在 func.c 源文件中找到。日期和时间转换函数在 date.c中找到。 一些函数如coalesce() 和 typeof() 由代码生成器直接生成字节码实现。

B-Tree

SQLite数据库使用B-tree来保持数据到磁盘,在源文件btree.c中实现。在数据库中的每个表和索引使用单独的B-tree。所有的B-tree存储在同一个磁盘文件中。文件格式file format 详情是稳定的、明确的、在更新中保证兼容性的。

B-tree子系统和其他SQLite库的交互接口在头文件btree.h中定义。

Page Cache页缓存

B-tree模块以固定大小的页向磁盘请求信息。默认的页大小page_size是4096字节,也可以是512字节和65525字节之间任意的2的n次幂。页缓存(page cache)负责读、写、缓存这些页。页缓存同时提供回滚和原子提交的抽象,同时负责锁定数据库文件。B-tree驱动从页缓存请求指定的页,当它想修改页、或提交、或回滚修改时,通知页缓存。页缓存确保快速、安全、高效地处理请求的所有混杂细节。 基本的页缓存在pager.c文件中实现。WAL mode逻辑在单独的wal.c中。内存缓存(in-memory caching)在 pcache.c 和 pcache1.c文件中实现。在pager.h头文件中,实现了页缓存子系统和SQLite库剩余的其他系统交互的接口。

OS Interface

SQLite使用抽象的 VFS对象,提供在不同操作系统间的移植能力。每个VFS提供了打开(opening)、读(read)、写(writing)和关闭(closing)磁盘上的文件的方法; 提供具体的操作系统任务,比如查找当前时间,获取随机数用来初始化内置的伪随机数生成器。SQLite当前版本为unix在os_unix.c文件提供VFS,为windows在os_win.c文件提供VFS。

Utilities

内存分配,无大小写字符串比较程序,可移植的文本转数字程序,以及其他工具在util.c文件中。在解析器使用的符号表使用hash.c中的hash表来存储。utf.c源文件包含了Unicode转换子程序。SQLite在printf.c有自己私有的printf()实现,包含了一些扩展。SQLite在random.c中有自己的伪随机数生成器(PRNG)

Test Code

在"src/"文件夹中,那些以test开头的源文件是用来做测试的,不会被包含在构建的库中。

转载于:https://my.oschina.net/purely/blog/3006011