寫在前面：出于項目的需要,最近打算對SQLite的內核進行一個完整的剖析,在此希望和對SQLite有興趣的一起交流。我知道，這是一個漫長的過程，就像曾經去讀Linux內核一樣，這個過程也將是辛苦的，但我相信結果一定是美好的... ...接下來是第一章。

1、SQLite介紹

自幾十年前出現的商業應用程序以來，數據庫就成為軟件應用程序的主要組成部分。正與數據庫管理系統非常關鍵一樣，它們也變得非常龐大，并占用了相當多的系統資源，增加了管理的復雜性。隨著軟件應用程序逐漸模塊模塊化，一種新型數據庫會比大型復雜的傳統數據庫管理系統更適應。嵌入式數據庫直接在應用程序進程中運行，提供了零配置（zero-configuration）運行模式，并且資源占用非常少。 SQLite是一個開源的嵌入式關系數據庫，它在2000年由D. Richard Hipp發布，它的減少應用程序管理數據的開銷，SQLite可移植性好，很容易使用，很小，高效而且可靠。 SQLite嵌入到使用它的應用程序中，它們共用相同的進程空間，而不是單獨的一個進程。從外部看，它并不像一個RDBMS，但在進程內部，它卻是完整的，自包含的數據庫引擎。

嵌入式數據庫的一大好處就是在你的程序內部不需要網絡配置，也不需要管理。因為客戶端和服務器在同一進程空間運行。SQLite 的數據庫權限只依賴于文件系統，沒有用戶帳戶的概念。SQLite 有數據庫級鎖定，沒有網絡服務器。它需要的內存，其它開銷很小，適合用于嵌入式設備。你需要做的僅僅是把它正確的編譯到你的程序。

2、架構(architecture)

SQLite采用了模塊的設計，它由三個子系統，包括8個獨立的模塊構成。

?

2.1、接口(Interface)

接口由SQLite C API組成，也就是說不管是程序、腳本語言還是庫文件，最終都是通過它與SQLite交互的(我們通常用得較多的ODBC/JDBC最后也會轉化為相應C API的調用)。

2.2、編譯器(Compiler)

在編譯器中，分詞器（Tokenizer）和分析器(Parser)對SQL進行語法檢查，然后把它轉化為底層能更方便處理的分層的數據結構---語法樹，然后把語法樹傳給代碼生成器(code generator)進行處理。而代碼生成器根據它生成一種針對SQLite的匯編代碼，最后由虛擬機(Virtual Machine)執行。

2.3、虛擬機(Virtual Machine)

架構中最核心的部分是虛擬機，或者叫做虛擬數據庫引擎(Virtual Database Engine,VDBE)。它和Java虛擬機相似，解釋執行字節代碼。VDBE的字節代碼由128個操作碼(opcodes)構成，它們主要集中在數據庫操作。它的每一條指令都用來完成特定的數據庫操作(比如打開一個表的游標)或者為這些操作棧空間的準備(比如壓入參數)。總之，所有的這些指令都是為了滿足SQL命令的要求(關于VM，后面會做詳細介紹)。

2.4、后端(Back-End)

后端由B-樹(B-tree)，頁緩存(page cache，pager)和操作系統接口(即系統調用)構成。B-tree和page cache共同對數據進行管理。B-tree的主要功能就是索引，它維護著各個頁面之間的復雜的關系，便于快速找到所需數據。而pager的主要作用就是通過OS接口在B-tree和Disk之間傳遞頁面。

3、SQLite的特點(SQLite’s Features and Philosophy)

3.1、零配置(Zero Configuration)

3.2、可移植(Portability)：

它是運行在Windows,Linux,BSD,Mac OS X和一些商用Unix系統，比如Sun的Solaris,IBM的AIX，同樣，它也可以工作在許多嵌入式操作系統下，比如QNX,VxWorks,Palm OS, Symbin和Windows CE。

3.3、Compactness：

SQLite是被設計成輕量級，自包含的。one header file, one library, and you’re relational, no external database server required

3.4、簡單(Simplicity)

3.5、靈活(Flexibility)

3.6、可靠(Reliability)：

SQLite的核心大約有3萬行標準C代碼，這些代碼都是模塊化的，很容易閱讀。

寫在前面:我原打算直接從VDBE入手的，因為它起著承上啟下的作用，是整個SQLite的核心，并分析源碼，但考慮到這是一個系列的文章，我希望能把問題說全，所以還是從基本概念入手，對于初學者，如果沒有這些概念，是很繼續下去的。好了，下面開始第二章，由于這一章內容很多，我將分兩部分討論，下面開始第一部分。

1、 API

由兩部分組成: 核心API(core API) 和擴展API（extension API）

核心API的函數實現基本的數據庫操作：連接數據庫，處理SQL，遍歷結果集。它也包括一些實用函數，比如字符串轉換，操作控制，調試和錯誤處理。

擴展API通過創建你自定義的SQL函數去擴展SQLite。

1.1、SQLite Version 3的一些新特點：

SQLite的API全部重新設計，由第二版的15個函數增加到88個函數。這些函數包括支持UTF-8和UTF-16編碼的功能函數。

改進并發性能。加鎖子系統引進一種鎖升級模型(lock escalation model)，解決了第二版的寫進程餓死的問題(該問題是任何一個DBMS必須面對的問題)。這種模型保證寫進程按照先來先服務的算法得到排斥鎖(Exclusive Lock)。甚至，寫進程通過把結果寫入臨時緩沖區(Temporary Buffer)，可以在得到排斥鎖之前就能開始工作。這對于寫要求較高的應用，性能可提高400%（引自參考文獻）。

改進的B-樹。對于表采用B+樹，大大提高查詢效率。

SQLite 3最重要的改變是它的存儲模型。由第二版只支持文本模型，擴展到支持5種本地數據類型。

總之，SQLite Version 3與SQLite Vertion 2有很大的不同，在靈活性，特點和性能方面有很大的改進。

1.2、主要的數據結構(The Principal Data Structures)

SQLite由很多部分組成－parser,tokenize,virtual machine等等。但是從程序員的角度，最需要知道的是:connection, statements, B-tree和pager。它們之間的關系如下：

?

上圖告訴我們在編程需要知道的三個主要方面：API,事務(Transaction)和鎖(Locks)。從技術上來說，B-tree和pager不是API的一部分。但是它們卻在事務和鎖上起著關鍵作用（稍后將討論）。

1.3、Connections和Statements

Connection和statement是執行SQL命令涉及的兩個主要數據結構，幾乎所有通過API進行的操作都要用到它們。一個連接(Connection)代表在一個獨立的事務環境下的一個連接A (connection represents a single connection to a database as well as a single transaction context)。每一個statement都和一個connection關聯，它通常表示一個編譯過的SQL語句，在內部，它以VDBE字節碼表示。Statement包括執行一個命令所需要一切，包括保存VDBE程序執行狀態所需的資源，指向硬盤記錄的B-樹游標，以及參數等等。

1.4、B-tree和pager

一個connection可以有多個database對象---一個主要的數據庫以及附加的數據庫，每一個數據庫對象有一個B-tree對象，一個B-tree有一個pager對象(這里的對象不是面向對象的“對象”，只是為了說清楚問題)

Statement最終都是通過connection的B-tree和pager從數據庫讀或者寫數據，通過B-tree的游標(cursor)遍歷存儲在頁面(page)中的記錄。游標在訪問頁面之前要把數所從disk加載到內存，而這就是pager的任務。任何時候，如果B-tree需要頁面，它都會請求pager從disk讀取數據，然后把頁面(page)加載到頁面緩沖區(page cache)，之后，B-tree和與之關聯的游標就可以訪問位于page中的記錄了。

如果cursor改變了page，為了防止事務回滾，pager必須采取特殊的方式保存原來的page。總的來說，pager負責讀寫數據庫，管理內存緩存和頁面（page），以及管理事務，鎖和崩潰恢復(這些在事務一節會詳細介紹).

總之，關于connection和transaction，你必須知道兩件事：

對數據庫的任何操作，一個連接存在于一個事務下。

一個連接決不會同時存在多個事務下。

whenever a connection does anything with a database, it always operates under exactly one transaction, no more, no less.

1.5、核心API

核心API 主要與執行SQL命令有關，本質上有兩種方法執行SQL語句：prepared query 和wrapped query。Prepared query由三個階段構成：preparation，execution和finalization。其實wrapped query只是對prepared query的三個過程包裝而已，最終也會轉化為prepared query的執行。

1.5.1、連接的生命周期(The Connection Lifecycle)

和大多數據庫連接相同，由三個過程構成：

連接數據庫(Connect to the database)：

每一個SQLite數據庫都存儲在單獨的操作系統文件中，連接，打開數據庫的C API為：sqlite3_open()，它的實現位于main.c文件中，如下： int sqlite3_open(const char *zFilename, sqlite3 **ppDb) { return openDatabase(zFilename, ppDb, SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, 0); } 當連接一個在磁盤上的數據庫，如果數據庫文件存在，SQLite打開一個文件；如果不存在，SQLite會假定你想創建一個新的數據庫。在這種情況下，SQLite不會立即在磁盤上創建一個文件，只有當你向數據庫寫入數據時才會創建文件，比如：創建表、視圖或者其它數據庫對象。如果你打開一個數據，不做任何事，然后關閉它，SQLite會創建一個文件，只是一個空文件而已。 另外一個不立即創建一個新文件的原因是，一些數據庫的參數，比如：編碼，頁面大小等，只在在數據庫創建前設置。默認情況下，頁面大小為1024字節，但是你可以選擇512-32768字節之間為 2冪數的數字。有些時候，較大的頁面能更有效的處理大量的數據。

2.執行事務(Perform transactions)：

all commands are executed within transactions。默認情況下，事務自動提交，也就是每一個SQL語句都在一個獨立的事務下運行。當然也可以通過使用BEGIN..COMMIT手動提交事務。 （3） 斷開連接(Disconnect from the database)： 主要是關閉數據庫的文件。

1.5.2、執行Prepared Query

前面提到，預處理查詢(Prepared Query)是SQLite執行所有SQL命令的方式，包括以下三個過程：

Prepared Query：

分析器（parser），分詞器(tokenizer)和代碼生成器(code generator)把SQL Statement編譯成VDBE字節碼，編譯器會創建一個statement句柄(sqlite3_stmt)，它包括字節碼以及其它執行命令和遍歷結果集的所有資源。 相應的C API為sqlite3_prepare()，位于prepare.c文件中，如下： int sqlite3_prepare( sqlite3 *db, /* Database handle. */ const char *zSql, /* UTF-8 encoded SQL statement. */ int nBytes, /* Length of zSql in bytes. */ sqlite3_stmt **ppStmt, /* OUT: A pointer to the prepared statement */ const char **pzTail /* OUT: End of parsed string */ ){ int rc; rc = sqlite3LockAndPrepare(db,zSql,nBytes,0,ppStmt,pzTail); assert( rc==SQLITE_OK || ppStmt==0 || *ppStmt==0 ); /* VERIFY: F13021 */ return rc; }

2.Execution：

虛擬機執行字節碼，執行過程是一個步進(stepwise)的過程，每一步(step)由sqlite3_step()啟動，并由VDBE執行一段字節碼。由sqlite3_prepare編譯字節代碼，并由sqlite3_step()啟動虛擬機執行。在遍歷結果集的過程中，它返回SQLITE_ROW，當到達結果末尾時，返回SQLITE_DONE。

3.Finalization：

VDBE關閉statement，釋放資源。相應的C API為sqlite3_finalize()。

通過下圖可以更容易理解該過程：

?

最后以一個具體的例子結束本節，

#include 
#include 
#include "sqlite3.h"
#include 
int main(int argc, char **argv)
{
int rc, i, ncols;
sqlite3 *db;
sqlite3_stmt *stmt;
char *sql;
const char *tail;
//打開數據
rc = sqlite3_open("foods.db", &db);
if(rc) {
fprintf(stderr, "Can't open database: %s\n", sqlite3_errmsg(db));
sqlite3_close(db);
exit(1);
}
sql = "select * from episodes";
//預處理
rc = sqlite3_prepare(db, sql, (int)strlen(sql), &stmt, &tail);
if(rc != SQLITE_OK) {
fprintf(stderr, "SQL error: %s\n", sqlite3_errmsg(db));
}
rc = sqlite3_step(stmt);
ncols = sqlite3_column_count(stmt);
while(rc == SQLITE_ROW) {
for(i=0; i < ncols; i++) {
fprintf(stderr, "'%s' ", sqlite3_column_text(stmt, i));
}
fprintf(stderr, "\n");
rc = sqlite3_step(stmt);
}
//釋放statement
sqlite3_finalize(stmt);
//關閉數據庫
sqlite3_close(db);
return 0;
}

?