嵌入式數(shù)據(jù)庫典型技術(shù)―SQLite和Berkeley

時(shí)間:2022-11-17 09:44:00

導(dǎo)語:嵌入式數(shù)據(jù)庫典型技術(shù)―SQLite和Berkeley一文來源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

嵌入式數(shù)據(jù)庫典型技術(shù)―SQLite和Berkeley

摘要:與常見的數(shù)據(jù)庫相比,嵌入式數(shù)據(jù)庫具有體積小、功能齊備、可移植性、健壯性等特點(diǎn),本文分析和比較了典型的嵌入式數(shù)據(jù)庫SQLite和BerkeleyDB。首先從體系結(jié)構(gòu)、子系統(tǒng)間調(diào)用關(guān)系、任務(wù)執(zhí)行過程等角度對(duì)SQLite和BerkeleyDB進(jìn)行了詳細(xì)分析,然后重點(diǎn)從數(shù)據(jù)類型、存儲(chǔ)方式、模式、數(shù)據(jù)庫引擎和錯(cuò)誤處理及加密功能等方面討論了SQLite和BerkeleyDB的異同點(diǎn),最后列舉了一個(gè)基于ARM—Linux的SQLite應(yīng)用實(shí)例。

關(guān)鍵詞:SQLite、BerkeleyDB、SQL、虛擬數(shù)據(jù)庫引擎(VDBE)

引言

隨著計(jì)算機(jī)技術(shù)與其它學(xué)科間的不斷交融、滲透,數(shù)據(jù)庫應(yīng)用的范圍更加深入和具體。那些僅適用于PC機(jī),體積龐大、延時(shí)較長(zhǎng)的數(shù)據(jù)庫技術(shù)已不能滿足針對(duì)性較強(qiáng)的嵌入式系統(tǒng)開發(fā)的需求。SOLite和BerkeleyDB是目前應(yīng)用較廣泛、技術(shù)較穩(wěn)定的兩種嵌入式數(shù)據(jù)庫。然而,國內(nèi)對(duì)嵌入式數(shù)據(jù)庫的研究起步較晚,還沒能引起更多人的關(guān)注。更多人熟悉那些基于C/S或B/S結(jié)構(gòu)的關(guān)系型數(shù)據(jù)庫來實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、檢索等功能。然而,在嵌入式系統(tǒng)中,由于軟硬件資源有限,不可能安裝龐大的數(shù)據(jù)庫服務(wù)器,而用戶的需求可能由一個(gè)簡(jiǎn)單的基于磁盤文件的數(shù)據(jù)庫系統(tǒng)就能實(shí)現(xiàn),這僅僅是利用了那些數(shù)據(jù)庫的基本特性。此時(shí),對(duì)嵌入式數(shù)據(jù)庫的研究就顯得尤為重要了。

1嵌入式數(shù)據(jù)庫

嵌入式數(shù)據(jù)庫通常是與嵌入式操作系統(tǒng)及具體的應(yīng)用集成在一起,無需獨(dú)立運(yùn)行數(shù)據(jù)庫引擎,由程序直接調(diào)用相應(yīng)的API就可實(shí)現(xiàn)對(duì)數(shù)據(jù)的存取操作。嵌入式系統(tǒng)的開發(fā)環(huán)境決定了其數(shù)據(jù)庫的特點(diǎn):

1、體積適當(dāng)

由于嵌入式系統(tǒng)自身的特點(diǎn),對(duì)數(shù)據(jù)的存儲(chǔ)和程序的運(yùn)行都有較強(qiáng)的空間限制,所以嵌入式數(shù)據(jù)庫首先應(yīng)該保障的就是適當(dāng)?shù)捏w積。進(jìn)一步來說就是占用盡量少的ROM、RAM及CPU的資源。

2、功能齊備

嵌入式系統(tǒng)開發(fā)中,用戶需求決定了需要一個(gè)大小適中、功能齊備的數(shù)據(jù)庫來實(shí)現(xiàn)數(shù)據(jù)

管理,這就使得開發(fā)人員要采用一個(gè)能夠提供完備開發(fā)文檔且易于開發(fā)的數(shù)據(jù)庫技術(shù)。此外,

國家863項(xiàng)目2002AA714023,研究生精品課程資助05531451

在嵌入式設(shè)備中,數(shù)據(jù)庫的管理對(duì)用戶來說是透明的,這就要求此數(shù)據(jù)庫能夠自動(dòng)完成啟動(dòng)初始化、日志管理、數(shù)據(jù)壓縮、備份、數(shù)據(jù)恢復(fù)等功能;而且嵌入式設(shè)備經(jīng)常有不可預(yù)料的硬復(fù)位,這就需要此數(shù)據(jù)庫有高度的健壯性。

3、可移植性

嵌入式系統(tǒng)的平臺(tái)種類繁多,因此嵌入式數(shù)據(jù)庫應(yīng)有一定的可移植性,以適用于不同的軟硬件平臺(tái)。

4、代碼開源

開源的代碼在產(chǎn)品的開發(fā)過程中不僅可以減少開發(fā)成本,更重要的是為后期的維護(hù)完善和穩(wěn)定運(yùn)行都提供了最為徹底的解決方法。

2sqlite

SQLite是D.理查德.希普用一個(gè)小型的C庫開發(fā)的一種強(qiáng)有力的嵌入式關(guān)系數(shù)據(jù)庫管理體制。雖然功能較berkeleyDB稍顯遜色,但它簡(jiǎn)單易學(xué)、速度較快,同時(shí)提供了豐富的數(shù)據(jù)庫接口,提供了對(duì)SQL92的大多數(shù)支持:支持多表和索引、事務(wù)、視圖、觸發(fā)和一系列的用戶接口及驅(qū)動(dòng)。

SQLite的體系結(jié)構(gòu)大體上可以分成八個(gè)主要的子系統(tǒng),如圖1所示。對(duì)數(shù)據(jù)庫進(jìn)行的各種操作都是按照此順序,逐一執(zhí)行的。頂層是標(biāo)記處理器(tokenize)和分析器(parser)。SQLite有自己高度優(yōu)化的代碼生成器,可以快速、高效地生產(chǎn)出代碼。底部是經(jīng)過優(yōu)化的B樹,這樣有助于運(yùn)行在可調(diào)整的頁面緩沖上時(shí),對(duì)磁盤的查找降低到最小。再往下是頁面高速緩存,它作用在OS的抽象層之上,這樣的體系結(jié)構(gòu)使數(shù)據(jù)庫的可移植性變?yōu)榭赡堋?/p>

該體系結(jié)構(gòu)的核心是虛擬數(shù)據(jù)庫引擎(VDBE)。VDBE完成與數(shù)據(jù)操作相關(guān)的全部任務(wù),并且是客戶和存儲(chǔ)之間信息交換的中間單元。從各個(gè)角度分析,它都是SQLite的核心。當(dāng)SQL語句被分析后,VDBE便開始工作。代碼生成器將分析樹翻譯成一個(gè)袖珍程序,隨后這些袖珍程序又被組合成VDBE的虛擬機(jī)器語言表示的一系列指令。如此反復(fù),VDBE執(zhí)行每條指令,最終完成SQL語句指定的查詢要求。

SQLite有以下特性:支持ACID事務(wù)、零配置―無需安裝和管理配置、存儲(chǔ)在單一磁盤文件中的一個(gè)完整的數(shù)據(jù)庫、數(shù)據(jù)庫文件可以在不同字節(jié)順序的機(jī)器間自由共享、支持?jǐn)?shù)據(jù)庫大小至2TB、足夠小、全部源碼大致3萬行C代碼,250KB、比目前流行的大多數(shù)據(jù)庫運(yùn)行速度快,提供了對(duì)事務(wù)功能和并發(fā)處理的支持、應(yīng)用Transaction既保證了數(shù)據(jù)的完整性,也會(huì)提高運(yùn)行速度,因?yàn)槎鄺l語句一起提交給數(shù)據(jù)庫的速度會(huì)比逐一提交的方式更快、獨(dú)立、沒有額外依賴。

3BerkeleyDB

BerkeleyDB是由sleepycatsoftware開發(fā)的輕量級(jí)嵌入式數(shù)據(jù)庫,它不僅適用于嵌入式系統(tǒng),而且可以直接連接到應(yīng)用程序內(nèi)部,和應(yīng)用程序運(yùn)行在同一地址空間。傳統(tǒng)的數(shù)據(jù)庫一般作為獨(dú)立服務(wù)器工作,而BerkeleyDB是軟件開發(fā)庫,開發(fā)者將它嵌入到應(yīng)用程序中,應(yīng)用程序本身就是一個(gè)服務(wù)器,而只是利用嵌入式數(shù)據(jù)庫開發(fā)來實(shí)現(xiàn)定制的數(shù)據(jù)庫邏輯,避免了與應(yīng)用服務(wù)器進(jìn)程間通信的開銷,因此BerkeleyDB具有較高的運(yùn)行效率,適用于資源受限的嵌入式系統(tǒng)。

一般而言,BerkeleyDB數(shù)據(jù)庫系統(tǒng)可以大致分為五個(gè)子系統(tǒng),如圖2所示。

1、存取管理子系統(tǒng)(AccessMethods)

該子系統(tǒng)為創(chuàng)建和訪問數(shù)據(jù)庫文件提供基本的支持。在沒有事務(wù)管理的情況下,該子系統(tǒng)中的模塊可單獨(dú)使用,為應(yīng)用程序提供快速高效的數(shù)據(jù)存取服務(wù)。

2、內(nèi)存池管理子系統(tǒng)(MemoryPool)

該子系統(tǒng)就是BerkeleyDB所使用的通用共享內(nèi)存緩沖區(qū),該子系統(tǒng)可以被應(yīng)用程序單獨(dú)使用。

3、事務(wù)子系統(tǒng)(Transaction)

該子系統(tǒng)為BerkekeyDB提供事務(wù)管理功能,保證操作的原則性、一致性和孤立性。事務(wù)子系統(tǒng)適用于對(duì)需要事務(wù)保證的數(shù)據(jù)進(jìn)行修改的場(chǎng)合。

4、鎖子系統(tǒng)(Locking)

該子系統(tǒng)提供進(jìn)程之間以及進(jìn)程內(nèi)部的并發(fā)管理機(jī)制,為系統(tǒng)提供多用戶讀取和單用戶修改同一對(duì)象的共享控制。該子系統(tǒng)可以被應(yīng)用程序單獨(dú)使用。

5、日志子系統(tǒng)(Logging)

該子系統(tǒng)采用的是先寫日志的策略,支持事務(wù)子系統(tǒng)進(jìn)行數(shù)據(jù)恢復(fù),保證數(shù)據(jù)一致性。

4、SQLite與BerkeleyDB的異同

通過上面的一些介紹,也許會(huì)對(duì)SQLite和BerkeleyDB有了一定的了解。從目前的趨勢(shì)看,這兩款嵌入式數(shù)據(jù)庫有著旺盛的生命力,較好的應(yīng)用領(lǐng)域及發(fā)展空間。筆者翻閱了大量的資料,從各個(gè)角度,對(duì)它們的異同進(jìn)行了多方面,多層次的比較,如表1所示。

表1SQLite與BerkeleyDB的異同

特性

SQLite

BerkeleyDB

是否為關(guān)系數(shù)據(jù)庫

是否支持SQL

開發(fā)語言

數(shù)據(jù)類型

存儲(chǔ)方式

存儲(chǔ)模式

數(shù)據(jù)庫引擎

適用系統(tǒng)

錯(cuò)誤處理

加密功能

是否免費(fèi)

難易程度

C語言

轉(zhuǎn)換成ASCII碼

Btree

虛擬

從ARM/Linux到SPARC/Solaris多種硬件平臺(tái)

較少

全部

較易

C、Java語言

原樣存儲(chǔ)

Btree、Hash、Queue和Recno

UNIX/POSIXsystems、Win32及嵌入式系統(tǒng)WinCE、VxWorks等

較詳細(xì)

強(qiáng)

部分

較難

通過此表我們可以較為直觀地看到,SQLite和BerkeleyDB在數(shù)據(jù)庫類型、開發(fā)語言、存儲(chǔ)方式、模式等方面有著較大的差異。下面筆者就對(duì)其中某些重要方面進(jìn)行相對(duì)詳細(xì)的論述:

1、數(shù)據(jù)庫類型

SQLite基于關(guān)系數(shù)據(jù)庫模式,支持絕大多數(shù)標(biāo)準(zhǔn)的SQL92語句,在很大程度上實(shí)現(xiàn)了ANSISQL92標(biāo)準(zhǔn),特別是支持視圖、觸發(fā)器、事務(wù),支持嵌套SQL。它通過SQL編譯器(SQLComplier)來實(shí)現(xiàn)SQL語言對(duì)數(shù)據(jù)庫進(jìn)行操作,采用單文件存放數(shù)據(jù)庫。在操作語句上更類似關(guān)系型數(shù)據(jù)庫的產(chǎn)品使用,非常方便。這也就使得那些曾經(jīng)有過PC機(jī)數(shù)據(jù)庫經(jīng)驗(yàn)的人,對(duì)SQLite的學(xué)習(xí)變得易如反掌。

此外,SQLite也有API的概念,而且極其易于使用,只需要三個(gè)用來執(zhí)行SQL和獲得數(shù)據(jù)的函數(shù)。它還是可以擴(kuò)展的,允許程序員自定義函數(shù),然后以callback的形式集合進(jìn)去。C語言API是腳本接口的基礎(chǔ),如已經(jīng)的(Tcl接口)。開放源碼團(tuán)體已經(jīng)擴(kuò)展了眾多的客戶接口、適配器、驅(qū)動(dòng)等,這就使得其他語言對(duì)SQLite的使用也成為可能。

BerkeleyDB不是關(guān)系型的數(shù)據(jù)庫,不能應(yīng)用標(biāo)準(zhǔn)的SQL語句對(duì)數(shù)據(jù)庫操作,對(duì)它的操作要調(diào)用專用的API實(shí)現(xiàn)。這些API提供了查詢、插入、刪除等功能。使用BerkeleyDB提供的函數(shù)來進(jìn)行數(shù)據(jù)庫的訪問和管理并不復(fù)雜。在大多數(shù)場(chǎng)合下,只需按照統(tǒng)一的接口標(biāo)準(zhǔn)進(jìn)行調(diào)用就可以完成最基本的操作。

2、存儲(chǔ)方式及模式

SQLite只提供了Btree存儲(chǔ)數(shù)據(jù)的模式。對(duì)二進(jìn)制數(shù)據(jù),SQLite不能直接保存;但可以先將二進(jìn)制的數(shù)據(jù)轉(zhuǎn)換成ASCII編碼,然后再保存。Base64編碼機(jī)制是最常見的把二進(jìn)制數(shù)據(jù)轉(zhuǎn)換成ASCII編碼的手段。在SQLite的C語言代碼encode.c中,提供了Base64編碼的功能。

BerkeleyDB對(duì)任何存入的數(shù)據(jù)都是按原樣直接存儲(chǔ)到數(shù)據(jù)文件中去,無論其是二進(jìn)制數(shù)據(jù)還是ASCII或Unicode等編碼的文本。BerkeleyDB提供了四種存儲(chǔ)數(shù)據(jù)的模式:Btree、Hash、Queue和Recno。在打開數(shù)據(jù)庫的時(shí)候,要指定一種存儲(chǔ)模式。

對(duì)于以上各種存儲(chǔ)模式的具體定義、優(yōu)缺點(diǎn)、及適用范圍,由于篇幅有限,在此就不過多敘述,如有需要可參閱相關(guān)資料。

3、數(shù)據(jù)類型

SQLite最大的特點(diǎn)在于其數(shù)據(jù)類型為無數(shù)據(jù)類型(typelessness)。這意味著可以保存任何類型的數(shù)據(jù)到所想要保存的任何表的任何列中,無論這列聲明的數(shù)據(jù)類型是什么。雖然在生成表結(jié)構(gòu)的時(shí)候,要聲明每個(gè)域的數(shù)據(jù)類型,但SQLite并不做任何檢查。開發(fā)人員要靠自己的程序來控制輸入與讀出數(shù)據(jù)的類型。這里有一個(gè)例外,就是當(dāng)主鍵為整型值時(shí),如果要插入一個(gè)非整型值時(shí)會(huì)產(chǎn)生異常。

雖然,SQLite允許忽略數(shù)據(jù)類型,但是,仍然建議在CreateTable語句中指定數(shù)據(jù)類型,因?yàn)閿?shù)據(jù)類型有利于增強(qiáng)程序的可讀性。另外,雖然在插入或讀出數(shù)據(jù)的時(shí)候是不區(qū)分類型的,但在比較的時(shí)候,不同數(shù)據(jù)類型是有區(qū)別的。

在BerkeleyDB中關(guān)鍵字(key)和數(shù)據(jù)(data)是用來進(jìn)行數(shù)據(jù)庫管理的基礎(chǔ),由這兩者構(gòu)成的key/data對(duì),組成了數(shù)據(jù)庫中的一個(gè)基本結(jié)構(gòu)單元。通過使用這種方式,用API函數(shù)訪問數(shù)據(jù)庫時(shí),只需提供關(guān)鍵字就能夠訪問到相應(yīng)的數(shù)據(jù)。關(guān)鍵字和數(shù)據(jù)在BerkeleyDB中都是用一個(gè)名為DBT的簡(jiǎn)單結(jié)構(gòu)來表示的,它的作用主要是保存相應(yīng)的內(nèi)存地址及其長(zhǎng)度。

5應(yīng)用

SQLite嵌入式數(shù)據(jù)庫提供了以源碼的方式,要在眾多的硬件平臺(tái)進(jìn)行移植,可以根據(jù)不同平臺(tái)對(duì)源碼進(jìn)行交叉編譯來實(shí)現(xiàn)。編譯主要有以下幾個(gè)步驟:

1、到/的cvs中下載最新的源代碼包,解壓后將生成sqlite目錄,另外新建并轉(zhuǎn)到一個(gè)與sqlite目錄平行的同級(jí)目錄,如make目錄。

2、用“echo$PATH”命令查看PATH中是否已經(jīng)包含交叉編譯工具arm-linux-gcc。

3、為了在ARM-Linux下能正常運(yùn)行sqlite,需要對(duì)sqlite/src/sqliteInt.h作一定的修改,以確保btree(B樹)有正確的變量大小,如“ptr”和“char”。不同體系結(jié)構(gòu)的Linux,如X86和ARM,會(huì)有些差別。對(duì)于ARM-Linux可以找到如下部分:

#ifndefINTPTR_TYPE

#ifSQLITE_PTR_SZ==4

#defineINTPTR_TYPEint

#else

#defineINTPTR_TYPElonglong

#endif

在上面的代碼前加上一句

#defineSQLITE_PTR_SZ4

這樣后面的“typedefINTPTR_TYPEptr;”就是定義的“int”類型,而不是“l(fā)onglong”。

4、使用configure進(jìn)行一些配置。修改sqlite目錄下的configure,讓configure不去檢查交叉編譯環(huán)境。由于篇幅有限不再詳述。

5、修改Makefile文件。將代碼行BCC=arm-linux-gcc-g-O2改成BCC=gcc-g-O2。另外,一般是以靜態(tài)鏈接的形式將sqlite放到ARM-Linux的硬件板上運(yùn)行的,所以繼續(xù)修改Makefile,找到標(biāo)記為sqlite:的代碼段,將其中的libsqlite.la改成.libs/libsqlite.a。做完上述修改,用make生成sqlite、libsqlite.a、libsqlite.so。為了減小執(zhí)行文件大小可以用strip處理,去掉其中的調(diào)試信息。

6、在ARM板上運(yùn)行sqlite。將sqlite拷貝到ARM板上,方法很多,需要根據(jù)具體的情況來選擇。如ftp、cm-dftp、wget等。將sqlite下載到ARM板的/tmp目錄,因?yàn)榇四夸浭强蓪懙?。修改?quán)限并運(yùn)行:

chmod+wxsqlite

./sqlitetest.sqlite

會(huì)出現(xiàn)

sqlite>

如果一切正常,現(xiàn)在sqlite已經(jīng)在ARM-Linux下跑了起來,然后就可以基于此進(jìn)行下一步的應(yīng)用開發(fā)了。

6結(jié)語

嵌入式數(shù)據(jù)庫SQLite和BerkeleyDB,在體積上、功能上、運(yùn)行速度及難易程度都存在著或多或少的異同。但它們都有能夠充分適應(yīng)硬件的能力,能很好地適應(yīng)嵌入式系統(tǒng)的需要。就筆者來看,SQLite功能雖不及BerkeleyDB強(qiáng)大,但它的設(shè)計(jì)思想是小型、快速和最小化的管理。這就使得SQLite在大小和功能之間找到了一個(gè)理想的平衡點(diǎn),而且完全的開源代碼使其可以稱得上是理想的“嵌入式數(shù)據(jù)庫”。當(dāng)然在具體的嵌入式應(yīng)用中可以根據(jù)具體情況選擇應(yīng)用。

參考文獻(xiàn):

1、,SQLite的官方主頁

2、,BerkeleyDB的官方主頁

3、MichaelOwens.EmbeddinganSQLDatabasewithSqlite.LinuxJournal,20030601

4、薛啟康.Linux環(huán)境下的數(shù)據(jù)庫.中國計(jì)算機(jī)報(bào),2001總期號(hào):1009

5、張孝.嵌入式移動(dòng)數(shù)據(jù)庫的現(xiàn)狀及發(fā)展[J/OL].