常用内存数据库介绍
1. 內(nèi)存數(shù)據(jù)庫簡介 1.1 概念 一、什么是內(nèi)存數(shù)據(jù)庫 傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)把所有數(shù)據(jù)都放在磁盤上進(jìn)行管理,所以稱做磁盤數(shù)據(jù)庫(DRDB:Disk-Resident Database)。磁盤數(shù)據(jù)庫需要頻繁地訪問磁盤來進(jìn)行數(shù)據(jù)的操作,由于對磁盤讀寫數(shù)據(jù)的操作一方面要進(jìn)行磁頭的
1. 內(nèi)存數(shù)據(jù)庫簡介
1.1 概念
一、什么是內(nèi)存數(shù)據(jù)庫
傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)把所有數(shù)據(jù)都放在磁盤上進(jìn)行管理,所以稱做磁盤數(shù)據(jù)庫(DRDB:Disk-Resident Database)。磁盤數(shù)據(jù)庫需要頻繁地訪問磁盤來進(jìn)行數(shù)據(jù)的操作,由于對磁盤讀寫數(shù)據(jù)的操作一方面要進(jìn)行磁頭的機(jī)械移動,另一方面受到系統(tǒng)調(diào)用(通常通過CPU中斷完成,受到CPU時鐘周期的制約)時間的影響,當(dāng)數(shù)據(jù)量很大,操作頻繁且復(fù)雜時,就會暴露出很多問題。
近年來,內(nèi)存容量不斷提高,價格不斷下跌,操作系統(tǒng)已經(jīng)可以支持更大的地址空間(計算機(jī)進(jìn)入了64位時代),同時對數(shù)據(jù)庫系統(tǒng)實(shí)時響應(yīng)能力要求日益提高,充分利用內(nèi)存技術(shù)提升數(shù)據(jù)庫性能成為一個熱點(diǎn)。
在數(shù)據(jù)庫技術(shù)中,目前主要有兩種方法來使用大量的內(nèi)存。一種是在傳統(tǒng)的數(shù)據(jù)庫中,增大緩沖池,將一個事務(wù)所涉及的數(shù)據(jù)都放在緩沖池中,組織成相應(yīng)的數(shù)據(jù)結(jié)構(gòu)來進(jìn)行查詢和更新處理,也就是常說的共享內(nèi)存技術(shù),這種方法優(yōu)化的主要目標(biāo)是最小化磁盤訪問。另一種就是內(nèi)存數(shù)據(jù)庫(MMDB:Main Memory Database,也叫主存數(shù)據(jù)庫)技術(shù),就是干脆重新設(shè)計一種數(shù)據(jù)庫管理系統(tǒng),對查詢處理、并發(fā)控制與恢復(fù)的算法和數(shù)據(jù)結(jié)構(gòu)進(jìn)行重新設(shè)計,以更有效地使用CPU周期和內(nèi)存,這種技術(shù)近乎把整個數(shù)據(jù)庫放進(jìn)內(nèi)存中,因而會產(chǎn)生一些根本性的變化。兩種技術(shù)的區(qū)別如下表:
內(nèi)存數(shù)據(jù)庫系統(tǒng)帶來的優(yōu)越性能不僅僅在于對內(nèi)存讀寫比對磁盤讀寫快上,更重要的是,從根本上拋棄了磁盤數(shù)據(jù)管理的許多傳統(tǒng)方式,基于全部數(shù)據(jù)都在內(nèi)存中管理進(jìn)行了新的體系結(jié)構(gòu)的設(shè)計,并且在數(shù)據(jù)緩存、快速算法、并行操作方面也進(jìn)行了相應(yīng)的改進(jìn),從而使數(shù)據(jù)處理速度一般比傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)處理速度快很多,一般都在10倍以上,理想情況甚至可以達(dá)到1000倍。
而使用共享內(nèi)存技術(shù)的實(shí)時系統(tǒng)和使用內(nèi)存數(shù)據(jù)庫相比有很多不足,由于優(yōu)化的目標(biāo)仍然集中在最小化磁盤訪問上,很難滿足完整的數(shù)據(jù)庫管理的要求,設(shè)計的非標(biāo)準(zhǔn)化和軟件的專用性造成可伸縮性、可用性和系統(tǒng)的效率都非常低,對于快速部署和簡化維護(hù)都是不利的。
2. 內(nèi)存數(shù)據(jù)庫歷史和發(fā)展
一、雛形期
從上個世紀(jì)60年代末到80年代初。在這個時期中,出現(xiàn)了主存數(shù)據(jù)庫的雛形。1969年IBM公司研制了世界上最早的數(shù)據(jù)庫管理系統(tǒng)------基于層次模型的數(shù)據(jù)庫管理系統(tǒng)IMS,并作為商品化軟件投入市場。在設(shè)計IMS時,IBM考慮到基于內(nèi)存的數(shù)據(jù)管理方法,相應(yīng)推出了IMS/VS Fast Path。Fast Path是一個支持內(nèi)存駐留數(shù)據(jù)的商業(yè)化數(shù)據(jù)庫,但它同時也可以很好地支持磁盤駐留數(shù)據(jù)。在這個產(chǎn)品中體現(xiàn)了主存數(shù)據(jù)庫的主要設(shè)計思想,也就是將需要頻繁訪問,要求高響應(yīng)速度的數(shù)據(jù)直接存放在物理內(nèi)存中訪問和管理。在這個階段中,包括網(wǎng)狀數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫等其他各種數(shù)據(jù)庫技術(shù)也都逐漸成型。
二、技術(shù)理論成熟期
1984年,D J DeWitt等人發(fā)表了《主存數(shù)據(jù)庫系統(tǒng)的實(shí)現(xiàn)技術(shù)》一文。第一次提出了Main Memory Database(主存數(shù)據(jù)庫)的概念。預(yù)言當(dāng)時異常昂貴的計算機(jī)主存價格一定會下降,用戶有可能將大容量的數(shù)據(jù)庫全部保存在主存中,提出了AVL樹、哈希算法、主存數(shù)據(jù)庫恢復(fù)機(jī)制等主存數(shù)據(jù)庫技術(shù)的關(guān)鍵理論,為主存數(shù)據(jù)庫的發(fā)展指出了明確的方向 。
1984年,D J DeWitt等人提出使用非易逝內(nèi)存或預(yù)提交和成組提交技術(shù)作為主存數(shù)據(jù)庫的提交處理方案,使用指針實(shí)現(xiàn)主存數(shù)據(jù)庫的存取訪問。
1985年,IBM推出了IBM 370上運(yùn)行的OBE主存數(shù)據(jù)庫
1986年,RB Hagman提出了使用檢查點(diǎn)技術(shù)實(shí)現(xiàn)主存數(shù)據(jù)庫的恢復(fù)機(jī)制。威斯康星大學(xué)提出了按區(qū)雙向鎖定模式解決主存數(shù)據(jù)庫中的并發(fā)控制問題。并設(shè)計出MM-DBMS主存數(shù)據(jù)庫。貝爾實(shí)驗(yàn)室推出了DALI主存數(shù)據(jù)庫模型。
1987年,ACM SIGMOD會議中提出了以堆文件(HEAP FILE)作為主存數(shù)據(jù)庫的數(shù)據(jù)存儲結(jié)構(gòu)。Southern Methodist大學(xué)設(shè)計出MARS主存數(shù)據(jù)庫模型。
1988年普林斯頓大學(xué)設(shè)計出TPK主存數(shù)據(jù)庫。
1990年普林斯頓大學(xué)又設(shè)計出System M主存數(shù)據(jù)庫。
三、產(chǎn)品發(fā)展期和市場成長期
隨著互聯(lián)網(wǎng)的發(fā)展,越來越多的網(wǎng)絡(luò)應(yīng)用系統(tǒng)需要能夠支持大用戶量并發(fā)訪問、高響應(yīng)速度的的數(shù)據(jù)庫系統(tǒng),主存數(shù)據(jù)庫市場成熟
半導(dǎo)體技術(shù)快速發(fā)展,半導(dǎo)體內(nèi)存大規(guī)模生產(chǎn),動態(tài)隨機(jī)存取存儲器(DRAM)的容量越來越大,而價格越來越低,這無疑為計算機(jī)內(nèi)存的不斷擴(kuò)大提供了硬件基礎(chǔ),使得主存數(shù)據(jù)庫的技術(shù)可行性逐步成熟
1994年美國OSE公司推出了第一個商業(yè)化的,開始實(shí)際應(yīng)用的主存數(shù)據(jù)庫產(chǎn)品Polyhedra
1998年德國SoftwareAG推出了Tamino Database。
1999年日本UBIT會社開發(fā)出XDB主存數(shù)據(jù)庫產(chǎn)品。韓國Altibase推出Altibase
2000年奧地利的QuiLogic公司推出了SQL-IMDB
2001年美國McObject推出eXtremeDB。加拿大Empress公司推出EmpressDB
四、幾種主存技術(shù)應(yīng)用的比較
第一代:用戶定制的主存數(shù)據(jù)庫。通過應(yīng)用程序來管理內(nèi)存和數(shù)據(jù);不支持SQL語句, 不提供本地存儲, 沒有數(shù)據(jù)庫恢復(fù)技術(shù);性能好但很難維護(hù)和在別的應(yīng)用中不能使用;應(yīng)用在實(shí)時領(lǐng)域比如工廠自動化生產(chǎn)。
第二代:簡單功能的內(nèi)存數(shù)據(jù)庫。能夠快速處理簡單的查詢;支持部分的 SQL語句和簡單的恢復(fù)技術(shù);主要目的是能夠快速處理大量事務(wù);針對簡單事務(wù)處理領(lǐng)域,尤其是交換機(jī), 移動通信等。
第三代:通用的主存數(shù)據(jù)庫。針對傳統(tǒng)的商業(yè)關(guān)系型數(shù)據(jù)庫領(lǐng)域,能夠提供更高的性能、通用性以及穩(wěn)定性;提供不同的接口來處理復(fù)雜的SQL語句和滿足不同的應(yīng)用領(lǐng)域;可以應(yīng)用在計費(fèi)、電子商務(wù)、在線安全領(lǐng)域,幾乎包括磁盤數(shù)據(jù)庫的所有應(yīng)用領(lǐng)域。
五、目前幾種常見的通用內(nèi)存數(shù)據(jù)庫
eXtremeDB:eXtremeDB實(shí)時數(shù)據(jù)庫是McObject公司的一款特別為實(shí)時與嵌入式系統(tǒng)數(shù)據(jù)管理而設(shè)計的數(shù)據(jù)庫,只有50K到130K的開銷,速度達(dá)到微秒級。eXtremeDB完全駐留在主內(nèi)存中,不使用文件系統(tǒng)(包括內(nèi)存盤)。eXtremeDB采用了新的磁盤融合技術(shù),將內(nèi)存拓展到磁盤,將磁盤當(dāng)做虛擬內(nèi)存來用,實(shí)時性能保持微秒級的同時,數(shù)據(jù)管理量在32BIT下能達(dá)到20G。
Oracle TimesTen:Oracle TimesTen是Oracle從TimesTen公司收購的一個內(nèi)存優(yōu)化的關(guān)系數(shù)據(jù)庫,它為應(yīng)用程序提供了實(shí)時企業(yè)和行業(yè)(例如電信、資本市場和國防)所需的即時響應(yīng)性和非常高的吞吐量。Oracle TimesTen可作為高速緩存或嵌入式數(shù)據(jù)庫被部署在應(yīng)用程序?qū)又?,它利用?biāo)準(zhǔn)的 SQL 接口對完全位于物理內(nèi)存中的數(shù)據(jù)存儲區(qū)進(jìn)行操作。
SolidDB:Solid Information Technology 成立于 1992 年,全球總部位于加州Cupertino,
Solid數(shù)據(jù)管理平臺將基于內(nèi)存和磁盤的全事務(wù)處理數(shù)據(jù)庫引擎、載體級高可用性及強(qiáng)大的數(shù)據(jù)復(fù)制功能緊密地融為一體。
ALTIBASE公司從1999年就一直致力于內(nèi)存數(shù)據(jù)庫軟件和其應(yīng)用的開發(fā),提供高性能和高可用性的軟件解決方案。特別適合通信、網(wǎng)上銀行、證券交易、實(shí)時應(yīng)用和嵌入式系統(tǒng)領(lǐng)域。目前占據(jù)80%以上內(nèi)存數(shù)據(jù)庫市場,可以說是當(dāng)今數(shù)據(jù)庫軟件技術(shù)的領(lǐng)導(dǎo)者。目前Altibase在國內(nèi)成功案例也比較多,尤其是在電信行業(yè),已經(jīng)得到了廣泛認(rèn)可.
4. 常用內(nèi)存數(shù)據(jù)庫
4.1 SQLite
SQLite是一個小型的C程序庫,實(shí)現(xiàn)了獨(dú)立的,可嵌入的,零配置的SQL數(shù)據(jù)庫引擎。特性包括:
- 事務(wù)操作是原子,一致,孤立,并且持久的(ACID),即使在系統(tǒng)崩潰和電源故障之后。
- 零配置——不需要安裝和管理。
- 實(shí)現(xiàn)了絕大多數(shù)SQL92標(biāo)準(zhǔn)。
- 整個數(shù)據(jù)庫存儲在一個單一的文件中。
- 數(shù)據(jù)庫文件可以在不同字節(jié)序的機(jī)器之間自由地共享。
- 支持最大可達(dá)2T的數(shù)據(jù)庫。 (241 字節(jié))
- 字符串和BLOB類型的大小最大可達(dá) 2G 字節(jié)(231字節(jié))。
- 小的代碼: 完整配置的少于250KB,忽略一些可選特性的少于150KB。
- 在大多數(shù)常見操作上比流行的客戶/服務(wù)器數(shù)據(jù)庫引擎更快。
- 簡單,易于使用的API。
- 內(nèi)建TCL綁定。
另外提供可用于許多其他語言的綁定。 - 具有良好注釋的源代碼,95%經(jīng)過測試。
- 獨(dú)立:沒有外部依賴。
- 源代碼位于公共域。 可用于任何用途。
SQLite發(fā)行版包含一個獨(dú)立的命令行訪問程序(sqlite),可用于管理SQLite數(shù)據(jù)庫,并適合作為一個如何使用SQLite庫的例子。
License: SQLite使用Public domain授權(quán)(注),對于個人使用和商業(yè)使用都是免費(fèi)的。
技術(shù)上的優(yōu)點(diǎn)和特性
SQLite是一個輕量級、跨平臺的關(guān)系型數(shù)據(jù)庫。
◇輕量級
先說它的第一個特色:輕量級。想必SQLite的作者很看重這個特性,連它的Logo都是用的“羽毛”,來顯擺它的輕飄飄。SQLite和C/S模式的數(shù)據(jù)庫軟件不同,它是進(jìn)程內(nèi)的數(shù)據(jù)庫引擎,因此不存在數(shù)據(jù)庫的客戶端和服務(wù)器。使用SQLite一般只需要帶上它的一個動態(tài)庫,就可以享受它的全部功能。而且那個動態(tài)庫的尺寸也挺小,以版本3.6.11為例,Windows下487KB、Linux下347KB。
◇ 綠色軟件
SQLite的另外一個特點(diǎn)是綠色:它的核心引擎本身不依賴第三方的軟件,使用它也不需要“安裝”。所以在部署的時候能夠省去不少麻煩。
◇單一文件
所謂的“單一文件”,就是數(shù)據(jù)庫中所有的信息(比如表、視圖、觸發(fā)器、等)都包含在一個文件內(nèi)。這個文件可以copy到其它目錄或其它機(jī)器上,也照用不誤。
★技術(shù)上的缺點(diǎn)和不足
◇并發(fā)訪問的鎖機(jī)制
SQLite在并發(fā)(包括多進(jìn)程和多線程)讀寫方面的性能一直不太理想。數(shù)據(jù)庫可能會被寫操作獨(dú)占,從而導(dǎo)致其它讀寫操作阻塞或出錯。
SQL標(biāo)準(zhǔn)支持不全
在它的官方網(wǎng)站上,具體列舉了不支持哪些SQL92標(biāo)準(zhǔn)。我個人感覺比較不爽的是不支持外鍵約束。
◇網(wǎng)絡(luò)文件系統(tǒng)(以下簡稱NFS)
有時候需要訪問其它機(jī)器上的SQLite數(shù)據(jù)庫文件,就會把數(shù)據(jù)庫文件放置到網(wǎng)絡(luò)共享目錄上。這時候你就要小心了。當(dāng)SQLite文件放置于NFS時,在并發(fā)讀寫的情況下可能會出問題(比如數(shù)據(jù)損壞)。原因據(jù)說是由于某些NFS的文件鎖實(shí)現(xiàn)上有Bug。
★編程語言接口
SQLite支持很多種語言的編程接口。這對于我這種喜歡混用多種編程語言的人來說,是很爽的。下面我大概介紹一下。
◇C/C++
由于SQLite本身是C寫的,它自帶的API也是C接口的。所以C/C++用起來最直接了。假如你不喜歡面向過程的C API風(fēng)格,可以另外找個C++的包裝庫。想重新發(fā)明輪子的同學(xué),也可以自己包裝一個。
◇Java
如果要用Java訪問SQLite,可以通過SQLite的JDBC驅(qū)動,或者通過專門的SQLite包裝庫。我個人建議走JDBC方式,萬一將來要換數(shù)據(jù)庫,代碼就不用大改。
◇Python
pysqlite是Python操作SQLite的首選。從Python 2.5開始,它已經(jīng)被整合到Python的標(biāo)準(zhǔn)庫中??磥鞵ython社區(qū)還是蠻喜歡SQLite嘛。
◇.Net
對于喜歡.Net的同學(xué),可以通過SQLite的ADO.NET驅(qū)動來訪問。
◇Ruby
Ruby可以通過SQLite-Ruby操作SQLite數(shù)據(jù)庫,不過我沒用過。
◇Perl
在CPAN上有DBD::SQLite,不過我也沒用過。
★一些非技術(shù)的參考因素
需要根據(jù)“如何選擇開源項(xiàng)目”里面提到的幾個參考因素,再評估一下。
◇授權(quán)協(xié)議(License)
SQLite使用的是Public Domain協(xié)議,這是最爽一種,可以放心大膽地用。
◇用戶的普及程度
最近這幾年,使用SQLite的人越來越多。包括一些大公司也開始把它整合到產(chǎn)品中(比如Google的Gears、Apple的Safari、Adobe的AIR)。
◇開發(fā)的活躍程度
如果到SQLite的Change Log上大致了解一下,可以看出最近5年基本上每1-2個月都會有更新。說明開發(fā)的活躍度還是非常高的。
SQLite不同于其他大部分的SQL數(shù)據(jù)庫引擎,因?yàn)樗氖滓O(shè)計目標(biāo)就是簡單化:
- 易于管理
- 易于使用
- 易于嵌入其他大型程序
- 易于維護(hù)和配置
許多人喜歡SQLite因?yàn)樗男∏珊涂焖? 但是這些特性只是它的部分優(yōu)點(diǎn), 使用者還會發(fā)現(xiàn)SQLite是非常穩(wěn)定的. 出色的穩(wěn)定性源于它的簡單, 越簡單就越不容易出錯. 除了上述的簡單、小巧和穩(wěn)定性外, 最重要的在于SQLite力爭做到簡單化.
簡單化在一個數(shù)據(jù)庫引擎中可以說是一個優(yōu)點(diǎn), 但也可能是個缺點(diǎn), 主要決定于你想要做什么. 為了達(dá)到簡單化, SQLite省略了一些人們認(rèn)為比較有用的特性, 例如高并發(fā)性、 嚴(yán)格的存取控制、豐富的內(nèi)置功能、 存儲過程、復(fù)雜的SQL語言特性、 XML以及Java的擴(kuò)展, 超大的萬億級別的數(shù)據(jù)測量等等. 如果你需要使用上述的這些特性并且不介意它們的復(fù)雜性, 那么SQLite也許就不適合你了. SQLite沒有打算作為一個企業(yè)級的數(shù)據(jù)庫引擎, 也并不打算和Oracle或者PostgreSQL競爭.
僅憑經(jīng)驗(yàn)來說SQLite適用于以下場合: 當(dāng)你更看中簡單的管理、使用和維護(hù)數(shù)據(jù)庫, 而不是那些企業(yè)級數(shù)據(jù)庫提供的不計其數(shù)的復(fù)雜功能的時候,使用SQLite是一個比較明智的選擇. 事實(shí)也證明, 人們在許多情況下已經(jīng)清楚的認(rèn)識到簡單就是最好的選擇.
4.1.1 SQLite最佳試用場合
· 網(wǎng)站
作為數(shù)據(jù)庫引擎SQLite適用于中小規(guī)模流量的網(wǎng)站(也就是說, 99.9%的網(wǎng)站). SQLite可以處理多少網(wǎng)站流量在于網(wǎng)站的數(shù)據(jù)庫有多大的壓力. 通常來說, 如果一個網(wǎng)站的點(diǎn)擊率少于100000次/天的話, SQLite是可以正常運(yùn)行的. 100000次/天是一個保守的估計, 不是一個準(zhǔn)確的上限. 事實(shí)證明, 即使是10倍的上述流量的情況下SQLite依然可以正常運(yùn)行.
· 嵌入式設(shè)備和應(yīng)用軟件
因?yàn)镾QLite數(shù)據(jù)庫幾乎不需要管理, 因此對于那些無人值守運(yùn)行或無人工技術(shù)支持的設(shè)備或服務(wù), SQLite是一個很好的選擇. SQLite能很好的適用于手機(jī), PDA, 機(jī)頂盒, 以及其他儀器. 作為一個嵌入式數(shù)據(jù)庫它也能夠很好的應(yīng)用于客戶端程序.
· 應(yīng)用程序文件格式
SQLite作為桌面應(yīng)用程序的本地磁盤文件格式取得了巨大成功.例如金融分析工具、CAD 包、檔案管理程序等等. 一般的數(shù)據(jù)庫打開操作需要調(diào)用sqlite3_open()函數(shù),并且標(biāo)記一個顯式本地事務(wù)的起始點(diǎn)(BEGIN TRANSACTION)來保證以獨(dú)占的方式得到文件的內(nèi)容. 文件保存將執(zhí)行一個提交(COMMIT)同時標(biāo)記另一個顯式本地事務(wù)起始點(diǎn). 這種事務(wù)處理的作用就是保證對于應(yīng)用程序數(shù)據(jù)文件的更新是原子的、持久的、獨(dú)立的和一致的.
數(shù)據(jù)庫里可以加入一些臨時的觸發(fā)器,用來把所有的改變記錄在一張臨時的取消/重做日志表中. 當(dāng)用戶按下取消/重做按鈕的時候這些改變將可以被回滾. 應(yīng)用這項(xiàng)技術(shù)實(shí)現(xiàn)一個無限級的取消/重做功能只需要編寫很少的代碼.
· 替代某些特別的文件格式
許多程序使用fopen(), fread(), 或 fwrite()函數(shù)創(chuàng)建和管理一些自定義的文件用來保存數(shù)據(jù). 使用SQLite替代這些自定義的文件格式將是一種很好的選擇.
· 內(nèi)部的或臨時的數(shù)據(jù)庫
對于那些有大量的數(shù)據(jù)需要用不同的方式篩選分類的程序, 相對于編寫同樣功能的代碼, 如果你把數(shù)據(jù)讀入一個內(nèi)存中的SQLite數(shù)據(jù)庫, 然后使用連接查詢和ORDER BY子句按一定的順序和排列提取需要的數(shù)據(jù), 通常會更簡單和快速. 按照上述的方法使用內(nèi)嵌的SQLite數(shù)據(jù)庫將會使程序更富有靈活性, 因?yàn)樘砑有碌牧谢蛩饕挥弥貙懭魏尾樵冋Z句.
· 命令行數(shù)據(jù)集分析工具
有經(jīng)驗(yàn)的SQL用戶可以使用SQLite命令行程序去分析各種混雜的數(shù)據(jù)集. 原是數(shù)據(jù)可以從CSV(逗號分隔值文件)文件中導(dǎo)入, 然后被切分產(chǎn)生無數(shù)的綜合數(shù)據(jù)報告. 可能得用法包括網(wǎng)站日志分析, 運(yùn)動統(tǒng)計分析, 編輯規(guī)劃標(biāo)準(zhǔn), 分析試驗(yàn)結(jié)果.
當(dāng)然你也可以用企業(yè)級的客戶端/服務(wù)器數(shù)據(jù)庫來做同樣的事情. 在這種情況下使用SQLite的好處是: SQLite的部署更為簡單并且結(jié)果數(shù)據(jù)庫是一個單獨(dú)的文件, 你可以把它存儲在軟盤或者優(yōu)盤或者直接通過email發(fā)給同事.
· 在Demo或測試版的時候作為企業(yè)級數(shù)據(jù)庫的替代品
如果你正在編寫一個使用企業(yè)級數(shù)據(jù)庫引擎的客戶端程序, 使用一個允許你連接不同SQL數(shù)據(jù)庫引擎的通用型數(shù)據(jù)庫后臺將是很有意義的. 其更大的意義在于將SQLite數(shù)據(jù)庫引擎靜態(tài)的連接到客戶端程序當(dāng)中,從而內(nèi)嵌SQLite作為混合的數(shù)據(jù)庫支持. 這樣客戶端程序就可以使用SQLite數(shù)據(jù)庫文件做獨(dú)立的測試或者驗(yàn)證.
· 數(shù)據(jù)庫教學(xué)
因?yàn)镾QLite的安裝和使用非常的簡單(安裝過程幾乎忽略不計, 只需要拷貝SQLite源代碼或sqlite.exe可執(zhí)行文件到目標(biāo)主機(jī), 然后直接運(yùn)行就可以) 所以它非常適合用來講解SQL語句. 同學(xué)們可以非常簡單的創(chuàng)建他們喜歡的數(shù)據(jù)庫, 然后通過電子郵件發(fā)給老師批注或打分. 對于那些感興趣怎樣實(shí)現(xiàn)一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)(RDBMS)的高層次的學(xué)生, 按照模塊化設(shè)計且擁有很好的注釋和文檔的SQLite源代碼, 將為他們打下良好的基礎(chǔ). 這并不是說SQLite就是如何實(shí)現(xiàn)其他數(shù)據(jù)庫引擎的精確模型, 但是很適合學(xué)生們了解SQLite是如何快速工作的,
從而掌握其他數(shù)據(jù)庫系統(tǒng)的設(shè)計實(shí)現(xiàn)原則.
· 試驗(yàn)SQL語言的擴(kuò)展
SQLite簡單且模塊化的設(shè)計使得它可以成為一個用來測試數(shù)據(jù)庫語言特性或新想法的優(yōu)秀的原型平臺
4.1.2 哪些場合適合使用其他的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)(RDBMS)
· 客戶端/服務(wù)器程序
如果你有許多的客戶端程序要通過網(wǎng)絡(luò)訪問一個共享的數(shù)據(jù)庫, 你應(yīng)當(dāng)考慮用一個客戶端/服務(wù)器數(shù)據(jù)庫來替代SQLite. SQLite可以通過網(wǎng)絡(luò)文件系統(tǒng)工作, 但是因?yàn)楹痛蠖鄶?shù)網(wǎng)絡(luò)文件系統(tǒng)都存在延時, 因此執(zhí)行效率不會很高. 此外大多數(shù)網(wǎng)絡(luò)文件系統(tǒng)在實(shí)現(xiàn)文件邏輯鎖的方面都存在著bug(包括Unix 和windows). 如果文件鎖沒有正常的工作, 就可能出現(xiàn)在同一時間兩個或更多的客戶端程序更改同一個數(shù)據(jù)庫的同一部分, 從而導(dǎo)致數(shù)據(jù)庫出錯. 因?yàn)檫@些問題是文件系統(tǒng)執(zhí)行的時候本質(zhì)上存在的bug, 因此SQLite沒有辦法避免它們.
好的經(jīng)驗(yàn)告訴我們, 應(yīng)該避免在許多計算機(jī)需要通過一個網(wǎng)絡(luò)文件系統(tǒng)同時訪問同一個數(shù)據(jù)庫的情況下使用SQLite.
· 高流量網(wǎng)站
SQLite通常情況下用作一個網(wǎng)站的后臺數(shù)據(jù)庫可以很好的工作. 但是如果你的網(wǎng)站的訪問量大到你開始考慮采取分布式的數(shù)據(jù)庫部署, 那么你應(yīng)當(dāng)毫不猶豫的考慮用一個企業(yè)級的客戶端/服務(wù)器數(shù)據(jù)庫來替代SQLite.
· 超大的數(shù)據(jù)集
當(dāng)你在SQLite中開始一個事務(wù)處理的時候(事務(wù)處理會在任何寫操作發(fā)生之前產(chǎn)生, 而不是必須要顯示的調(diào)用BEGIN...COMMIT), 數(shù)據(jù)庫引擎將不得不分配一小塊臟頁(文件緩沖頁面)來幫助它自己管理回滾操作. 每1MB的數(shù)據(jù)庫文件SQLite需要256字節(jié). 對于小型的數(shù)據(jù)庫這些空間不算什么, 但是當(dāng)數(shù)據(jù)庫增長到數(shù)十億字節(jié)的時候, 緩沖頁面的尺寸就會相當(dāng)?shù)拇罅? 如果你需要存儲或修改幾十GB的數(shù)據(jù), 你應(yīng)該考慮用其他的數(shù)據(jù)庫引擎.
· 高并發(fā)訪問
SQLite對于整個數(shù)據(jù)庫文件進(jìn)行讀取/寫入鎖定. 這意味著如果任何進(jìn)程讀取了數(shù)據(jù)庫中的某一部分, 其他所有進(jìn)程都不能再對該數(shù)據(jù)庫的任何部分進(jìn)行寫入操作. 同樣的, 如果任何一個進(jìn)程在對數(shù)據(jù)庫進(jìn)行寫入操作, 其他所有進(jìn)程都不能再讀取該數(shù)據(jù)庫的任何部分. 對于大多數(shù)情況這不算是什么問題. 在這些情況下每個程序使用數(shù)據(jù)庫的時間都很短暫, 并且不會獨(dú)占, 這樣鎖定至多會存在十幾毫秒. 但是如果有些程序需要高并發(fā), 那么這些程序就需要尋找其他的解決方案了.
|
方面 |
具體要求 |
必要條件 |
詳細(xì)描述 |
|
License |
是否收費(fèi) |
免費(fèi)使用 |
|
|
是否開源 |
開源 |
||
|
是否有技術(shù)支持 |
主要是社區(qū)支持,如果需要專業(yè)支持需要購買 |
||
|
商業(yè)目的的分發(fā)版本是否仍要收費(fèi) |
是 |
免費(fèi) |
|
|
其他 |
|||
|
性能 |
數(shù)據(jù)容量支持100000條以上記錄 |
是 |
支持 |
|
并發(fā)查詢處理能力 |
SQLite在并發(fā)(包括多進(jìn)程和多線程)讀寫方面的性能一直不太理想。數(shù)據(jù)庫可能會被寫操作獨(dú)占,從而導(dǎo)致其它讀寫操作阻塞或出錯。 |
||
|
查詢速度 |
是 |
||
|
修改速度 |
是 |
||
|
平臺支持 |
32/64位 |
全部支持 |
|
|
Linux/window/UNIX/mobile |
支持Linux/Mac OS/Windows |
||
|
運(yùn)行方式支持 |
支持嵌入式 |
支持 |
|
|
支持獨(dú)立運(yùn)行 |
不支持 |
||
|
連接方式支持 |
支持ODBC |
默認(rèn)不支持,必須通過第三方的ODBC驅(qū)動 |
|
|
支持JDBC |
默認(rèn)不支持,必須通過第三方的JDBC驅(qū)動 |
||
|
支持內(nèi)存訪問 |
通過c接口(專用API) |
||
|
支持網(wǎng)絡(luò)訪問 |
不支持 |
||
|
SQL支持 |
支持SQL |
是 |
支持 |
|
支持Index,Trigger, Constrains,Views |
支持,有資料說其不支持外鍵約束。 |
||
|
管理界面 |
支持管理界面 |
支持CLI |
|
|
管理界面友好程度 |
較差 |
4.2 Altibase
Altibase?內(nèi)存數(shù)據(jù)庫管理系統(tǒng)(DBMS),內(nèi)存數(shù)據(jù)管理系統(tǒng)的最新技術(shù),是一個在事務(wù)優(yōu)先的環(huán)境中提供高性能和高可用性的軟件解決方案。Altibase提供極限性能、容錯能力和事務(wù)管理的方便性,特別是在通信、網(wǎng)上銀行、證券交易、實(shí)時應(yīng)用和嵌入式系統(tǒng)領(lǐng)域。Altibase能夠最大限度的發(fā)揮數(shù)據(jù)庫服務(wù)系統(tǒng)的潛力,使用Altibase能大大增強(qiáng)您公司的數(shù)據(jù)服務(wù)器的處理能力。
Altibase?內(nèi)存DBMS為需要容錯服務(wù)的系統(tǒng)提供實(shí)時數(shù)據(jù)庫復(fù)制的功能。采用Altibase數(shù)據(jù)庫復(fù)制的系統(tǒng)可以實(shí)現(xiàn)高性能、高可用性、數(shù)據(jù)庫一致性、負(fù)載平衡和系統(tǒng)可伸縮性。如果您希望您的業(yè)務(wù)能夠?qū)崿F(xiàn)最大的成功,請在您的事務(wù)優(yōu)先的系統(tǒng)中使用我們的Altibase數(shù)據(jù)庫復(fù)制解決方案。
資料比較少,且需要商業(yè)License,沒有詳細(xì)去研究
4.3 Oracle 內(nèi)存數(shù)據(jù)庫系列 Berkeley DB 和 TimesTen
Oracle是最重要的商業(yè)數(shù)據(jù)庫產(chǎn)品提供商,它也有內(nèi)存數(shù)據(jù)庫的產(chǎn)品系列:主要就是Oracle Berkeley DB 和 Times Ten.前者是只支持嵌入式內(nèi)存數(shù)據(jù),后者是獨(dú)立的內(nèi)存優(yōu)化數(shù)據(jù)庫。
4.3.1 Oracle Berkeley DB
Oracle Berkeley DB是Oracle 收購了開源數(shù)據(jù)庫廠商后推出的產(chǎn)品,其前身是Berkeley DB。它有開源版本,但且對于開源軟件免費(fèi)。商業(yè)版本是要付費(fèi)。
Oracle Berkeley DB 系列的可嵌入開源數(shù)據(jù)庫為開發(fā)人員提供了無需管理的快速、可靠的本地持久性。Oracle Berkeley DB 系列通常部署為“前沿”數(shù)據(jù)庫,為不需要 SQL 的應(yīng)用程序用例提供很高的性能、可靠性、可伸縮性以及可用性。
Oracle Berkeley DB 產(chǎn)品系列
—
Berkeley DB — 事務(wù)處理式存儲引擎,用于基本鍵/值數(shù)據(jù)結(jié)構(gòu)中的非類型化數(shù)據(jù) — 新增!版本 4.7 現(xiàn)已推出
— 針對 Java 環(huán)境優(yōu)化的純 Java 版 Berkeley DB — 新增!版本 3.3
—
Berkeley DB XML — 原生 XML 數(shù)據(jù)庫,可基于 XQuery 訪問容器中存儲的文檔,并根據(jù)其內(nèi)容進(jìn)行索引 — 新增!版本 2.4 現(xiàn)已推出
4.3.2 Oracle TimesTen
Oracle 內(nèi)存數(shù)據(jù)庫 TimesTen 是一個針對內(nèi)存進(jìn)行了優(yōu)化的關(guān)系數(shù)據(jù)庫,它為應(yīng)用程序提供了當(dāng)今實(shí)時企業(yè)和行業(yè)(如電信、資本市場和國防)所需的即時響應(yīng)性和非常高的吞吐量。Oracle 內(nèi)存數(shù)據(jù)庫 TimesTen 作為獨(dú)立或嵌入式數(shù)據(jù)庫部署在應(yīng)用層中,利用標(biāo)準(zhǔn)的 SQL 接口對完全位于物理內(nèi)存中的數(shù)據(jù)庫進(jìn)行操作。它也可以用作 Oracle 數(shù)據(jù)庫的內(nèi)存中數(shù)據(jù)庫緩存,以改進(jìn)用戶應(yīng)用程序的響應(yīng)時間和吞吐量。
4.4 eXtremeDB
eXtremeDB內(nèi)存式實(shí)時數(shù)據(jù)庫是為實(shí)時系統(tǒng)及嵌入式系統(tǒng)而特別設(shè)計的數(shù)據(jù)庫。與同類產(chǎn)品不同,eXtremeDB不是通過 對企業(yè)數(shù)據(jù)庫面向?qū)崟r嵌入式應(yīng)用進(jìn)行剪裁而來;而是總結(jié)了30年來McObject公司在編譯器、實(shí)時編程、數(shù)據(jù)管理、內(nèi)核級驅(qū) 動軟件等領(lǐng)域的經(jīng)驗(yàn),面向?qū)崟r嵌入式應(yīng)用從頭開發(fā)的最新實(shí)時數(shù)據(jù)管理技術(shù)。
eXtremeDB滿足了您對實(shí)時數(shù)據(jù)庫的一切期待:高級數(shù)據(jù)定義語言、并行訪問、基于交易及靈活的索引… …等等。不僅如此,出乎您的意外,eXtremeDB在緊湊的引擎中還提供諸如事件觸發(fā)、目標(biāo)歷史等等功能。
eXtremeDB嵌入式數(shù)據(jù)庫滿足更多的實(shí)時開發(fā)的要求。
· 最快的內(nèi)存數(shù)據(jù)庫。
·
極小尺寸和極小的內(nèi)存消耗
· 多種索引支持
· 高可用性-組合選項(xiàng)
·
非常靈活的數(shù)據(jù)存儲: 內(nèi)存式,磁盤式或混合式
· 多種應(yīng)用接口: 兩種 SQL, 兩種更快的原始接口
· 幾乎牢不可破 -
又一個商業(yè)內(nèi)存數(shù)據(jù)庫產(chǎn)品,這個特點(diǎn)是實(shí)時數(shù)據(jù)庫,號稱最快。
4.5 H2 Database
h2是Thomas Mueller提供的一個開源的、純java實(shí)現(xiàn)的關(guān)系數(shù)據(jù)庫,官方網(wǎng)站:http://www.h2database.com/html/main.html。
它的主要特性是:
- 非常速的數(shù)據(jù)庫引擎
- 開源、免費(fèi)數(shù)據(jù)庫
- 支持 JDBC和ODBC API,支持SQL
- 支持嵌入式,服務(wù)器和集群模式。支持內(nèi)存數(shù)據(jù)庫。
- 提供基于瀏覽器的管理控制臺
- 整個應(yīng)用本身只有1MB左右。
其他特性還包括
- 基于磁盤或內(nèi)存的數(shù)據(jù)庫、表,支持只讀數(shù)據(jù)庫、臨時表。
- 兩段式事務(wù)支持
- 支持多個連接。表級別的鎖。
- 基于成本的優(yōu)化,為復(fù)雜查詢使用遺傳算法,零管理。
- 滾動的、可修改的result set支持。支持大結(jié)果集、外部結(jié)果排序。
- 加密數(shù)據(jù)庫(AES或XTEA),SHA-256密碼加密。
性能比較(摘自h2database網(wǎng)站)
嵌入模式下H2的性能比較
|
Test Case |
Unit |
H2 |
HSQLDB |
Derby |
|
Simple: Init |
ms |
610 |
657 |
3187 |
|
Simple: Query (random) |
ms |
297 |
312 |
1828 |
|
Simple: Query (sequential) |
ms |
203 |
266 |
1766 |
|
Simple: Update (random) |
ms |
1078 |
1484 |
22031 |
|
Simple: Delete (sequential) |
ms |
234 |
281 |
7407 |
|
Simple: Memory Usage |
MB |
6 |
7 |
11 |
|
BenchA: Init |
ms |
859 |
438 |
4047 |
|
BenchA: Transactions |
ms |
5266 |
2875 |
17500 |
|
BenchA: Memory Usage |
MB |
9 |
14 |
10 |
|
BenchB: Init |
ms |
4016 |
2687 |
16875 |
|
BenchB: Transactions |
ms |
2609 |
3282 |
4250 |
|
BenchB: Memory Usage |
MB |
9 |
10 |
8 |
|
BenchC: Init |
ms |
891 |
594 |
5766 |
|
BenchC: Transactions |
ms |
4359 |
75438 |
11718 |
|
BenchC: Memory Usage |
MB |
9 |
18 |
9 |
|
Executed statements |
# |
594255 |
594255 |
594255 |
|
Total time |
ms |
20422 |
88314 |
96375 |
|
Statements per second |
# |
29098 |
6728 |
6166 |
.Net使用H2
-
- 嵌入式應(yīng)用。有一個項(xiàng)目在為.Net使用H2,使用CLI重新編譯H2。還沒有深入關(guān)注。
- ODBC。但性能一般。
4.5 其他內(nèi)存數(shù)據(jù)庫
包括Derby, HSQLDB等.
-------------------------------------------------------------------------------------------------------------------------------------------------------------------
In-memory database in wikipedia: (http://en.wikipedia.org/wiki/In-memory_database)
Products
| Product name | License | Description |
|---|---|---|
| Adaptive Server Enterprise (ASE) 15.5 | Proprietary | enterprise database from Sybase)[4] |
| Apache Derby | Apache License 2.0 | Java RDBMS |
| Altibase | Proprietary | has in-memory and disk table; HYBRID DBMS |
| BlackRay | GNU General Public Licence (GPLv2) and BSD License | |
| CSQL | GNU General Public Licence or proprietary | |
| Datablitz | Proprietary | DBMS |
| Eloquera | Proprietary | In-memory, In-memory:persist modes |
| eXtremeDB | commercial product | DBMS, also check out its open source PERST dbms. |
| FleetDB | MIT | NOSQL db with Writing to an append-only log to provide durability. |
| H2 | Mozilla Public License or Eclipse Public License | has a memory-only mode |
| HSQLDB | BSD license | has a memory-only mode |
| IBM TM1 | Proprietary | in-memory BI and data analysis |
| InfoZoom | Proprietary | in-memory BI and data analysis |
| KDB | Proprietary | DBMS, also supports disk based data |
| membase | Apache License | NoSQL, hybrid |
| MicroStrategy | in-memory BI for MicroStrategy 9 | |
| MonetDB | MonetDB License | |
| MySQL | GNU General Public License or proprietary | has a cluster server which uses a main-memory storage engine |
| Oracle Berkeley DB | Sleepycat License | can be configured to run in memory only |
| Panorama | for Windows and Macintosh, both single user and server versions | |
| ParAccel | Proprietary | in-memory, columnar, relational, ACID-compliant; disk-based mode as well |
| Polyhedra IMDB | Proprietary | relational, supports High-Availability; acquired in 2001 by ENEA |
| QlikView | BI-tool developed by QlikTech | |
| RDM Embedded | Proprietary | including hybrid |
| RDM Server | Proprietary | including hybrid |
| Redis | BSD | NoSQL |
| solidDB by IBM |
including hybrid, HSB-based HA, Shared memory, embedded, XA, etc. | |
| SAP HANA database | Proprietary | Database engine of the SAP In-Memory Appliance (SAP HANA) produced by SAP AG |
| SQLite | Public domain | hybrid, RAM and disk dbs can be used together |
| Starcounter | in-memory object relational dbms | |
| TimesTen by Oracle |
in memory only or as a cache for Oracle Database | |
| Vertipaq | Proprietary | Microsoft PowerPivot and Microsoft Analysis Services in-memory BI engine |
| VoltDB | GNU General Public License v3 | in-memory |
| TREX | search engine in the SAP NetWeaver integrated technology platform produced by SAP AG |
|
| Xcelerix by Frontex |
commercial product |
總結(jié)
- 上一篇: 成功安装 Oracle11G FOR L
- 下一篇: css如何让文字居于div的底部(文字居