【數(shù)據(jù)庫】
建視圖、建索引來優(yōu)化查詢
用分頁查詢的存儲過程
游標(biāo)。。。
異步?
　


【Ajax大數(shù)據(jù)量處理(分頁思維)】思路如下：

　　將大數(shù)據(jù)量數(shù)據(jù)進行分割返回，例如需要返回100條數(shù)據(jù)，我們可以通過10次請求來進行返回數(shù)據(jù)。每次返回數(shù)據(jù)的時候其中包括數(shù)量的總行數(shù)、返回當(dāng)前數(shù)據(jù)的位置、此次返回數(shù)據(jù)的數(shù)量。

例如：{TotalRowsCount:100,CurrentRowsIndex:60,CurrentRowsCount:10}。

代表總行數(shù)：100，當(dāng)前行數(shù)已經(jīng)返回到：60，此次返回數(shù)量10。


【程序代碼】


【算法方案】

A.分布式處理 mapreduce

適用范圍：數(shù)據(jù)量大，但是數(shù)據(jù)種類小可以放入內(nèi)存
?
基本原理及要點：將數(shù)據(jù)交給不同的機器去處理，數(shù)據(jù)劃分，結(jié)果歸約。



【總結(jié)】時間與空間的轉(zhuǎn)換
0.算法??????? [100%]? (樹 哈希)
1.預(yù)加載????? [空間]? (緩存,堆)
2.預(yù)排列????? [時間]? (索引)
3.分割=>歸并? [t=T/N] (DB分頁,Ajax分批,發(fā)布式,多線程,邏輯分類:多數(shù)據(jù)文件)


【成本開銷】找瓶頸
1.IO資源
2.網(wǎng)路資源
3.算法冗余

轉(zhuǎn)載于:https://www.cnblogs.com/AspDotNetMVC/archive/2012/11/11/2764611.html

總結(jié)

以上是生活随笔為你收集整理的大数据量处理模式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。