核心提示： 數(shù)據(jù)量大這個(gè)問題最直接的解決方案就是使用緩存，緩存就是將從數(shù)據(jù)庫中獲取的結(jié)果暫時(shí)保存起來，在下次使用的時(shí)候無需重新到數(shù)據(jù)庫中獲取，這樣可以大大降低數(shù)據(jù)庫的壓力。緩存的使用方式可以分為通過程序直接保存到內(nèi)存中和使用緩存框架兩種方式。程序直接操作主要是使用Map，尤其是ConcurrentHashMap，而常用的緩存框架有Ehcache、Memcache和Redis等。


1：緩存和頁面靜態(tài)化

   數(shù)據(jù)量大這個(gè)問題最直接的解決方案就是使用緩存，緩存就是將從數(shù)據(jù)庫中獲取的結(jié)果暫時(shí)保存起來，在下次使用的時(shí)候無需重新到數(shù)據(jù)庫中獲取，這樣可以大大降低數(shù)據(jù)庫的壓力。緩存的使用方式可以分為通過程序直接保存到內(nèi)存中和使用緩存框架兩種方式。程序直接操作主要是使用Map，尤其是ConcurrentHashMap，而常用的緩存框架有Ehcache、Memcache和Redis等。緩存使用過程中最重要問題是什么時(shí)候創(chuàng)建緩存和緩存的失效機(jī)制。緩存的失效可以定期失效，也可以在數(shù)據(jù)發(fā)生變化的時(shí)候失效，如果按數(shù)據(jù)發(fā)生變化讓緩存失效，還可以分粗粒度失效和細(xì)粒度失效。不過緩存也不是什么情況都適用，它主要用于數(shù)據(jù)變化不是很頻繁的情況。

    跟緩存相似的另外一種技術(shù)叫頁面靜態(tài)化，它在原理上跟緩存非常相似，緩存是將從數(shù)據(jù)庫中獲取到的數(shù)據(jù)(當(dāng)然也可以是別的任何可以序列化的東西)保存起來，而頁面靜態(tài)化是將程序最后生成的頁面保存起來，使用頁面靜態(tài)化后就不需要每次調(diào)用都重新生成頁面了，這樣不但不需要查詢數(shù)據(jù)庫，而且連應(yīng)用程序處理都省了，所以頁面靜態(tài)化同時(shí)對(duì)數(shù)據(jù)量大和并發(fā)量高兩大問題都有好處。頁面靜態(tài)化可以在程序中使用模板技術(shù)生成，如常用的Freemarker和Velocity都可以根據(jù)模板生成靜態(tài)頁面，另外也可以使用緩存服務(wù)器在應(yīng)用服務(wù)器的上一層緩存生成的頁面，如可以使用Squid，另外Nginx也提供了相應(yīng)的功能。

2：數(shù)據(jù)庫優(yōu)化

    數(shù)據(jù)庫優(yōu)化的方法非常多，常用的有表結(jié)構(gòu)優(yōu)化、SQL語句優(yōu)化、分區(qū)和分表、索引優(yōu)化、使用存儲(chǔ)過程代替直接操作等，另外有時(shí)候合理使用冗余也能獲得非常好的效果。

(1)SQL優(yōu)化

    SQL優(yōu)化有一個(gè)通用的做法就是，首先要將涉及大數(shù)據(jù)的業(yè)務(wù)的SQL語句執(zhí)行時(shí)間詳細(xì)記錄下來，其次通過仔細(xì)分析日志(同一條語句對(duì)不同條件的執(zhí)行時(shí)間也可能不同，這點(diǎn)也需要仔細(xì)分析)找出需要優(yōu)化的語句和其中的問題，然后再有的放矢地優(yōu)化。

(2)分區(qū)和分表

    當(dāng)數(shù)據(jù)量變多的時(shí)候，如果可以分區(qū)或者分表，那將起到非常好的效果。當(dāng)一張表中的數(shù)據(jù)量變多的時(shí)候操作速度就慢了，所以很容易想到的就是將數(shù)據(jù)分到多個(gè)表中保存，但是這么做之后操作起來比較麻煩，想操作(增刪改查)一個(gè)數(shù)據(jù)還需要先找到對(duì)應(yīng)的表，如果涉及多個(gè)表還得跨表操作。其實(shí)在常用的數(shù)據(jù)庫中可以不分表而達(dá)到跟分表類似的效果，那就是分區(qū)。分區(qū)就是將一張表中的數(shù)據(jù)按照一定的規(guī)則分到不同的區(qū)來保存，這樣在查詢數(shù)據(jù)時(shí)如果數(shù)據(jù)的范圍在同一個(gè)區(qū)內(nèi)那么可以只對(duì)一個(gè)區(qū)的數(shù)據(jù)進(jìn)行操作，這樣操作的數(shù)據(jù)量更少，速度更快，而且這種方法對(duì)程序是透明的，程序不需要做任何改動(dòng)。

(3)索引優(yōu)化

    索引的大致原理是在數(shù)據(jù)發(fā)生變化(增刪改)的時(shí)候就預(yù)先按指定字段的順序排列后保存到一個(gè)類似表的結(jié)構(gòu)中，這樣在查找索引字段為條件的記錄時(shí)就可以很快地從索引中找到對(duì)應(yīng)記錄的指針并從表中獲取到記錄，這樣速度就快多了。不過索引也是一把雙刃劍，它在提高查詢速度的同時(shí)也降低了增刪改的速度，因?yàn)槊看螖?shù)據(jù)的變化都需要更新相應(yīng)的索引。不過合理使用索引對(duì)提升查詢速度的效果非常明顯，所以哪些字段使用索引、使用什么類型的索引都需要仔細(xì)琢磨，并且最好再做一些測(cè)試。

(4)存儲(chǔ)過程

   在操作過程復(fù)雜而且調(diào)用頻率高的業(yè)務(wù)中，可以通過使用存儲(chǔ)過程代替直接操作來提高效率，因?yàn)榇鎯?chǔ)過程只需要編譯一次，而且可以在一個(gè)存儲(chǔ)過程里面做一些復(fù)雜的操作。

3:分離活躍數(shù)據(jù)

   通過一個(gè)定期處理的任務(wù)將不活躍的用戶轉(zhuǎn)移到別的數(shù)據(jù)表中，在主要操作的數(shù)據(jù)表中只保存活躍用戶，查詢時(shí)先從默認(rèn)表中查找，如果找不到再從不活躍用戶表中查找，這樣就可以提高查詢的效率

4:批量讀取和延遲修改

   批量讀取和延遲修改的原理是通過減少操作的次數(shù)來提高效率，如果使用得恰當(dāng)，效率將會(huì)呈數(shù)量級(jí)提升。

   如果每保存一條記錄都查詢一次數(shù)據(jù)庫，那么對(duì)每個(gè)需要檢查的字段，都需要查詢與要保存的記錄條數(shù)相同次數(shù)的數(shù)據(jù)庫，這時(shí)可以先將所有要保存的數(shù)據(jù)的相應(yīng)字段讀取到一個(gè)變量中，然后使用in語句統(tǒng)一查詢一次數(shù)據(jù)庫，這樣就可以將n(要保存記錄的條數(shù))次查詢變?yōu)橐淮尾樵兞恕３诉@種對(duì)同一個(gè)請(qǐng)求中的數(shù)據(jù)批量讀取，在高并發(fā)的情況下還可以將多個(gè)請(qǐng)求的查詢合并到一次進(jìn)行。

   延遲修改主要針對(duì)高并發(fā)而且頻繁修改(包括新增)的數(shù)據(jù)，如一些統(tǒng)計(jì)數(shù)據(jù)。這種情況可以先將需要修改的數(shù)據(jù)暫時(shí)保存到緩存中，然后定時(shí)將緩存中的數(shù)據(jù)保存到數(shù)據(jù)庫中，程序在讀取數(shù)據(jù)時(shí)可以同時(shí)讀取數(shù)據(jù)庫中和緩存中的數(shù)據(jù)。

   這種方式下如果保存緩存的機(jī)器出現(xiàn)了問題將可能會(huì)丟失數(shù)據(jù)，所以如果是重要的數(shù)據(jù)就需要做一些特殊處理。

5:讀寫分離

   讀寫分離的本質(zhì)是對(duì)數(shù)據(jù)庫進(jìn)行集群，這樣就可以在高并發(fā)的情況下將數(shù)據(jù)庫的操作分配到多個(gè)數(shù)據(jù)庫服務(wù)器去處理從而降低單臺(tái)服務(wù)器的壓力一般情況下是將寫操作交給專門的一臺(tái)服務(wù)器處理，這臺(tái)專門負(fù)責(zé)寫的服務(wù)器叫做主服務(wù)器。當(dāng)主服務(wù)器寫入(增刪改)數(shù)據(jù)后從底層同步到別的服務(wù)器(從服務(wù)器)，讀數(shù)據(jù)的時(shí)候到從服務(wù)器讀取，從服務(wù)器可以有多臺(tái)，這樣就可以實(shí)現(xiàn)讀寫分離.

6:分布式數(shù)據(jù)庫

   分布式數(shù)據(jù)庫是將不同的表存放到不同的數(shù)據(jù)庫中然后再放到不同的服務(wù)器。這樣在處理請(qǐng)求時(shí)，如果需要調(diào)用多個(gè)表，則可以讓多臺(tái)服務(wù)器同時(shí)處理，從而提高處理速度。

   數(shù)據(jù)庫集群(讀寫分離)的作用是將多個(gè)請(qǐng)求分配到不同的服務(wù)器處理，從而減輕單臺(tái)服務(wù)器的壓力，而分布式數(shù)據(jù)庫是解決單個(gè)請(qǐng)求本身就非常復(fù)雜的問題，它可以將單個(gè)請(qǐng)求分配到多個(gè)服務(wù)器處理，使用分布式后的每個(gè)節(jié)點(diǎn)還可以同時(shí)使用讀寫分離，從而組成多個(gè)節(jié)點(diǎn)群。

7：NOSQL和Hadoop

   NoSQL是近年來發(fā)展非常迅速的一項(xiàng)技術(shù)，它的核心就是非結(jié)構(gòu)化。我們一般使用的數(shù)據(jù)庫(SQL數(shù)據(jù)庫)都是需要先將表的結(jié)構(gòu)定義出來。NoSQL就是突破了這些條條框框，可以非常靈活地進(jìn)行操作，另外因?yàn)镹oSQL通過多個(gè)塊存儲(chǔ)數(shù)據(jù)的特點(diǎn)，其操作大數(shù)據(jù)的速度也非常快。

   Hadoop是專門針對(duì)大數(shù)據(jù)處理的一套框架，隨著近年來大數(shù)據(jù)的流行Hadoop也水漲船高，出世不久就紅得發(fā)紫。Hadoop對(duì)數(shù)據(jù)的處理是先對(duì)每一塊的數(shù)據(jù)找到相應(yīng)的節(jié)點(diǎn)并進(jìn)行處理，然后再對(duì)每一個(gè)處理的結(jié)果進(jìn)行處理，最后生成最終的結(jié)果。比如，要查找符合條件的記錄，Hadoop的處理方式是先找到每一塊中符合條件的記錄，然后再將所有獲取到的結(jié)果合并到一起，這樣就可以將同一個(gè)查詢分到多個(gè)服務(wù)器處理，處理的速度也就快了，這一點(diǎn)傳統(tǒng)的數(shù)據(jù)庫是做不到的。

全網(wǎng)數(shù)據(jù)（www.rockyay.com)注冊(cè)資金1000萬隸屬于深圳市全網(wǎng)數(shù)據(jù)科技有限公司旗下品牌，是國內(nèi)最專業(yè)的IDC服務(wù)應(yīng)用提供商之一，是工信部認(rèn)定的綜合電信業(yè)務(wù)服務(wù)商，依托中國電信,中國聯(lián)通,中國移動(dòng)三大運(yùn)營商形成三網(wǎng)合一，主營運(yùn)營的數(shù)據(jù)中心包含：深圳,廣州,北京,上海,東莞,中山,佛山,香港,美國 等地專業(yè)級(jí)數(shù)據(jù)中心。

服務(wù)范圍：云主機(jī)／服務(wù)器托管／服務(wù)器租用／機(jī)柜租用／帶寬批發(fā)／CDN加速／專線上網(wǎng)／VPN等服務(wù)。

全網(wǎng)互聯(lián)擁有專業(yè)的技術(shù)團(tuán)隊(duì)為您提供完美解決方案和數(shù)據(jù)中心服務(wù),用心服務(wù),放心托付。

提供全年無休365*7*24小時(shí)售后在線技術(shù)服務(wù),用戶至上，用心服務(wù)每一位用戶，您可以把您的應(yīng)用放心的交給我們。

聯(lián)系電話：0755-88820932