Memcached是danga.com（運營LiveJournal的技術(shù)團隊）開發(fā)的一套分布式內(nèi)存對象緩存系統(tǒng)，用于在動態(tài)系統(tǒng)中減少數(shù)據(jù)庫負載，提升性能。LJ每秒動態(tài)頁面訪問量幾千次，用戶700萬。Memcached將數(shù)據(jù)庫負載大幅度降低，更好的分配資源，更快速訪問。
關(guān)于這個東西，相信很多人都用過，本文意在通過對memcached的實現(xiàn)及代碼分析，獲得對這個出色的開源軟件更深入的了解，并可以根據(jù)我們的需要對其進行更進一步的優(yōu)化。末了將通過對BSM_Memcache擴展的分析，加深對 memcached的使用方式理解。。
1.Memcached是什么
在闡述這個問題之前，我們首先要清楚它“不是什么”。很多人把它當(dāng)作和SharedMemory那種形式的存儲載體來使用，雖然memcached使用了同樣的“Key=>Value”方式組織數(shù)據(jù)，但是它和共享內(nèi)存、APC等本地緩存有非常大的區(qū)別。Memcached是分布式的，也就是說它不是本地的。它基于網(wǎng)絡(luò)連接（當(dāng)然它也可以使用localhost）方式完成服務(wù)，本身它是一個獨立于應(yīng)用的程序或守護進程（Daemon方式）。即Memcached是高性能的，分布式的內(nèi)存對象緩存系統(tǒng)，用于在動態(tài)應(yīng)用中減少數(shù)據(jù)庫負載，提升訪問速度。
Memcached 使用libevent庫實現(xiàn)網(wǎng)絡(luò)連接服務(wù)，理論上可以處理無限多的連接，但是它和Apache不同，它更多的時候是面向穩(wěn)定的持續(xù)連接的，所以它實際的并發(fā)能力是有限制的。在保守情況下memcached的最大同時連接數(shù)為200，這和Linux線程能力有關(guān)系，這個數(shù)值是可以調(diào)整的。關(guān)于 libevent可以參考相關(guān)文檔。 Memcached內(nèi)存使用方式也和APC不同。APC是基于共享內(nèi)存和MMAP的，memcachd有自己的內(nèi)存分配算法和管理方式，它和共享內(nèi)存沒有關(guān)系，也沒有共享內(nèi)存的限制，通常情況下，每個memcached進程可以管理2GB的內(nèi)存空間，如果需要更多的空間，可以增加進程數(shù)。
2. Memcached適合什么場合
在很多時候，memcached都被濫用了，這當(dāng)然少不了對它的抱怨。我經(jīng)常在論壇上看見有人發(fā)貼，類似于“如何提高效率”，回復(fù)是“用memcached”，至于怎么用，用在哪里，用來干什么一句沒有。memcached不是萬能的，它也不是適用在所有場合。
Memcached 是“分布式”的內(nèi)存對象緩存系統(tǒng)，那么就是說，那些不需要“分布”的，不需要共享的，或者干脆規(guī)模小到只有一臺服務(wù)器的應(yīng)用， memcached不會帶來任何好處，相反還會拖慢系統(tǒng)效率，因為網(wǎng)絡(luò)連接同樣需要資源，即使是UNIX本地連接也一樣。在我之前的測試數(shù)據(jù)中顯示， memcached本地讀寫速度要比直接PHP內(nèi)存數(shù)組慢幾十倍，而APC、共享內(nèi)存方式都和直接數(shù)組差不多。可見，如果只是本地級緩存，使用 memcached是非常不劃算的。
Memcached在很多時候都是作為數(shù)據(jù)庫前端cache使用的。因為它比數(shù)據(jù)庫少了很多SQL解析、磁盤操作等開銷，而且它是使用內(nèi)存來管理數(shù)據(jù)的，所以它可以提供比直接讀取數(shù)據(jù)庫更好的性能，在大型系統(tǒng)中，訪問同樣的數(shù)據(jù)是很頻繁的， memcached可以大大降低數(shù)據(jù)庫壓力，使系統(tǒng)執(zhí)行效率提升。另外，memcached也經(jīng)常作為服務(wù)器之間數(shù)據(jù)共享的儲媒介，例如在SSO系統(tǒng)中保存系統(tǒng)單點登陸狀態(tài)的數(shù)據(jù)就可以保存在memcached中，被多個應(yīng)用共享。
需要注意的是，memcached使用內(nèi)存管理數(shù)據(jù)，所以它是易失的，當(dāng)服務(wù)器重啟，或者memcached進程中止，數(shù)據(jù)便會丟失，所以 memcached不能用來持久保存數(shù)據(jù)。很多人的錯誤理解，memcached的性能非常好，好到了內(nèi)存和硬盤的對比程度，其實memcached使用內(nèi)存并不會得到成百上千的讀寫速度提高，它的實際瓶頸在于網(wǎng)絡(luò)連接，它和使用磁盤的數(shù)據(jù)庫系統(tǒng)相比，好處在于它本身非常“輕”，因為沒有過多的開銷和直接的讀寫方式，它可以輕松應(yīng)付非常大的數(shù)據(jù)交換量，所以經(jīng)常會出現(xiàn)兩條千兆網(wǎng)絡(luò)帶寬都滿負荷了，memcached進程本身并不占用多少CPU資源的情況。
通常的網(wǎng)頁緩存方式有動態(tài)緩存和靜態(tài)緩存等幾種，在ASP.NET中已經(jīng)可以實現(xiàn)對頁面局部進行緩存，而使用memcached的緩存比 ASP.NET的局部緩存更加靈活，可以緩存任意的對象，不管是否在頁面上輸出。而memcached最大的優(yōu)點是可以分布式的部署，這對于大規(guī)模應(yīng)用來說也是必不可少的要求。
LiveJournal.com使用了memcached在前端進行緩存，取得了良好的效果，而像wikipedia,sourceforge等也采用了或即將采用memcached作為緩存工具。memcached可以大規(guī)模網(wǎng)站應(yīng)用發(fā)揮巨大的作用。
2.1 memcached 的工作原理
首先 memcached 是以守護程序方式運行于一個或多個服務(wù)器中，隨時接受客戶端的連接操作，客戶端可以由各種語言編寫，目前已知的客戶端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。PHP 等客戶端在與 memcached 服務(wù)建立連接之后，接下來的事情就是存取對象了，每個被存取的對象都有一個唯一的標識符 key，存取操作均通過這個 key 進行，保存到 memcached 中的對象實際上是放置內(nèi)存中的，并不是保存在 cache 文件中的，這也是為什么 memcached 能夠如此高效快速的原因。注意，這些對象并不是持久的，服務(wù)停止之后，里邊的數(shù)據(jù)就會丟失。
.2 memcached 安裝
首先是下載 memcached 了，目前最新版本是 1.1.12，直接從官方網(wǎng)站即可下載到 memcached-1.1.12.tar.gz。除此之外，memcached 用到了 libevent，我下載的是 libevent-1.1a.tar.gz
接下來是分別將 libevent-1.1a.tar.gz 和 memcached-1.1.12.tar.gz 解開包、編譯、安裝：
# tar -xzf libevent-1.1a.tar.gz
# cd libevent-1.1a
# ./configure --prefix=/usr
# make
# make install
# cd ..
# tar -xzf memcached-1.1.12.tar.gz
# cd memcached-1.1.12
# ./configure --prefix=/usr
# make
# make install
安裝完成之后，memcached 應(yīng)該在 /usr/bin/memcached。
3.如何使用memcached-Server端?
在服務(wù)端運行：
# ./memcached -d -m 2048 -l 10.0.0.40 -p 11211 -u httpd
-d 以守護程序（daemon）方式運行 memcached；
-m 設(shè)置 memcached 可以使用的內(nèi)存大小，單位為 M；
-l 設(shè)置監(jiān)聽的 IP&nb
sp;地址，如果是本機的話，通?？梢圆辉O(shè)置此參數(shù)；
-p 設(shè)置監(jiān)聽的端口，默認為 11211，所以也可以不設(shè)置此參數(shù)；
-u 指定用戶，如果當(dāng)前為 root 的話，需要使用此參數(shù)指定用戶。
這將會啟動一個占用2G內(nèi)存的進程，并打開11211端口用于接收請求。由于32位系統(tǒng)只能處理4G內(nèi)存的尋址，所以在大于4G內(nèi)存使用PAE的32位服務(wù)器上可以運行2-3個進程，并在不同端口進行監(jiān)聽。
4. 如何使用memcached-Client端?
在應(yīng)用端包含一個用于描述Client的Class后，就可以直接使用，非常簡單。
PHP Example:
$options["debug"] = false;
$memc = new MemCachedClient($options);
$myarr = array("one","two", 3);
$memc->set("key_one", $myarr);
$options["servers"] = array("192.168.1.41:11211", "192.168.1.42:11212");
$val = $memc->get("key_one");
print $val[0]."\n"; // prints 'one‘
print $val[1]."\n"; // prints 'two‘
print $val[2]."\n"; // prints 3
5.為什么不使用數(shù)據(jù)庫做這些？
暫且不考慮使用什么樣的數(shù)據(jù)庫(MS-SQL, Oracle, Postgres, MysQL-InnoDB, etc..), 實現(xiàn)事務(wù)(ACID，Atomicity, Consistency, Isolation, and Durability )需要大量開銷，特別當(dāng)使用到硬盤的時候，這就意味著查詢可能會阻塞。當(dāng)使用不包含事務(wù)的數(shù)據(jù)庫（例如Mysql-MyISAM），上面的開銷不存在，但讀線程又可能會被寫線程阻塞。Memcached從不阻塞，速度非?？臁?/span>
6.為什么不使用共享內(nèi)存?
最初的緩存做法是在線程內(nèi)對對象進行緩存，但這樣進程間就無法共享緩存，命中率非常低，導(dǎo)致緩存效率極低。后來出現(xiàn)了共享內(nèi)存的緩存，多個進程或者線程共享同一塊緩存，但畢竟還是只能局限在一臺機器上，多臺機器做相同的緩存同樣是一種資源的浪費，而且命中率也比較低。
Memcached Server和Clients共同工作，實現(xiàn)跨服務(wù)器分布式的全局的緩存。并且可以與Web Server共同工作，Web Server對CPU要求高，對內(nèi)存要求低，Memcached Server對CPU要求低，對內(nèi)存要求高，所以可以搭配使用。
7.Mysql 4.x的緩存怎么樣?
Mysql查詢緩存不是很理想，因為以下幾點：
當(dāng)指定的表發(fā)生更新后，查詢緩存會被清空。在一個大負載的系統(tǒng)上這樣的事情發(fā)生的非常頻繁，導(dǎo)致查詢緩存效率非常低，有的情況下甚至還不如不開，因為它對cache的管理還是會有開銷。
在32位機器上，Mysql對內(nèi)存的操作還是被限制在4G以內(nèi)，但memcached可以分布開，內(nèi)存規(guī)模理論上不受限制。
Mysql上的是查詢緩存，而不是對象緩存，如果在查詢后還需要大量其它操作，查詢緩存就幫不上忙了。
如果要緩存的數(shù)據(jù)不大，并且查詢的不是非常頻繁，這樣的情況下可以用Mysql 查詢緩存，不然的話memcached更好。
8.數(shù)據(jù)庫同步怎么樣？
這里的數(shù)據(jù)庫同步是指的類似Mysql Master-Slave模式的靠日志同步實現(xiàn)數(shù)據(jù)庫同步的機制。
你可以分布讀操作，但無法分布寫操作，但寫操作的同步需要消耗大量的資源，而且這個開銷是隨著slave服務(wù)器的增長而不斷增長的。
下一步是要對數(shù)據(jù)庫進行水平切分，從而讓不同的數(shù)據(jù)分布到不同的數(shù)據(jù)庫服務(wù)器組上，從而實現(xiàn)分布的讀寫，這需要在應(yīng)用中實現(xiàn)根據(jù)不同的數(shù)據(jù)連接不同的數(shù)據(jù)庫。
當(dāng)這一模式工作后（我們也推薦這樣做），更多的數(shù)據(jù)庫導(dǎo)致更多的讓人頭疼的硬件錯誤。
Memcached可以有效的降低對數(shù)據(jù)庫的訪問，讓數(shù)據(jù)庫用主要的精力來做不頻繁的寫操作，而這是數(shù)據(jù)庫自己控制的，很少會自己阻塞 自己。
9.Memcached快嗎？
非?？?，它使用libevent，可以應(yīng)付任意數(shù)量打開的連接（使用epoll，而非poll），使用非阻塞網(wǎng)絡(luò)IO，分布式散列對象到不同的服務(wù)器，查詢復(fù)雜度是O(1)。
10.memcached的相關(guān)抽象類
public abstract class BaseManager<T
extends BaseObject>
implements Manager<T>
{
private MemcachedClient memcached;
protected int default_cache_time_second = 3600;
public void setMemcached(MemcachedClient memcached)
{
this.memcached = memcached;
}
public MemcachedClient getMemcached()
{
return memcached;
}
public void setDefault_cache_time_second(
int default_cache_time_second)
{
this.default_cache_time_second = default_cache_time_second;
}
public Object getCacheValueFromMemcached(String key)
{
return getCacheValueFromMemcached(key,
null);
}
public Object getCacheValueFromMemcached(String key, Object obj)
{
Object new_obj =
null;
try {
new_obj = memcached.get(key);
}
catch (Exception e)
{
if (logger.isWarnEnabled())
{
logger.warn("Failed to get from MeMCache", e);
}
}
return (new_obj !=
null) ? new_obj : obj;
}
public void setCacheValueToMemcached(String cacheKey,
int time_to_live, Serializable obj)
{
if (
null != memcached.get(cacheKey))
{
memcached.replace(cacheKey, time_to_live, obj);
}
else {
memcached.add(cacheKey, time_to_live, obj);
}
}
}
11.service調(diào)用memcache的一個例子：
public List<Integer> getLastModifyAlbumMember(
int limit)
{
String cacheKey =
this.createCachekey(
new Object[]
{"schedule","lastmodifyalbumember",limit});
List list = (List)
this.getCacheValueFromMemcached(cacheKey);
List<Integer> list1 =
new ArrayList<Integer>();
if(
null!=list&&list.size()>0)
{
for (Object aList : list)
{
list1.add(Integer.parseInt(String.valueOf(aList)));
}
}
return list1;
}
參考資料：
http://www.danga.com/
http://www.linuxjournal.com/article/7451
-----------------------------------------------------
Silence, the way to avoid many problems;
Smile, the way to solve many problems;