memcached彻底剖析–memcached的基础

时间 2021-04-18 标签 javascript php html java linux 算法数据库 windows api 数组

memcached是什么？

memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。如今已成为 mixi、 hatena、 Facebook、 Vox、LiveJournal等众多服务中提升Web应用扩展性的重要因素。javascript

许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加剧、数据库响应恶化、网站显示延迟等重大影响。php

这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。通常的使用目的是，经过缓存数据库查询结果，减小数据库访问次数，以提升动态Web应用的速度、提升可扩展性。html

图1 通常状况下memcached的用途java

memcached的特征

memcached做为高速运行的分布式缓存服务器，具备如下的特色。linux

协议简单
基于libevent的事件处理
内置内存存储方式
memcached不互相通讯的分布式

协议简单

memcached的服务器客户端通讯并不使用复杂的XML等格式，而使用简单的基于文本行的协议。所以，经过telnet 也能在memcached上保存数据、取得数据。下面是例子。算法

$ telnet localhost 11211 Trying 127.0.0.1... Connected to localhost.localdomain (127.0.0.1). Escape character is '^]'. set foo 0 0 3 （保存命令） bar （数据） STORED （结果） get foo （取得命令） VALUE foo 0 3 （数据） bar （数据）

协议文档位于memcached的源代码内，也能够参考如下的URL。数据库

http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt

基于libevent的事件处理

libevent是个程序库，它将Linux的epoll、BSD类操做系统的kqueue等事件处理功能封装成统一的接口。即便对服务器的链接数增长，也能发挥O(1)的性能。 memcached使用这个libevent库，所以能在Linux、BSD、Solaris等操做系统上发挥其高性能。关于事件处理这里就再也不详细介绍，能够参考Dan Kegel的The C10K Problem。windows

libevent: http://www.monkey.org/~provos/libevent/
The C10K Problem: http://www.kegel.com/c10k.html

内置内存存储方式

为了提升性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。因为数据仅存在于内存中，所以重启memcached、重启操做系统会致使所有数据消失。另外，内容容量达到指定值以后，就基于LRU(Least Recently Used)算法自动删除不使用的缓存。 memcached自己是为缓存而设计的服务器，所以并无过多考虑数据的永久性问题。关于内存存储的详细信息，本连载的第二讲之后前坂会进行介绍，请届时参考。api

memcached不互相通讯的分布式

memcached尽管是“分布式”缓存服务器，但服务器端并无分布式功能。各个memcached不会互相通讯以共享信息。那么，怎样进行分布式呢？这彻底取决于客户端的实现。本连载也将介绍memcached的分布式。数组

图2 memcached的分布式

接下来简单介绍一下memcached的使用方法。

安装memcached

memcached的安装比较简单，这里稍加说明。

memcached支持许多平台。

Linux
FreeBSD
Solaris (memcached 1.2.5以上版本)
Mac OS X

另外也能安装在Windows上。这里使用Fedora Core 8进行说明。

memcached的安装

运行memcached须要本文开头介绍的libevent库。Fedora 8中有现成的rpm包，经过yum命令安装便可。

$ sudo yum install libevent libevent-devel

memcached的源代码能够从memcached网站上下载。本文执笔时的最新版本为1.2.5。 Fedora 8虽然也包含了memcached的rpm，但版本比较老。由于源代码安装并不困难，这里就不使用rpm了。

下载memcached：http://www.danga.com/memcached/download.bml

memcached安装与通常应用程序相同，configure、make、make install就好了。

$ wget http://www.danga.com/memcached/dist/memcached-1.2.5.tar.gz $ tar zxf memcached-1.2.5.tar.gz $ cd memcached-1.2.5 $ ./configure $ make $ sudo make install

默认状况下memcached安装到/usr/local/bin下。

memcached的启动

从终端输入如下命令，启动memcached。

$ /usr/local/bin/memcached -p 11211 -m 64m -vv slab class 1: chunk size 88 perslab 11915 slab class 2: chunk size 112 perslab 9362 slab class 3: chunk size 144 perslab 7281 中间省略 slab class 38: chunk size 391224 perslab 2 slab class 39: chunk size 489032 perslab 2 <23 server listening <24 send buffer was 110592, now 268435456 <24 server listening (udp) <24 server listening (udp) <24 server listening (udp) <24 server listening (udp)

这里显示了调试信息。这样就在前台启动了memcached，监听TCP端口11211 最大内存使用量为64M。调试信息的内容大部分是关于存储的信息，下次连载时具体说明。

做为daemon后台启动时，只需

$ /usr/local/bin/memcached -p 11211 -m 64m -d

这里使用的memcached启动选项的内容以下。

选项	说明
-p	使用的TCP端口。默认为11211
-m	最大内存大小。默认为64M
-vv	用very vrebose模式启动，调试信息和错误输出到控制台
-d	做为daemon在后台启动

上面四个是经常使用的启动选项，其余还有不少，经过

$ /usr/local/bin/memcached -h

命令能够显示。许多选项能够改变memcached的各类行为，推荐读一读。

用客户端链接

许多语言都实现了链接memcached的客户端，其中以Perl、PHP为主。仅仅memcached网站上列出的语言就有

Perl
PHP
Python
Ruby
C#
C/C++
Lua

等等。

memcached客户端API：http://www.danga.com/memcached/apis.bml

这里介绍经过mixi正在使用的Perl库连接memcached的方法。

使用Cache::Memcached

Perl的memcached客户端有

Cache::Memcached
Cache::Memcached::Fast
Cache::Memcached::libmemcached

等几个CPAN模块。这里介绍的Cache::Memcached是memcached的做者Brad Fitzpatric的做品，应该算是memcached的客户端中应用最为普遍的模块了。

Cache::Memcached - search.cpan.org: http://search.cpan.org/dist/Cache-Memcached/

使用Cache::Memcached链接memcached

下面的源代码为经过Cache::Memcached链接刚才启动的memcached的例子。

#!/usr/bin/perl use strict; use warnings; use Cache::Memcached; my $key = "foo"; my $value = "bar"; my $expires = 3600; # 1 hour my $memcached = Cache::Memcached->new({ servers => ["127.0.0.1:11211"], compress_threshold => 10_000 }); $memcached->add($key, $value, $expires); my $ret = $memcached->get($key); print "$ret\n";

在这里，为Cache::Memcached指定了memcached服务器的IP地址和一个选项，以生成实例。 Cache::Memcached经常使用的选项以下所示。

选项	说明
servers	用数组指定memcached服务器和端口
compress_threshold	数据压缩时使用的值
namespace	指定添加到键的前缀

另外，Cache::Memcached经过Storable模块能够将Perl的复杂数据序列化以后再保存，所以散列、数组、对象等均可以直接保存到memcached中。

保存数据

向memcached保存数据的方法有

add
replace
set

它们的使用方法都相同：

my $add = $memcached->add( '键', '值', '期限' ); my $replace = $memcached->replace( '键', '值', '期限' ); my $set = $memcached->set( '键', '值', '期限' );

向memcached保存数据时能够指按期限(秒)。不指按期限时，memcached按照LRU算法保存数据。这三个方法的区别以下：

选项	说明
add	仅当存储空间中不存在键相同的数据时才保存
replace	仅当存储空间中存在键相同的数据时才保存
set	与add和replace不一样，不管什么时候都保存

获取数据

获取数据可使用get和get_multi方法。

my $val = $memcached->get('键'); my $val = $memcached->get_multi('键1', '键2', '键3', '键4', '键5');

一次取得多条数据时使用get_multi。get_multi能够非同步地同时取得多个键值，其速度要比循环调用get快数十倍。

删除数据

删除数据使用delete方法，不过它有个独特的功能。

$memcached->delete('键', '阻塞时间(秒)');

删除第一个参数指定的键的数据。第二个参数指定一个时间值，能够禁止使用一样的键保存新数据。此功能能够用于防止缓存数据的不完整。可是要注意，set函数忽视该阻塞，照常保存数据

增一和减一操做

能够将memcached上特定的键值做为计数器使用。

my $ret = $memcached->incr('键'); $memcached->add('键', 0) unless defined $ret;

增一和减一是原子操做，但未设置初始值时，不会自动赋成0。所以，应当进行错误检查，必要时加入初始化操做。并且，服务器端也不会对超过2 ³²时的行为进行检查。

总结

此次简单介绍了memcached，以及它的安装方法、Perl客户端Cache::Memcached的用法。只要知道，memcached的使用方法十分简单就足够了。

下次由前坂来讲明memcached的内部结构。了解memcached的内部构造，就能知道如何使用memcached才能使Web应用的速度更上一层楼。欢迎继续阅读下一章。