Memcached缓存系统：从部署到实战应用指南

#作者：猎人

memcached是以LiveJournal旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在
已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。

Memcached是一款开发工具，它既不是一个代码加速器，也不是数据库中间件。其设计哲学思想主要反映在如下方面：

1. 简单key/value存储：服务器不关心数据本身的意义及结构，只要是可序列化数据即可。存储项由“键、过期时间、可选的标志及数据”四个部分组成；
2. 功能的实现一半依赖于客户端，一半基于服务器端：客户负责发送存储项至服务器端、从服务端获取数据以及无法连接至服务器时采用相应的动作；服务端负责接收、存储数据，并负责数据项的超时过期；
3. 各服务器间彼此无视：不在服务器间进行数据同步；
4. O(1)的执行效率
5. 清理超期数据：默认情况下，Memcached是一个LRU缓存，同时，它按事先预订的时长清理超期数据；但事实上，memcached不会删除任何已缓存数据，只是在其过期之后不再为客户所见；而且，memcached也不会真正按期限清理缓存，而仅是当get命令到达时检查其时长；

Memcached提供了为数不多的几个命令来完成与服务器端的交互，这些命令基于memcached的协议实现。

存储类命令：set, add, replace, append, prepend
获取数据类命令：get, delete, incr/decr
统计类命令：stats, stats items, stats slabs, stats sizes
清理命令： flush_all

一、安装libevent

memcached依赖于libevent API，因此一定要事先安装之，项目主页：http://libevent.org/，读者可自行选择需要的版本下载。本文采用的是目前最新版本的源码包libevent-2.0.16-stable.tar.gz。安装过程：

# tar xf libevent-2.0.20-stable.tar.gz
# cd libevent-2.0.20
# ./configure --prefix=/usr/local/libevent
# make && make install

# echo "/usr/local/libevent/lib" > /etc/ld.so.conf.d/libevent.conf
# ldconfig 

yum安装cyrus-sasl-devel 认证

二、安装配置memcached

安装和配置 Memcached 时，有几个关键点需要注意，以确保其高效、稳定地运行。以下是一些重要的注意事项：

1. 系统准备
   操作系统兼容性：确认你的操作系统版本与 Memcached 兼容。Memcached 支持多种操作系统，包括 Linux、Windows 和 macOS，但建议在生产环境中使用 Linux。
   依赖项检查：确保所有必要的库都已经安装，例如 libevent。

2. 安装 Memcached
   选择合适的安装方式：
   从源码编译：可以自定义编译选项，如最大内存大小、连接数等。
   通过包管理器安装（推荐）：对于 Debian/Ubuntu 使用 apt-get，CentOS/RHEL 使用 yum。这种方式更简单快捷，并且便于后续的更新维护。

3. 配置 Memcached
   编辑配置文件（通常位于 /etc/memcached.conf 或 /etc/sysconfig/memcached）：
   内存限制：设置 -m 参数指定 Memcached 可使用的最大内存量。
   监听地址：默认情况下，Memcached 监听本地回环接口（127.0.0.1）。如果需要外部访问，请修改为服务器的实际 IP 地址或 0.0.0.0 表示接受所有来源的请求，但要注意安全性。
   端口号：默认端口是 11211，可以根据需要更改。
   并发连接数：通过 -c 参数调整最大并发连接数，默认值可能不足以应对高负载环境。
   日志级别：根据需要调整日志记录的详细程度，以便于调试和监控。

4. 安全设置
   防火墙规则：确保只有可信的 IP 地址能够访问 Memcached 服务。
   权限控制：避免使用 root 用户启动 Memcached，应创建专用用户并赋予适当权限。
   SASL 认证：对于需要更高安全性的场景，考虑启用 SASL 认证机制来保护数据传输。

5. 性能优化
   调整内核参数：根据实际工作负载调整操作系统的网络缓冲区大小和其他相关参数。
   缓存策略：合理设计缓存失效策略，避免雪崩效应。
   监控与报警：利用工具如 Prometheus、Grafana 等对 Memcached 进行实时监控，及时发现潜在问题。

安装步骤如下
1、安装memcached

# tar xf memcached-1.4.15.tar.gz 
# cd memcached-1.4.15
# ./configure --prefix=/usr/local/memcached --with-libevent=/usr/local/libevent
# make && make install

2、memcached SysV的startup脚本代码如下所示，将其建立为/etc/init.d/memcached文件：以便用service启动关闭服务

#!/bin/bash
#
# Init file for memcached
#
# chkconfig: - 86 14
# description: Distributed memory caching daemon
#
# processname: memcached
# config: /etc/sysconfig/memcached

. /etc/rc.d/init.d/functions

## Default variables
PORT="11211"
USER="nobody"
MAXCONN="1024"
CACHESIZE="64"	//内存如果小可以改，马哥memcache视频有讲
OPTIONS=""

RETVAL=0
prog="/usr/local/memcached/bin/memcached"
desc="Distributed memory caching"
lockfile="/var/lock/subsys/memcached"

start() {
        echo -n $"Starting $desc (memcached): "
        daemon $prog -d -p $PORT -u $USER -c $MAXCONN -m $CACHESIZE  $OPTIONS
        RETVAL=$?
        echo
        [ $RETVAL -eq 0 ] && touch $lockfile
        return $RETVAL
}

stop() {
        echo -n $"Shutting down $desc (memcached): "
        killproc $prog
        RETVAL=$?
        echo
        [ $RETVAL -eq 0 ] && rm -f $lockfile
        return $RETVAL
}

restart() {
        stop
        start
}

reload() {
        echo -n $"Reloading $desc ($prog): "
        killproc $prog -HUP
        RETVAL=$?
        echo
        return $RETVAL
}

case "$1" in
  start)
        start
        ;;
  stop)
        stop
        ;;
  restart)
        restart
        ;;
  condrestart)
        [ -e $lockfile ] && restart
        RETVAL=$?
        ;;       
  reload)
        reload
        ;;
  status)
        status $prog
        RETVAL=$?
        ;;
   *)
        echo $"Usage: $0 {start|stop|restart|condrestart|status}"
        RETVAL=1
esac
exit $RETVAL

使用如下命令配置memcached成为系统服务：

# chmod +x /etc/init.d/memcached
# chkconfig --add memcached
# service memcached start
netstat  -tunlap |grep  11211    会发现两个11211端口，分别是tcp和udp

3、使用telnet命令测试memcached的使用

memcached提供一组基本命令用于基于命令行调用其服务或查看服务器状态等。

# telnet 127.0.0.1 11211   //回车后即可输入add、get、set等等命令了

add命令：添加新键
格式：add keyname flag timeout datasize
举例：add mykey 0 10 12
Hello world!
get命令：获取键值
格式：get keyname
如：get mykey
VALUE mykey 0 12
Hello world!
END

set命令 可以修改键值
stats命令 查看状态

4、memcached命令的常用选项说明 /user/local/memcached/bin/memcached源码安装的命令位置
-l <ip_addr>：指定进程监听的地址；
-d: 以服务模式运行；即在后台运行
-u ：以指定的用户身份运行memcached进程；
-m ：用于缓存数据的最大内存空间，单位为MB，默认为64MB；
-c ：最大支持的并发连接数，默认为1024；
-p : 指定监听的TCP端口，默认为11211；同时是memcache端口
-U ：指定监听的UDP端口，默认为11211，0表示关闭UDP端口；
-t ：用于处理入站请求的最大线程数，仅在memcached编译时开启了支持线程才有效；
-f ：设定Slab Allocator定义预先分配内存空间大小固定的块时使用的增长因子；
-M：当内存空间不够使用时返回错误信息，而不是按LRU算法利用空间；
-n: 指定最小的slab chunk大小；最小设置48字节。单位是字节；解决碎片问题
-S: 启用sasl进行用户认证；
-r
-p 指定pid文件

/user/local/memcached/bin/Memcached -m 128 -n 20 -f 1.25 -vv -u nobady -d 在后台运行

三、安装Memcache的PHP扩展

客户端库：
Perl module
Cache：：memcached 这是perl模块
Php：两个客户端库，一般用第二个
Memcache
Memcached
C/C++：
libmemcached

①安装PHP的memcache扩展

# tar xf memcache-2.2.5.tgz
# cd memcache-2.2.5
/usr/local/php/bin/phpize   //这是php模块
# ./configure --with-php-config=/usr/local/php/bin/php-config --enable-memcache
# make && make install

上述安装完后会有类似以下的提示：

Installing shared extensions:     /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/

②编辑/usr/local/php/lib/php.ini，在“动态模块”相关的位置添加如下一行来载入memcache扩展：

extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/memcache.so

而后对memcached功能进行测试，在网站目录中建立测试页面test.php，添加如下内容：php语言脚本

vim  /web/htdocs/test.php
<?php
$mem = new Memcache;
$mem->connect("127.0.0.1", 11211)  or die("Could not connect");

$version = $mem->getVersion();
echo "Server's version: ".$version."<br/>\n";

$mem->set('testkey', 'Hello World', 0, 600) or die("Failed to save data at the memcached server");
echo "Store data in the cache (data will expire in 600 seconds)<br/>\n";

$get_result = $mem->get('testkey');
echo "$get_result is from memcached server.";         
?>

脚本完
测试：
访问此主机，ip/test.php回车，会输出测试内容。如果有输出“Hello World is from memcached.”等信息，则表明memcache已经能够正常工作。
再测试，输入telnet localhost 11211回车，输入get testkey 可以看到是否成功

四、使用libmemcached的客户端工具

访问memcached的传统方法是使用基于perl语言开发的Cache::memcached模块，这个模块在大多数perl代码中都能良好的工作，但也有着众所周知的性能方面的问题。libMemcached则是基于C语言开发的开源的C/C++代码访问memcached的库文件，同时，它还提供了数个可以远程使用的memcached管理工具，如memcat, memping，memstat，memslap等。

1. 编译安装libmemcached

# tar xf libmemcached-1.0.2.tar.gz 
# cd libmemcached-1.0.2
# ./configure 
# make && make install
# ldconfig

2. 客户端工具

# memcat --servers=127.0.0.1:11211 mykey
# memping 
# memslap
# memstat

五、Nginx整合memcached:

nginx数据缓存到memcache里，目的是不使用nginx本身缓存功能，用memcache缓存。因为nginx缓存是缓存到磁盘里了，缓存性能不好，所以推荐使用memcache缓存

server {
        listen       80;
        server_name  www.magedu.com;
        #charset koi8-r;
        #access_log  logs/host.access.log  main;
        location / {
            set $memcached_key $uri;  //往memcacae传递数据。设置键名：$memcached_key是键名，传递过去一个键，当前用户请求$uri就是键
            memcached_pass     127.0.0.1:11211;    //memcache服务器是哪个
            default_type       text/html;    //缓存哪一类数据  
            error_page         404 @fallback;   //缓存没有就返回404，到@fallback后端服务器去取数据，设置如下
        }
   location @fallback {   //进行处理
       proxy_pass http://172.16.0.1; //传递给后端服务器，从后端服务器取过来缓存到memcache服务器里
        }
}

六、php将会话保存至memcached

前提：

1. 配置各php支持使用memcache；
2. 安装配置好memcached服务器，这里假设其地址为172.16.200.11，端口为11211；

1、配置php将会话保存至memcached中 比保存在本地更快
编辑php.ini文件，确保如下两个参数的值分别如下所示：
session.save_handler = memcache //默认是fail
session.save_path = “tcp://172.16.200.11:11211?persistent=1&weight=1&timeout=1&retry_interval=15”
上面最后一行含义：session保存到什么位置。基于tcp协议找memcache服务器的11211端口，如果是本机可以考虑使用locahost，?是传递参数，persistent=1表示持久连接方式。weight=1权重。timeout=1超时时间为1秒。retry_interval=15每隔15秒重试一次
另外：session.name = PHPSESSID 这个参数很多地方会用到，注意
service php-fpm restart

2、测试

vim /web/htdocs/setsess.php
新建php页面setsess.php，为客户端设置启用session：

<?php
session_start();
if (!isset($_SESSION['www.MageEdu.com'])) {
  $_SESSION['www.MageEdu.com'] = time();
}
print $_SESSION['www.MageEdu.com'];
print "<br><br>";
print "Session ID: " . session_id();
?>

vim /web/htdocs/showsess.php 测试用

新建php页面showsess.php，获取当前用户的会话ID：

<?php
session_start();
$memcache_obj = new Memcache;
$memcache_obj->connect('172.16.200.11', 11211);
$mysess=session_id();
var_dump($memcache_obj->get($mysess));
$memcache_obj->close();
?>

<?php 
// Generating cookies must take place before any HTML. 
// Check for existing "SessionId" cookie 
$session = $HTTP_COOKIE_VARS["SessionId"]; 
if ( $session == "" ) { 
// Generate time-based unique id. 
// Use user's IP address to make more unique. 
$session = uniqid ( getenv ( "REMOTE_ADDR" ) ); 
// Send session id - expires when browser exits 
SetCookie ( "SessionId", $session ); 
} 
?> 
<HTML> 
<HEAD><TITLE>Session Test</TITLE></HEAD> 
<BODY> <br> 16 Current session id: <?php echo $session ?> 
</BODY></HTML>

访问页面：
生成一个session的id

Memcache负载均衡是开发的事情：取值方法和一致哈希算法
Memcache管理工具的安装： 此工具很好
Memcache-master软件，解压
Mv Memcache-master /web/htdocs/mmaster 改名为mmaster
Vim /web/htdocs/mmaster/config.php 配置文件
改用户名和密码

之后访问，ip/mmaster/回车，输入用户名和密码，之后设置和连接
命中率由zabbix监控