Memcached简介

memcached是一个自由开源,高性能,分布式内存对象存储系统

基于内存的key-valued存储,用来存储小块的任意数据(字符串,对象)

他是一个简洁的key-value存储系统

# 分为服务器和客户端两部分
# 1. 服务端: memcached
# 2. 客户端: memcache

使用目的: 通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度,提高可扩展性

Memcached特点
# 1. C/S模式架构: 由C语言编写,总共2000多行代码。
# 协议简单: 使用的是基于文本行的协议,能通过telnet/nc直接操作Memcached服务存取数据. # 2. 支持epoll/queue异步I/O模型: 使用libevent作为事件处理通知机制. # 3. Key/Value键值对数据类型 # 4. 纯内存缓存,效率高 # 5. 支持分布式集群 # 6. 多进程
Memcached应用

完整缓存

# 例如:京东的商品分类,就可以事先放在Memcached里,然后在对外提供数据访问,这个被称之为“数据预热”

热点缓存

# 热点缓存一般是用于由用户更新的商品,例如淘宝的卖家,当卖家新增商品后,淘宝网的程序就会把商品写入数据库,然后读取写入的数据,把这部分数据,放入 Memcached中,下一次访问这个商品的请求直接从Memcached中取走了。

作为集群节点的session会话共享机制

Memcached原理

Memcached数据存储机制
# 需要被缓存的数据以key/value键值对的形式保存在服务器端预分配的内存区中,每个被缓存的数据都有唯一的标识key,操作Memcached中的数据就是通过这个唯一标识的key进行的。
Memcached内存管理机制
# Memcached采用了如下机制:
# 1. 采用slab内存分配机制
# 2. 采用LRU对象清除机制
# 3. 采用hash机制快速检索item
# 小结
# 1. Memcached早期内存管理机制为malloc(动态内存分配)
# 2. lab内存分配机制可以解决内存碎片的问题
# 3. Memcached服务的内存预先分割成特定长度的内存块,称为chunk,用于缓存数据的内存空间或内存块,相当于磁盘的block,只不过磁盘的每一个block都是相等的,而chunk只有在同一个Slab Class内才是相等的。
# 4. Slab Class指特定大小(1MB)的包含多个chunk的集合或组,一个Memcached包含多个Slab Class,每个Slab Class包含多个相同大小的chunk。
# 5. Slab机制缺点: 例如,Chunk空间会有浪费(通过调优因子以及大小接近的数据放入一个MC实例)
Memcached过期机制
# 不主动检测item对象是否过期,而是在get时才会检查item对象是否过期以及是否应该删除。
# 当删除item对象时,一般不释放内存空间,而是做删除标记,将指针放入slot回收插槽,下次分配的时候可以直接使用。
# 当内存空间满的时候,将会根据LRU算法把最近最少使用的item对象删除。
# 数据存入可以设定过期时间,但是数据过期后不会被立即删除,而是在get时检查item对象是否过期以及是否应该删除。
# 如果不希望系统使用LRU算法清除数据,可以用使用-M参数。

Memcached部署

结构规划
# 用户名 memcached
# 用户组 memcached
# 端口 11211 # 源码包
/root/memcached-1.5.9.tar.gz # 解压后源码
/root/memcached-1.5.9 # 编译目录
/root/ # 安装目录
/usr/local/memcached # 工作目录
/var/sites/memcached
初始化系统环境
[root@memcached-1 ~]# cat /etc/redhat-release
CentOS Linux release 7.3.1611 (Core)
[root@memcached-1 ~]# uname -r
3.10.0-514.el7.x86_64
下载Memcached依赖
# 安装libevent依赖和gcc编译工具
yum -y install libevent libevent-devel gcc
添加用户和组
groupadd memcached;
useradd -s /sbin/nologin -d /dev/null -M -g memcached memcached;
下载Memcached包并编译安装
wget -O ./memcached-1.5.9.tar.gz http://www.memcached.org/files/memcached-1.5.9.tar.gz
tar xvf memcached-1.5.9.tar.gz
cd memcached-1.5.9
./configure --prefix=/usr/local/memcached --prefix=/usr/local/memcahced/
make && make install
修改配置文件
mkdir -p /var/sites/memcached-1.5.9/etc/
cp /root/memcached-1.5.9/scripts/memcached.sysconfig /var/sites/memcached-1.5.9/memcached cat /var/sites/memcached-1.5.9/memcached |sed -e "s/#.*/ /g" |uniq |awk '{if (length !=0) print $0}' USER="memcached"
MAXCONN="1024"
CACHESIZE="64"
OPTIONS="" PORT="11211"
启动Memcached
/usr/local/memcahced/bin/memcached -m 16m -p 11211 -d -u memcached -c 8192

# 验证启动结果
[root@localhost memcahced]# ps -ef |grep memcached |grep -v grep
memcach+ 10363 1 0 07:48 ? 00:00:00 ./bin/memcached -m 16m -p 11211 -d -u memcached -c 8192 # 启动多实例Memcached
/usr/local/memcahced/bin/memcached -m 16m -p 11212 -d -u memcached -c 8192 # 启动多实例Memcached指定PID文件
memcached -m 16m -p 11211 -d -u root -c 8192 -P /var/run/11211.pid
# 此时我们可以通过kill 命令指定pid文件关闭Memcached
kill `cat /var/run/11211.pid` # 加入开机自启动
# 把上述两个实例的启动命令放入/etc/rc.local,以便下次开机可以自启动。
tail -2 /etc/rc.local
memcached -m 16m -p 11211 -d -u root -c 8192
memcached -m 16m -p 11212 -d -u root -c 8192 # 关闭可以用killall ,pkill
Memcached启动命令
#进程与连接设置:
-d 以守护进程(daemon)方式运行服务
-u 指定运行Memcached的用户,如果当前用户为root,需要使用此参数指定用户
-l 指定Memcached进程监听的服务器IP地址,可以不设置此参数
-p(小写)指定Memcached服务监听TCP端口号。默认为11211
-P(大写)设置保存Memcached的pid文件($$),保存PID到指定文件 #内存相关设置:
-m 指定Memcached服务可以缓存数据的最大内存,默认为64MB
-M Memcached服务内存不够时禁止LRU,如果内存满了会报错
-n 为key+value——flags分配的最小内存空间,默认为48字节
-f chunk size增长因子,默认为1.25
-L 启用大内存页,可以降低内存浪费,改进性能 #并发连接设置:
-c 最大的并发连接数,默认是1024
-t 线程数,默认4.由于Memcached采用的是NIO,所以太多线程作用不大
-R 每个event最大请求数,默认是20
-C 禁用CAS(可以禁止版本计数,减少开销) #测试参数:
-v 打印较少的errors/warnings
-vv 打印非常多调试信息和错误输出到控制台
-vvv 打印极多的调试信息和错误输出,也打印内部状态转变 #其他选项可通过在命令行输入“memcached -h”命令来显示

Memcached基本操作

向Memcached中添加数据时,注意添加的数据一般为键值对的形式,例如: key1->values1, key2->values2

安装工具
yum -y install nc telnet
printf配合nc向Memcached写入数据
# 向memcached写入数据
printf "set key1 0 0 5\r\nzhou\r\n" nc 127.0.0.1 11211 # replace 更新数据
printf "replace key1 0 0 7\r\nxmh\r\n" | nc 127.0.0.1 11211 # 配合printf配置nc从Memcached中读取数据
printf "get key1\r\n" | nc 127.0.0.1 11211 # 通过printf配合nc从Memcached中删除数据
printf "delete key1\r\n" | nc 127.0.0.1 11211
telnet命令写入数据
telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set user01 0 0 7 #写入数据,创建key,长度等
jason12 #数据长度要和value一致
STORED
get user01 #浏览数据
VALUE user01 0 7
jason12
END
delete user01 #删除数据,删除的是key
DELETED
get user01 #再次浏览数据,数据被删除
END
quit #quit退出
Connection closed by foreign host.
Memcached命令解释
# 1. set 		设置数据
# 2. get 获取数据
# 3. delete 删除数据
# 4. replace 更新数据 # 操作Memcached 相关命令语法
set key1 0 0 6 \r\n benet \r\n
<command name><key><flags><exptime><bytes><datablock><string><datablock> command # 命令参数(set、get、delete、replace)
key # key 用于查找缓存值,要求小于250字符,不包含空格和控制字段
flags # 用户端用来表示数据格式数值,如json、xml、压缩等
exptime # 在缓存中保存键值对的时间长度(以秒为单位,0 表示永远)
bytes # 在缓存中存储的字节数
datablock # 文本行,以\r\n结尾
string # 键值对应的缓存内容

memcached-tool

cd /root/memcached-1.5.9
cp /root/memcached-1.5.9/scripts/memcached-tool /usr/local/memcahced/bin/
05-08 08:15