缓存知识整理（包含Redis）

一、缓存知识

　　1、buffer和cache的区别

　　　　　　Buffer 缓冲 写操作 写缓冲
　　　　　   Cache 缓存 读操作 读缓存 磁盘-->内存-->CPU

　　2、PHP的缓存方案

官方文档：http://www.php.net/manual/zh/opcache.installation.php
PHP 5.5.0 及后续版本
OPcache 只能编译为共享扩展。 如果你使用 --disable-all 参数 禁用了默认扩展的构建， 那么必须使用 --enable-opcache 选项来开启 OPcache
推荐的 php.ini 设置
使用下列推荐设置来获得较好的 性能：

opcache.memory_consumption=

opcache.interned_strings_buffer=

opcache.max_accelerated_files=

opcache.revalidate_freq=

opcache.fast_shutdown=

opcache.enable_cli=1

　　3、RAID卡优化

出处：http://www.cnblogs.com/chenmh/p/5846766.html

radi卡电池充放电:http://www.tuicool.com/articles/a2AzAb

　　1、查看RAID卡电池情况

MegaCli64 -AdpBbuCmd -GetBbuStatus -aAll

如果返回如下错误那么可能是RAID卡BUU电池有问题或者没有电池保护功能：

Adapter 0: Get BBU Status Failed.

FW error description:

The required hardware component is not present.

Exit Code: 0x22

　　2、查看当前RAID卡缓存策略

MegaCli64 -LDinfo -Lall -aAll

Default Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU

Current Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU

第一部分：

WriteBack:写缓存策略

WriteThrough:直接写入磁盘，不适用RAID卡缓存。

第二部分：

ReadAheadNone:不开启预读

ReadAhead:开启预读，在读操作的时候，预先把后面顺序的数据载入raid卡缓存，在顺序读的环境中能提供很好的性能，但是在随机读的环境中反而降低读的性能（适合文件系统，不适合数据库系统）

ReadAdaptive:自适应预读，在缓存和I/O空闲时选择预读，默认策略。

第三部分：

Direct:读操作不缓存到RAID卡缓存。

Cached:读操作缓存到RAID卡缓存。

第四部分：如果BBU(电池)出现问题是否启用Write Cache

No Write Cache if Bad BBU:如果BBU出现问题不使用Write Cache，从WriteBack自动切换到WriteThrough，默认配置。

Write Cache OK if Bad BBU: 如果BBU出现问题仍启用Write Cache,这种配置是非常不安全的，除非是有UPS或者双电源的情况下。

　　3、RAID卡策略更改

修改WriteBack：

MegaCli64 -LDSetProp -WB -Lall -aAll

修改WriteThrough:

MegaCli64 -LDSetProp -WT -Lall -aAll

修改No Write Cache if Bad BBU:

MegaCli64 -LDSetProp -NoCachedBadBBU -Lall -aAll

修改Write Cache OK if Bad BBU:

MegaCli64 -LDSetProp -CachedBadBBU -Lall -aAll

　　4.其它相关命令

 查看机器型号    # dmidecode | grep"Product"

 查看厂商    # dmidecode| grep "Manufacturer"

 查看序列号    # dmidecode | grep "Serial Number"

 查看CPU信息    # dmidecode | grep "CPU"

 查看CPU个数    # dmidecode | grep "Socket Designation: CPU" |wc –l

 查看出厂日期    # dmidecode | grep"Date"

 查看充电状态    # MegaCli64 -AdpBbuCmd-GetBbuStatus -aALL |grep "Charger Status"

 显示BBU状态信息    # MegaCli64 -AdpBbuCmd-GetBbuStatus –aALL

 显示BBU容量信息    # MegaCli64 -AdpBbuCmd-GetBbuCapacityInfo –aALL

 显示BBU设计参数    # MegaCli64 -AdpBbuCmd-GetBbuDesignInfo –aALL

 显示当前BBU属性    # MegaCli64 -AdpBbuCmd-GetBbuProperties –aALL

 查看充电进度百分比    # MegaCli64 -AdpBbuCmd-GetBbuStatus -aALL |grep "Relative State of Charge"

 查询Raid阵列数    # MegaCli64 -cfgdsply -aALL|grep "Number of DISK GROUPS:"

 显示Raid卡型号，Raid设置，Disk相关信息      # MegaCli64-cfgdsply –aALL

 显示所有物理信息    # MegaCli64 -PDList-aALL

 显示所有逻辑磁盘组信息    # MegaCli64 -LDInfo -LALL–aAll

 查看物理磁盘重建进度(重要)    # MegaCli64 -PDRbld-ShowProg -PhysDrv [:] -a0

 查看适配器个数    #MegaCli64 –adpCount

 查看适配器时间    #MegaCli64 -AdpGetTime–aALL

 显示所有适配器信息    #MegaCli64 -AdpAllInfo–aAll

 查看Cache 策略设置    # MegaCli64 -cfgdsply -aALL|grep Polic

二、Redis应用

键值存储，数据结构服务

radis的单线程的；存储在磁盘上的数据仅仅是做为redis重启后能尽快读取数据，而不提过查询；

　　1、memcache和redis的区别

https://blog.csdn.net/u013474436/article/details/48632665

简单的区别

应用场景

redis key的大小不建议超过2M

先建立h1\h2 ,然后再建立一个key引用之前的key

　　2、官方地址和参考博文

官方文档：https://redis.io/

命令参考：https://redisdoc.com/

　　3、Redis的安装

#yum安装redis
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

yum -y install redis

#查看版本

[root@redis2 ~]# redis-cli -v

redis-cli 3.2.


#备份配置文件
cp  /etc/redis.conf{,.orgi}

vim /etc/redis.conf

#修改redis主配置文件

cat /etc/redis.conf

bind 10.10.10.60  #监听的地址

port   #开启的端口
timeout 0  #按需连接，不需要改

dir /var/lib/redis   #数据放置的位置，很重要
logfile /var/log/redis/redis.log  日志存放位置

daemonize no  #是否放在后台运行，写yes

maxmemory 300M   #使用系统多大内存，建议设置

默认最大化使用内存

#重启Redis服务

service start redis

#查看日志

[root@redis2 ~]# tail -f /var/log/redis/redis.log

日志提示操作：sysctl vm.overcommit_memory=  直接在系统上运行命令即可

检测

[root@redis2 ~]# netstat -luntp|grep redis

tcp   10.10.10.60: 0.0.0.0:* LISTEN /redis-server

　　4、Redis的基础操作

redis是以key-value方法存储的

#连接redis
[root@redis2 ~]# redis-cli -h 10.10.10.60 -p 6379 #如果是远程连接其他redis的方法
10.10.10.60:6379> exit
[root@redis2 ~]# redis-cli #如果监听地址默认是127.0.0.1，这个命令即可连接本机
Could not connect to Redis at 127.0.0.1:6379: Connection refused
Could not connect to Redis at 127.0.0.1:6379: Connection refused

在同一个空间内{类似于数据库}不允许有相同的键存在

127.0.0.1:> SELECT    #打开一号空间

OK

127.0.0.1:[]> SELECT   #打开二号空间

OK

127.0.0.1:[]> SELECT   #打开0号空间

OK

127.0.0.1:> set yanqi     #在零号空间写入一个key

OK

127.0.0.1:> get yanqi

""

127.0.0.1:> SELECT    #切换到1号空间

OK

127.0.0.1:[]> get yanqi   #是查询失败的

(nil)

备注：默认只使用0号空间

127.0.0.1:> get yanqi

""

127.0.0.1:> SET yanqi  NX   #key值存在就不更新

(nil)

127.0.0.1:> GET yanqi

""

127.0.0.1:> SET yanqi  XX   #key值存在才更新

OK

127.0.0.1:> GET yanqi

""

127.0.0.1:> 

　　　　4.1、字符串类型

字符串类型

#APPEND 在value后追加字符串

10.10.10.60:> get yanqi

""

10.10.10.60:> append yanqi huang   #给key yanqi 追加一个yanqi的字符

(integer)     #字符的长度

10.10.10.60:> get yanqi

"1993huang"

#获取字key对应的values字符串的长度

10.10.10.60:> STRLEN yanqi   #获取key对应values字符的长度

(integer)

#INCR 自增，适用于统计

10.10.10.60:> INCR yanqi  #只对values为数字类型有效

(error) ERR value is not an integer or out of range

10.10.10.60:> set www    #每查询一次就会在原有的values上加1

OK

10.10.10.60:> INCR www

(integer)

#INCRBY 指定每次递增的步长

redis 10.0.0.10:> incrby user

(integer)

redis 10.0.0.10:> incrby user

(integer)

#DECR 递减

redis 10.0.0.10:> DECR user

(integer)

redis 10.0.0.10:> DECR user

(integer)

#INCRBYFLOAT 支持浮点类型的的递增

#MSET 同时设定多个key的值

MSET key values key2 values key3 values

#MGET 同时获取多个key的值

redis 10.0.0.10:> mget key1 key2 key3

字符串类类型命令

　　4.2、散列类型

HSET

redis 10.0.0.10:> HSET car name bmw

(integer)

redis 10.0.0.10:> HSET car price

(integer)

redis 10.0.0.10:> keys *

) "key2"

) "key3"

) "user"

) "mykey"

) "a"

) "name"

) "car"

) "w"

) "key1"

1.3.2.2    HGET

redis 10.0.0.10:> hget car name

"bmw"

redis 10.0.0.10:> hget car price

""

#HMSET

redis 10.0.0.10:> hmset book name redis price  auth zhaolaoshi

OK

1.3.2.4    HMGET

redis 10.0.0.10:> hmget book price auth name

) ""

) "zhaolaoshi"

) "redis"

#HGETALL查看键所有的值

redis 10.0.0.10:> hgetall book

) "price"

) ""

) "name"

) "redis"

) "auth"

) "zhaolaoshi"

#HDEL 删除对应的键值

redis 10.0.0.10:> hdel book price

(integer)

redis 10.0.0.10:> hgetall book

) "name"

) "reids"

) "auth"

) "zhao"

#HEXISTS 判断字段是否存在

redis 10.0.0.10:> hexists book name

(integer)

redis 10.0.0.10:> hexists book nam

(integer) 

　　4.3、列表类型list

#lpush从左边插入数据

redis 10.0.0.10:> lpush letter a

(integer)

redis 10.0.0.10:> lpush letter b

(integer)

#rpush从右边插入数据

redis 10.0.0.10:> rpush letter a

(integer)

redis 10.0.0.10:> rpush letter b

(integer)

redis 10.0.0.10:>

#LINDEX获取数据

redis 10.0.0.10:> LINDEX letter -

"b"

redis 10.0.0.10:> LINDEX letter -

"a"

redis 10.0.0.10:> LINDEX letter -

"a"

redis 10.0.0.10:> lindex letter -

"b"

#RPOP 弹出数据，每弹一个数据，list里就会少一个数据，弹完列表就为空了

redis 10.0.0.10:> rpop letter

"b"

redis 10.0.0.10:> rpop letter

"a"

redis 10.0.0.10:> rpop letter

"a"

redis 10.0.0.10:> rpop letter

"b"

redis 10.0.0.10:> rpop letter

(nil)

#LRANGE 显示范围,从左到右显示。 代表从左到右第3个数字，-1代表左边第一个数字。

redis 10.0.0.10:> LRANGE mylist   -

) "key3"

) "key2"

) "key1

#LLEN 获取list的长度

redis 10.0.0.10:> LLEN mylist

(integer) 

　　4.4、集合类型sets

#SADD 添加一个或多个元素到key中

redis 10.0.0.10:> SADD word1 a

(integer)

redis 10.0.0.10:> SADD word1 a b c d

(integer)

#SREM 删除集合里的元素

redis 10.0.0.10:> SREM word1  d

(integer)

#SMEMBERS 获取集合key里的所有值。

redis 10.0.0.10:> SMEMBERS word1

) "c"

) "a"

) "b"

#SISMEMBER 判断集合里是否有指定的元素，返回值1为真，0为假

redis 10.0.0.10:> SISMEMBER word1 b

(integer)

redis 10.0.0.10:> SISMEMBER word1 bc

(integer)

#SDIFF 显示差积运算

redis 10.0.0.10:> sadd A

(integer)

redis 10.0.0.10:> sadd B

(integer)

redis 10.0.0.10:> sdiff A B   # 显示A有的  B没有的

) ""

redis 10.0.0.10:> sdiff B A   # 显示B有的  A没有的

)    ""

#SINTER 显示交集

redis 10.0.0.10:> SINTER A B

) ""

) ""

#SUNION 显示并集（合集）

redis 10.0.0.10:> SUNION A B

) ""

) ""

) ""

) ""

#SCARD 显示集合中元素的个数

redis 10.0.0.10:> SCARD B

(integer)

redis 10.0.0.10:> SCARD A

(integer)

#SDIFFSTORE 不显示结果，将结果服务新的集合

语法：SDIFFSTORE newkey key1 key1

redis 10.0.0.10:> SDIFFSTORE C A B

(integer)

redis 10.0.0.10:> smembers C

) ""

redis 10.0.0.10:> TYPE C

set

　　4.5、 有序集合类型 sorted sets

#ZADD 添加集合

语法：ZADD key 分数（整数） 值

redis 10.0.0.10:> ZADD USER  wangfei

(integer)

redis 10.0.0.10:> ZADD USER  zhangsan  zhsngsi  wangfei

(integer)

#ZSCORE 获取元素的分数

redis 10.0.0.10:> ZsCORE USER zhangsan

""

redis 10.0.0.10:> ZsCORE USER zhsngsi

""

redis 10.0.0.10:> ZsCORE USER wangfei

""

#ZRANGE 指定范围的元素列表

redis 10.0.0.10:> ZADD num  a  b  c

(integer)

redis 10.0.0.10:> zrange num  -

) "a"

) "b"

) "c"

redis 10.0.0.10:> zrange num

) "a"

) "b"

) "c"

　　

　　5、redis持久化(persistence)

官方文档地址：一定要看 https://redisdoc.com/topic/persistence.html

将redis内存中的数据放到磁盘中的操作就叫做持久化

　　5.1、Redis持久化

Redis 提供了多种不同级别的持久化方式:
1、RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。
2、AOF 持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。
注：Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 在这种情况下， 当 Redis 重启时， 它会优先使用 AOF 文件来还原数据集， 因为 AOF 文件保存的数据集通常比 RDB 文件所保存的数据集更完整。

例如：redis默认使用RDB，使用一段时间后再开启AOF，重启redis进程后数据就没了！！！因为redis重启了就会优先读取AOF文件

如果内存是32G或以上内存，快照过于频繁，需要使用SSD来提高IO性能，因为RDB每次做快照都是上G的内容；也可以拆分成多次redis来跑；

　　5.2、RDB持久化和AOF持久化的优缺点

https://redisdoc.com/topic/persistence.html

RDB（默认启用）
简单理解：功能更全、执行更快、易于备份（数据可以借助第三方工具分析）

每隔一定时间对内存里的数据做一次备份（做一个快照）。

快照的过程：

、    fork子进程

、    父进程继续干活，子进程将内存中的数据写入到硬盘中的临时文件

、    当子进程写完数据后，用临时文件替换RDB文件。

注:因为rdb文件为压缩文件，比内存中的要小很多；如果需要恢复 1g内容需要30S

当在60S内宕机，就会发生数据丢失的情况。

配置文件/etc/redis.conf  关于RDB的相关配置

.....

  save        # 在900s内,如果有1个键改变就进行快照

  save       # 在300s内,如果有10个键改变就进行快照

  save     # 在60s内,如果有10000个键改变就进行快照

......

dir /var/lib/redis/   # 快照存放地址，如果配置文件没有指定。在哪个目录下启动redis，快照就保存在哪个路径下

　AOF

简单理解：数据更全、易于读懂；默认每秒就写一次数据，所以最多就丢失1s的数据

快照的过程：

、    fork子进程

、    父进程继续干活，子进程将内存中的数据写入到硬盘中的临时文件

、    当子进程写完数据后，用临时文件替换AOF文件。

运行中开启AOF模式，立即生效

redis 10.0.0.10:> CONFIG SET appendonly yes

配置文件/etc/redis.conf  关于AOF的相关配置

appendonly yes   #  默认为no

　　5.3、RDB 和 AOF ，我应该用哪一个

一般来说， 如果想达到足以媲美 PostgreSQL 的数据安全性， 你应该同时使用两种持久化功能。

如果你非常关心你的数据， 但仍然可以承受数分钟以内的数据丢失， 那么你可以只使用 RDB 持久化。

有很多用户都只使用 AOF 持久化， 但我们并不推荐这种方式： 因为定时生成 RDB 快照（snapshot）非常便于进行数据库备份， 并且 RDB 恢复数据集的速度也要比 AOF 恢复的速度要快

　　　5.4、持久化测试

RDB默认是开启的，在配置文件内再把AOF的持久化开启！

[root@redis2 redis]# vim  /etc/redis.conf

[root@redis2 redis]# systemctl restart redis.service

[root@redis2 redis]# redis-cli -h 10.10.10.60

10.10.10.60:>

10.10.10.60:> set test01

OK

10.10.10.60:> set test02

OK

10.10.10.60:> get test01

""

10.10.10.60:> exit

[root@redis2 redis]# 

[root@redis2 redis]# cat appendonly.aof

*

$

SELECT

$

*

$

set

$

test01

$

*

$

set

$

test02

$

[root@redis2 redis]# 

　　5.5、恢复测试

　　6、主从复制

数据量非常大的时候，建议晚上添加从服务

主机IP	角色
10.10.10.60	主库
10.10.10.59	从库

　　　　6.1、准备两台redis设备

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install redis

service redis restart
systemctl enable redis.service

tail -f /var/log/redis/redis.log
显示sysctl vm.overcommit_memory=1

service redis restart

修改主配置文件/etc/redis.conf

[root@redis2 ~]# redis-cli -h 10.10.10.60

10.10.10.60:> info Replication

# Replication

role:master

connected_slaves:

master_repl_offset:

repl_backlog_active:

repl_backlog_size:

repl_backlog_first_byte_offset:

repl_backlog_histlen:

10.10.10.60:>

[root@redis1 ~]# redis-cli -h 10.10.10.59

10.10.10.59:> info Replication

# Replication

role:master

connected_slaves:

master_repl_offset:

repl_backlog_active:

repl_backlog_size:

repl_backlog_first_byte_offset:

repl_backlog_histlen:

10.10.10.59:> 

注释：两个配置一样，只是监控的IP地址不一样；只修改了监听IP地址、开启AOF、查看了数据的备份目录；其他均为修改！！！

 [root@redis1 ~]# egrep -v "$^|#" /etc/redis.conf

 bind 10.10.10.59

 protected-mode yes

 port

 tcp-backlog

 timeout

 tcp-keepalive

 daemonize yes

 supervised no

 pidfile /var/run/redis_6379.pid

 loglevel notice

 logfile /var/log/redis/redis.log

 databases

 save

 save

 save

 stop-writes-on-bgsave-error yes

 rdbcompression yes

 rdbchecksum yes

 dbfilename dump.rdb

 dir /var/lib/redis

 slave-serve-stale-data yes

 slave-read-only yes

 repl-diskless-sync no

 repl-diskless-sync-delay

 repl-disable-tcp-nodelay no

 slave-priority

 appendonly yes

 appendfilename "appendonly.aof"

 appendfsync everysec

 no-appendfsync-on-rewrite no

 auto-aof-rewrite-percentage

 auto-aof-rewrite-min-size 64mb

 aof-load-truncated yes

 lua-time-limit

 slowlog-log-slower-than

 slowlog-max-len

 latency-monitor-threshold

 notify-keyspace-events ""

 hash-max-ziplist-entries

 hash-max-ziplist-value

 list-max-ziplist-size -

 list-compress-depth

 set-max-intset-entries

 zset-max-ziplist-entries

 zset-max-ziplist-value

 hll-sparse-max-bytes

 activerehashing yes

 client-output-buffer-limit normal

 client-output-buffer-limit slave 256mb 64mb

 client-output-buffer-limit pubsub 32mb 8mb

 hz

 aof-rewrite-incremental-fsync yes

 [root@redis1 ~]# 

大部分都是默认配置

　　6.2、设置10.59为从库

有两种设置方法：（其实就是在要设置成从库的redis上执行 slaveof  IP port）

　　　　　　1、在主配置文件内添加：   slaveof  10.10.10.60  6379      #

　　　　　　2、在命令中执行：slaveof  10.10.10.60  6379   #重启后命令丢失，需从新执行

[root@redis1 ~]# redis-cli -h 10.10.10.59

10.10.10.59:> slaveof  10.10.10.60    #指向主库

OK

10.10.10.59:> info Replication

# Replication

role:slave     #由master变为了slave

master_host:10.10.10.60   #主库的IP地址

master_port:   #主库的端口

master_link_status:up     #当前的状态，是UP的

master_last_io_seconds_ago:

master_sync_in_progress:

slave_repl_offset:

slave_priority:

slave_read_only:

connected_slaves:

master_repl_offset:

repl_backlog_active:

repl_backlog_size:

repl_backlog_first_byte_offset:

repl_backlog_histlen:

10.10.10.59:> 

主库显示如下：

测试：就是在主库上set一个key，再到salve中get这个key，现在正常即可！！！

　　　　6.3、主从切换

当主库down机后需要提升从库为主库，执行一条命令！

　　7、reid集群

1、客户端分片  将Redis分片的工作放在业务程序端（最可靠的方法）

优点：实现方法和代码全部自己掌控，随时调整

缺点：手动迁移数据

2、Redis Cluster

缺点：客户端实现很少

3、代理分片：类似 mysql Proxy：twemproxy

缺点：不知道数据存在哪，生产基本不用！！！

tidb

https://github.com/CodisLabs/codis

Codis 优点：（第二种选法）

　　1、无缝迁移数据

　　2、有动态扩容和缩容的能力

　　　　缺点：

　　1、单线程

　　2、部分命令不支持：https://github.com/CodisLabs/codis/blob/release3.2/doc/unsupported_cmds.md