02 7-100 redis.txt

1 安装redis
	选择eshop-cache01安装（如果有时候打开虚拟机发现没有网址，可以看看路由器上是不是对应网址已经被别的机器占用了，给他关了就好）
	1.1 安装一个环境（可以直接下载wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz，，这里已经有文件了：E:\笔记积累\编程Blog\1.工具集合\tcl8.6.1-src.tar.gz）
		将上述文件放入/
		tar -xzvf tcl8.6.1-src.tar.gz		解压缩
		cd  /usr/local/tcl8.6.1/unix/		进入目
		./configure  
		make && make instal
	1.2 使用redis-3.2.8.tar.gz（和上面的在一个目录下）
		tar -zxvf redis-3.2.8.tar.gz
		cd redis-3.2.8
		make && make test && make install
	1.3 安装好以后，我们要把redis作为一个系统的daemon进程去运行，这样可以跟随系统启动
		cd /etc/init.d/	
		mv redis_init_script redis_6379	在redis的utils目录下有一个redis_init_script脚本，把他复制出来，用winscp再复制到/etc/init.d目录下，并重命名为redis_6379
		vi redis_6379	修改redis_6379脚本的第6行的REDISPORT，设置为相同的端口号（一般文件默认就是6379，如果不是要改一下）。使redis实例监听6379端口（见文件E:\笔记积累\编程Blog\1.工具集合\redis_6379）
		mkdir redis		在etc下创建redis文件夹，用来存放redis的配置文件 /etc/redis
		mkdir 6379		在var下创建/var/redis/6379，存放redis的持久化文件 /var/redis/6379
	1.4 修改redis配置文件（默认在根目录下，redis.conf），拷贝到/etc/redis目录中，修改名称为6379.conf		（见文件E:\笔记积累\编程Blog\1.工具集合\6379.conf）
			修改以下配置：
				daemonize	yes							让redis以daemon进程运行
				pidfile		/var/run/redis_6379.pid 	设置redis的pid文件位置
				port		6379						设置redis的监听端口号
				dir 		/var/redis/6379					设置持久化文件的存储位置
	1.5 在redis_6379脚本中，最上面，加入两行注释	（之前提供的文件中已经加上了）
		# chkconfig:   2345 90 10
		# description:  Redis is a persistent key-value database
		chkconfig redis_6379 on	进入init.d文件夹，执行该语句，这样以后redis就会开机自动启动了
	1.6 使用redis cli
		进入文件夹/usr/local/redis-...
		redis-cli shutdown		连接本机的6379端口停止redis进程
								cd /etc/init.d/
								./redis_6379 start		重新启动
		redis-cli -h 127.0.0.1 -p 6379 SHUTDOWN	指定要连接的ip和端口号
		redis-cli PING			ping redis的端口，看是否正常。会返回pong
		redis-cli				进入交互式命令行		
		set k1 v1		
		get k1

2 redis持久化
	2.1 RDB和AOF
		RDB：对redis中数据周期性进行持久化
		AOF：AOF机制对每条写入命令作为日志，以append-only的模式写入一个日志文件中，在redis重启的时候，可以通过回放AOF日志中的写入指令来重新构建整个数据集
			AOF的操作：现在操作系统中(如linux)，写文件不是直接写磁盘，会先写到os cache，然后到一定时间再从os cache到disk file。redis每隔一秒调用一次操作系统fsync操作，强制将os cache中的数据刷入磁盘文件中
			AOF的rewrite原理：aof文件不会越来越大。当redis中的数据大小超过了设置的限定以后，会使用LRU清除算法将最不经常使用的数据从内存中删除，同时继续写入aof文件。当aof变得更大的时候，redis会基于内存中最新的数据构建新的aof文件并删除旧的，毕竟有很多数据已经没用了。
		如果我们想要redis仅仅作为纯内存的缓存来用，那么可以禁止RDB和AOF所有的持久化机制。redis重启的时候，会优先使用AOF来重新构建数据，因为AOF中的数据更加完整
	2.2 对比
		RDB优点：
			RDB会生成多个数据文件，每个数据文件都代表了某一个时刻中redis的数据，这种多个数据文件的方式，非常适合做冷备，可以将这种完整的数据文件发送到一些远程的安全存储上去，比如说Amazon的S3云服务上去，在国内可以是阿里云的ODPS分布式存储上，以预定好的备份策略来定期备份redis中的数据
				RDB也可以做冷备，生成多个文件，每个文件都代表了某一个时刻的完整的数据快照
				AOF也可以做冷备，只有一个文件，但是你可以，每隔一定时间，去copy一份这个文件出来

				RDB做冷备的优势：由redis去控制固定时长生成快照文件的事情，比较方便; AOF，还需要自己写一些脚本去做这个事情，各种定时
				RDB数据做冷备，在最坏的情况下，提供数据恢复的时候，速度比AOF快
			RDB对redis对外提供的读写服务，影响非常小，可以让redis保持高性能，因为redis主进程只需要fork一个子进程，让子进程执行磁盘IO操作来进行RDB持久化即可
				RDB，每次写都是直接写redis内存，只是在一定的时候，才会将数据写入磁盘中
				AOF，每次都是要写文件的，虽然可以快速写入os cache中，但是还是有一定的时间开销的，速度肯定比RDB略慢一些
			相对于AOF持久化机制来说，直接基于RDB数据文件来重启和恢复redis进程，更加快速
				AOF，存放的指令日志，做数据恢复的时候，需要回放和执行所有的指令日志，来恢复出来内存中的所有数据
				RDB，就是一份数据文件，恢复的时候直接加载到内存中即可
				
			结合上述优点，RDB特别适合做冷备份，冷备

		RDB缺点：
			如果想要在redis故障时，尽可能少的丢失数据，那么RDB没有AOF好。
				一般RDB数据快照文件，都是每隔5分钟，或者更长时间生成一次。这个时候一旦redis进程宕机，就会丢失最近5分钟的数据。这是rdb最大的缺点，就是不适合做第一优先的恢复方案，如果依赖RDB做第一优先恢复方案，会导致数据丢失的比较多
			RDB每次在fork子进程来执行RDB快照数据文件生成的时候，如果数据文件特别大，可能会导致对客户端提供的服务暂停数毫秒，或者甚至数秒
				一般不要让RDB的间隔太长，否则每次生成的RDB文件太大，对redis本身的性能可能会有影响的

		AOF优点：
			AOF可以更好的保护数据不丢失，一般AOF会每隔1秒，通过一个后台线程执行一次fsync操作，保证os cache中的数据写入磁盘中，最多丢失1秒钟的数据
			AOF日志文件以append-only模式写入，所以没有任何磁盘寻址的开销，写入性能非常高，而且文件不容易破损，即使文件尾部破损，也很容易修复
			AOF日志文件即使过大的时候，出现后台重写操作，也不会影响客户端的读写。因为在rewrite log的时候，会对其中的指令进行压缩，创建出一份需要恢复数据的最小日志出来。再创建新日志文件的时候，老的日志文件还是照常写入。当新的merge后的日志文件ready的时候，再交换新老日志文件即可。
			AOF日志文件的命令通过非常可读的方式进行记录，这个特性非常适合做灾难性的误删除的紧急恢复。比如某人不小心用flushall命令清空了所有数据，只要这个时候后台rewrite还没有发生，那么就可以立即拷贝AOF文件，将最后一条flushall命令给删了，然后再将该AOF文件放回去，就可以通过恢复机制，自动恢复所有数据

		AOF缺点：
			对于同一份数据来说，AOF日志文件通常比RDB数据快照文件更大
			AOF开启后，支持的写QPS会比RDB支持的写QPS低，因为AOF一般会配置成每秒fsync一次日志文件，当然这样性能也还是很高的。如果要保证一条数据都不丢也是可以的，AOF的fsync设置成没写入一条数据，但是redis的QPS大降
			以前AOF发生过bug，就是通过AOF记录的日志，进行数据恢复的时候，没有恢复一模一样的数据出来。所以说，类似AOF这种较为复杂的基于命令日志/merge/回放的方式，比基于RDB每次持久化一份完整的数据快照文件的方式，更加脆弱一些，容易有bug。不过AOF就是为了避免rewrite过程导致的bug，因此每次rewrite并不是基于旧的指令日志进行merge的，而是基于当时内存中的数据进行指令的重新构建，这样健壮性会好很多。
			唯一的比较大的缺点：做数据恢复的时候，会比较慢，还有做冷备，定期的备份，不太方便，可能要自己手写复杂的脚本去做，做冷备不太合适

		RDB和AOF到底该如何选择
			不要仅仅使用RDB，因为那样会导致你丢失很多数据
			也不要仅仅使用AOF，第一，AOF做冷备，没有RDB做冷备的恢复速度更快; 第二，RDB每次简单粗暴生成数据快照，更加健壮，可以避免AOF这种复杂的备份和恢复机制的bug
			综合使用AOF和RDB两种持久化机制，用AOF来保证数据不丢失，作为数据恢复的第一选择; 用RDB来做不同程度的冷备，在AOF文件都丢失或损坏不可用的时候，还可以使用RDB来进行快速的数据恢复
	2.3 配置和试验（视频11）
		2.3.1 在redis.conf文件，也就是/etc/redis/6379.conf，去配置持久化
			save 60 1000 表示每隔60s，如果有超过1000个key发生了变更，那么就生成一个新的dump.rdb文件，就是当前redis内存中完整的数据快照，这个操作也被称之为snapshotting，快照
			也可以手动调用save或者bgsave命令，同步或异步执行rdb快照生成
			save可以设置多个，就是多个snapshotting检查点，每到一个检查点，就会去check一下，是否有指定的key数量发生了变更，如果有，就生成一个新的dump.rdb文件
		2.3.2 工作流程
			redis根据配置自己尝试去生成rdb快照文件，fork一个子进程，子进程尝试将数据dump到临时的rdb快照文件中，完成rdb快照文件的生成之后，就替换之前的旧的快照文件dump.rdb
		2.3.3 试验
			cd /usr/local/redis-3.2.8/	进入redis目录
			redis-cli 					进入redis
			set k1 v1					设置三个键值对
			set k2 v2
			set k3 v3
			get k1						获取k1 得到v1
			exit							退出redis
			redis-cli shutdown			使用shutdown停掉redis
			ps -ef|grep redis			看看进程，redis已经被杀掉了
			cd /etc/init.d/				进入启动命令文件夹
			./redis_6379 start			重新启动redis
			cd /usr/local/redis-3.2.8/	回到redis目录进入redis
			redis-cli 
			get k1						仍然可以get到k1		通过redis-cli SHUTDOWN这种方式去停掉redis，其实是一种安全退出的模式，redis在退出的时候会将内存中的数据立即生成一份完整的rdb快照。文件可以在/var/redis/6379/dump.rdb中看到，里面有redis自己的信息以及键值对的信息
			
			set k4 v4					再添加一个键值对k4
			ps -ef|grep redis			找到redis的pid
			kill -9 32268				直接删除进程，模拟粗暴的杀掉redis（此时的dump文件其实已经不包含k4的键值对了）
			cd /var/run/				删掉以后进入该目录下，有一个pid文件，直接将他删掉（不然无法重新启动redis，显示进程仍存在）
			rm -rf redis_6379.pid		
			./redis_6379 start
			cd /usr/local/redis-3.2.8/
			redis-cli 
			get k4						再次启动并进入redis以后，无法get到k4了（可以手动设置一个save检查点，save 5 1，这样就能及时生成dump文件了）