后端程序员必会:并发情况下redis-lua保证原子操作

后端程序员必会:并发情况下redis-lua保证原子操作

技术杂谈小彩虹2021-07-09 5:11:1780A+A-

前言

本文主要是分享在实际工作中同事遇到的问题案例;活动组在做活动时,开发人员未考虑到接口并发场景,导致因为一些用户在实际抽奖(土豪一般都是狂抽)过程中对余额产生了增加/减少的操作,导致缓存的余额出现异常;通过我review代码发现,开发者在更新缓存时:先get后set或者incrby,导致并发场景下get的值是一致的,所以缓存异常。

那么针对这种我进行了改进使用:redis+lua脚本实现原子性保证余额数据正常。本文将跟大家一起学习Redis使用lua脚本的应用:

    1. 为什么引入Lua
    1. 什么是Lua
    1. 主要优势
    1. 基本用法
    1. 实战讲解
    1. 脚本的安全性

Redis中为什么引入Lua脚本?

Redis是高性能的key-value内存数据库,它帮助我们解决了大部分业务问题;提供丰富的指令集合,据官网上统计有200多个命令。这些命令显然已经满足了我们的常规的业务场景需求。但是在某些特殊的场景下,业务需要原子性操作,redis原有的命令是无法完成,所以需要额外开发实现原子操作。

因为这样的问题,Redis为开发者提供了lua脚本的支持,用户可以向服务器发送lua脚本来执行自定义动作,以此获取脚本的响应数据。Redis本身又是单线程执行lua脚本,保证了lua脚本在处理逻辑过程中不会被任意其它请求打断

什么是Lua

Lua是一种轻量小巧脚本语言,用标准C语言编写并以源代码形式开放。

其设计目的就是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。因为广泛的应用于:游戏开发、独立应用脚本、Web 应用脚本、扩展和数据库插件等。

比如:Lua脚本用在很多游戏上,主要是Lua脚本可以嵌入到其他程序中运行,游戏升级的时候,可以直接升级脚本,而不用重新安装游戏。

小伙们可以查看我lua从入门到实战专栏

专栏已经在计划中出教程了,虽然看似写的内容比较简单,但是需要注重细节地方;lua语言往往在项目中出问题基本上细节较多。

主要优势

可使用版本:从 Redis 2.6.0 版本开始起;可通过内置的 Lua 解释器,可以使用 EVAL 命令对 Lua 脚本进行执行。

时间复杂度:根据脚本的复杂度而定(脚本尽量简洁)。

使用Lua脚本的好处

### 共有三条优势

① 支持原子性操作 - Redis会将整个脚本作为一个整体执行,中间不会被其他请求插入。因此在脚本运行过程中无需担心会出现竞态条件,无需使用事务

② 降低网络开销 - 将多个请求通过脚本的形式一次发送到服务器,减少了网络的时延

③ 脚本复用    - 客户端发送的脚本可支持永久存在redis中,这样其他客户端可以复用这一脚本,而不需要使用代码完成相同的逻辑。

基本用法

Eval命令的基本语法如下:

## 命令格式
redis 127.0.0.1:6379> EVAL script numkeys key [key ...] arg [arg ...]

### 参数说明

① script Lua 5.1版本以上脚本程序,它会被运行在Redis服务器上下文中,这段脚本不必(也不应该)定义为一个 Lua函数。

② numkeys 指用于指定键名参数的个数

③ key [key ...] 指要操作的键名,可以指定多个,在lua脚本中通过KEYS[1], KEYS[2]获取

④ arg [arg ...] 指附加参数,在lua脚本中通过全局变量 ARGV 数组访问;例如:ARGV[1], ARGV[2]

① 实例实现方式之一:

### 既有key键也有附加参数
127.0.0.1:6379> eval "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 value1 value2
1) "key1"
2) "key2"
3) "value1"
4) "value2"

### 只有附加参数
127.0.0.1:6379> eval "return {ARGV[1],ARGV[2]}" 0 'hello!' 'my name is amumu'
1) "hello!"
2) "my name is amumu"

### 注意

{} 在lua里是指数据类型table,同样类似常说的数组格式

② 实例实现方式之二:

### lua脚本中,可使用两个不同函数来执行redis命令

① redis.call()
    -- 正确的设置方式 设置amumu值为1000 60s过期  
    127.0.0.1:6379> eval "redis.call('SET', KEYS[1], ARGV[1]);redis.call('EXPIRE', KEYS[1], ARGV[2]); return 1;" 1 amumu 1000 60
    (integer) 1
    127.0.0.1:6379> get amumu -- 设置成功
    "1000"
    127.0.0.1:6379> ttl amumu -- 剩余存活时间
    (integer) 49
    127.0.0.1:6379> ttl amumu -- 已经过期
    (integer) -2
    
    -- 出现报错的情况
    127.0.0.1:6379> eval "redis.call('SET', KEYS[1], ARGV[1]);redis.call('EXPIRE', KEYS[1], ARGV[2]); return 1;" 0 amumu 1000 60
    (error) ERR Error running script (call to f_6aeea4b3e96171ef835a78178fceadf1a5dbe345): @user_script:1: @user_script: 1: Lua redis() command arguments must be strings or integers

② redis.pcall()
    -- 正确的设置方式 获取amumu缓存值
    127.0.0.1:6379> EVAL "return redis.pcall('GET', KEYS[1])" 1 amumu
    "1000"
    
    -- 出现报错的情况
    
    127.0.0.1:6379> EVAL "return redis.pcall('GET', KEYS[1])" 0 amumu
    (error) @user_script: 1: Lua redis() command arguments must be strings or integers

从上面的报错情况可以看出来:redis.call() 和 redis.pcall() 的唯一区别在于它们对错误处理的不同

  • redis.call()在执行命令的过程中发生错误时,脚本会直接停止执行,并返回一个脚本错误,会告诉你造成错误的原因

  • redis.pcall()执行中出错时并不引发致命错误,而是返回一个带err域的Lua表,展示结果

127.0.0.1:6379>  eval 'local dt = redis.pcall("HGETALL", KEYS[1]); local res = {type(dt)}; for i, v in ipairs(dt) do res[#res+1] = i; res[#res+1] = v; end; return res' 0
1) "table"

③ 实例实现方式之三

## 在命令行里使用

127.0.0.1:6379> redis-cli --eval lua_filenames key1 key2 , arg1 arg2 ...

### 各单位请注意eval命令的后面参数是lua脚本文件,需要完整的文件名;例如hello.lua

② 跟前两种方式不一样的地方,不需要指定numkeys个数,而是使用,(英文逗号)隔开;注意,前后有空格。

演示示例如下:

## test.lua文件

-- 获取缓存key
local _key = KEYS[1]
-- 获取设置的值
local _val = ARGV[1]

-- 获取缓存已经存在的值
local result = redis.call('GET', _key);  
result = result and result or ""

-- 定义返回的结果变量
local text = ''
if result == '' then
    return text
else
    text = result .. _val
    redis.call('SET', _key, text)
end

return text

开始命令行运行lua脚本文件,如下图:

-- 第一次设置缓存未有值 所以返回了null
➜  ~ redis-cli --raw --eval Desktop/test.lua lua:test , '欢迎关注我的lua专栏!'

-- 设置默认值
➜  ~ redis-cli set lua:test '大家好,我是阿沐!'
OK

➜  ~ redis-cli --raw --eval Desktop/test.lua lua:test , '欢迎关注我的lua专栏!'
大家好,我是阿沐!欢迎关注我的lua专栏!

➜  ~ redis-cli --raw --eval Desktop/test.lua lua:test , '热衷于通过项目实战经验分享!'
大家好,我是阿沐!欢迎关注我的lua专栏!热衷于通过项目实战经验分享!

➜  ~ redis-cli --raw --eval Desktop/test.lua lua:test , '请一定要仔细阅读,注意点很重要!'
大家好,我是阿沐!欢迎关注我的lua专栏!热衷于通过项目实战经验分享!请一定要仔细阅读,注意点很重要!

### 注意

实际上我们在正常开发过程,可能不会采用此方法,更多的还是在,项目里使用还是以脚本方式写入;

这里只是告诉大家有多种执行方式

实战实例:

<?php
$script = <<<EOF local _key = KEYS[1] local _val = ARGV[1] local result = redis.call('GET', _key); result = result and result or "" local text = '' if result == '' then return text else text = result .. _val redis.call('SET', _key, text) end return text EOF;

// 获取传过来的变量
$text = isset($argv[1]) ? $argv[1] : '';
$redis = new \Redis();
$redis->connect('127.0.0.1', 6379);
$result = $redis->eval($script, array("lua:test", $text), 1);
echo $result;

### 执行结果集
➜ ~ /usr/local/opt/php@7.2/bin/php index.php

➜ ~ redis-cli set lua:test '大家好,我是阿沐!'
OK
➜  Desktop /usr/local/opt/php@7.2/bin/php index.php '欢迎关注我的lua专栏!'
大家好,我是阿沐!欢迎关注我的lua专栏!

参数说明:

Redis::eval(string script, [array keys], int keys_nums)

### 解析参数

① ::eval 执行命令

② script 要执行的lua脚本 

③ keys 是指key值

④ keys_nums 参数为KEYS的个数,用来区分KEYS和ARGV

④ lua脚本加载到脚本缓存-evalsha

原因如下:

  • ① 生成环境下,如果使用evalsha会比eval发送更小的数据包,占用更少的网络资源;

  • ② eval每次都需要把脚本完整发送给redis,而evalsha只需要传递一个sha1值即可完成

检测指定sha1是否已经存在:

## 基本命令
-- 指定一个或多个脚本的sha1校验和,返回一个结果集含有0和1的列表(tab),表示校验和所指定的脚本是否已经被保存在缓存当中
script exists sha1 [sha1 ...] 

## 说明:
① redis版本号:必须大于等于 2.6.0

② 时间复杂度: O(n),n为给定的sha1校验和的数量

③ 结果集: 一个列表返回;0-不存在缓存中;2-存在缓存中;列表值跟结果集一一对应

演示示例:

-- 检测sha1是否存在
127.0.0.1:6379> script exists 'b3e2eb6aa7bdb29e60f32cd153612a2887164b70'
1) (integer) 0

-- 设置sha1值
127.0.0.1:6379> script load "return redis.call('get', 'lua:test')"
"b3e2eb6aa7bdb29e60f32cd153612a2887164b70"

-- 这时已经存在
127.0.0.1:6379> script exists 'b3e2eb6aa7bdb29e60f32cd153612a2887164b70'
1) (integer) 1

-- 获取多个返回列表 
127.0.0.1:6379> script exists 'b3e2eb6aa7bdb29e60f32cd153612a2887164b70' 'd1cb717b6f16ad4e798430f98c31bc449222b946'
1) (integer) 1
2) (integer) 0

根据sha1值使用evalsha执行脚本:

## 基础执行命令

-- 根据给定的 sha1 校验码,执行缓存在服务器中的脚本
evalsha sha1 numkeys key [key ...] arg [arg ...]

### 参数说明:

① sha1     通过上面 script load 生成的 sha1 校验码

② numkeys  指定键名参数的个数

③ key      redis的键名

④ arg      附加参数,就是附带进入脚本的变量值

演示示例:(使用时要注意,并不是所有的脚本都适合缓存,造成不必要的内存浪费)

➜ ~ redis-cli --raw evalsha b3e2eb6aa7bdb29e60f32cd153612a2887164b70 0
大家好,我是阿沐!欢迎关注我的lua专栏!

⑤ 脚本日志

有的时候我们脚本出问题了,但是并不知道到底是因为那一行代码或者变量不对导致脚本中断;我想大部分开发都会急躁,更有甚至者调试了半天一直看不出问题,会口吐芬芳等等。其实,在实际开发过程中,我们找不到问题所在的时候,一定要多打日志,我们只有通过日志才能更好地找到问题所在,而不是一味的抱怨,抱怨解决不了任何问题。

Lua脚本中,可以通过调用 redis.log 函数来将错误信息写入 Redis 日志(log),命令如下:

redis.log(loglevel, message)

### 参数说明

① loglevel  错误等级,跟我们平常开发一样,bug、提示、警告等等

② message   错误信息,跟我们平常开发异常抛出信息一致

其中 loglevel 参数可以是以下任意一个值:

redis.LOG_DEBUG     -- 会打印生成大量信息,适用于开发/测试阶段

redis.LOG_VERBOSE   -- 包含很多不太有用的信息,但是不像debug级别那么混乱

redis.LOG_NOTICE    -- 适度冗长,适用于生产环境

redis.LOG_WARNING   -- 仅记录非常重要、关键的警告消息

注意:只有设置的错误等级大于等于redis实例日志等级才会被记录下来

演示示例:

27.0.0.1:6379>  eval 'redis.log(redis.LOG_WARNING, "Something is wrong with this script.")' 0
(nil)

-- 在redis的日志文件中查看:
1174:M 30 May 18:09:20.347 # Something is wrong with this script.

PS:这个通过日志来看脚本问题,还是比较重要的,如果不能一眼看出你脚本问题,那么请尽量的保证你多打点日志查问题。

实战讲解

###  lua语言中如何实现原子脚本

package.path = package.path..";~/redis-lua/src/?.lua"  --redis.lua所在目录

local json_encode = require "cjson" .encode
local redis = require("redis")

local reds, err = redis.connect('127.0.0.1',6379)

--- lua脚本检测当前缓存值是否已 溢出 未溢出累加 否则 计算应增加多少值
local _introduce_myself = [[ local _key = KEYS[1] local cnt = ARGV[1] local limit = ARGV[2] local currnt_cnt = redis.call('GET', _key) currnt_cnt = tonumber(currnt_cnt) or 0 limit = tonumber(limit) or 0 cnt = tonumber(cnt) or 0 local ret = {"num", 0 ,"score", 0} if currnt_cnt < limit then local res = currnt_cnt + cnt if res >= limit then local diff = limit - currnt_cnt redis.call('INCRBY', _key, diff) ret[2] = limit ret[4] = diff else redis.call('INCRBY', _key, cnt) ret[2] = cnt end end return ret ]]

-- 执行lua脚本 
function execute_script()
    local key   = 'lua:test' -- 缓存key
    local count = 500        -- 每次增加数量
    local limit = 1000       -- 限制总数溢出情况
    
    -- 执行脚本 更改执行缓存值,保证不超过限制的最大值 溢出则丢弃 
    local res , err = reds:eval(_introduce_myself, 1, key, count, limit)

    print(json_encode(res))
end

execute_script() -- 调用execute_script脚本函数

lua脚本的安全问题

根据官方所说:lua脚本内部变量禁止产生随机参数,如果在集群环境下,存在多主多从节点;当master节点执行完脚本以后,slave节点会同样执行该脚本。

一旦脚本内部含有随机值这种,就可能导致主从数据不一致;所以lua脚本会严格限制所有的脚本都无副作用

Redis 对 Lua 环境做了一些列相应的措施:

① 不提供访问系统状态状态的库

② 禁止使用 loadfile 函数

③ 禁止出现随机性质命令

参考文档

redisbook.readthedocs.io/en/latest/f… - 主要看脚本的安全性

各单位请注意:《Lua语言从入门到实战》已经悄悄地进行中了!

点击这里复制本文地址 以上内容由权冠洲的博客整理呈现,请务必在转载分享时注明本文地址!如对内容有疑问,请联系我们,谢谢!

支持Ctrl+Enter提交

联系我们| 本站介绍| 留言建议 | 交换友链 | 域名展示
本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除

权冠洲的博客 © All Rights Reserved.  Copyright quanguanzhou.top All Rights Reserved
苏公网安备 32030302000848号   苏ICP备20033101号-1

联系我们