关于redis的pipline和lua脚本

linux 同时被 3 个专栏收录
130 篇文章 0 订阅
44 篇文章 0 订阅
12 篇文章 1 订阅

1.     关于redis命令执行方式的一点看法:

Redis命令执行时是串行的,在同一个连接上客户端发送一条命令,redis对这个命令进行操作然后返回结果,客户端只有接到这个结果之后才能发送下一条命令,例如:

 

如此串行的执行方式效率非常低,为此,redis引入了pipline,它可以让客户端依次发送一批命令过期,然后redis依次执行这些命令,并把这些命令的结果依次放入到一个list<object>里面一次返回给客户端,引入pipline之后,就可以在执行多条命令时减少redis客户端和redis服务端之间的网络交互次数,此时pipline里命令的执行过程就变成下面这样了:

由上面的描述可以看到,引入pipline之后,降低了多次命令-应答之间的网络交互次数,并不能缩小redis对每个命令的处理时间。

2.     那么什么时候使用pipline?什么时候使用lua呢

   当多个redis命令之间没有依赖、顺序关系(例如第二条命令依赖第一条命令的结果)时,建议使用pipline;如果命令之间有依赖或顺序关系时,pipline就无法使用,此时可以考虑才用lua脚本的方式来使用;

3.注意:

(1)Redis无法提供类似数据库那种具备ACID特性的事务操作,可以基本确认引入redis就一定无法保证操作的ACID特性;因此,在咱们开发过程中,要考虑实际的应用场景,如果场景本身对ACID特性要求不那么强烈就可以考虑引入reids,否则,就只能使用数据库;

(2)能不采用lua就尽量不要采用lua

4.关于redis使用的pipline例子

private ResultStr getFullMomentFromRedis(long callIndex, String userID, String momentId)
   {
      String logFlag = "DataProxy.getFullMomentFromRedis";
      //获取redis分片
      JedisClient jedisClient = m_dataCenter.getJedisClient(callIndex, momentId);
      if (jedisClient == null)
      {
          m_logger.error(String.format("[ci:%d]<%s>get jedis client by %s from data center fail", callIndex, logFlag, momentId));
          return new ResultStr(ThriftResult.NO_CONTENT, null);
      }
      // 程序走的这里,说明已经从redis中获userID.mt中获取到了动态的部分信息,剩下的评论、点赞等信息继续获取
      JSONObject aMomentInfo = null;

      // 使用pipline一次从redis中获取剩下的点赞,评论,映射关系等信息
      JedisClientPipline pipline = jedisClient.getPipline(callIndex);
      // 第1个要获取的信息是动态内容
      pipline.hget(userID + ".mt", momentId);
      // 第2个要获取的信息是动态和frepp映射关系
      pipline.get(momentId);
      // 第3个要获取的信息是动态的点赞
      pipline.zrevrange(momentId + ".like", 0, -1);
      // 第4个要获取的信息是动态的评论
      pipline.hgetAll(momentId + ".ct");

      // 获取pipline返回的结果,并将所用Jedis连接返回给连接池
      List<Object> piplineRes = pipline.syncAndReturnAll(false);
      
      //处理获取的第1项结果,动态内容
      if (piplineRes.get(0) != null && (piplineRes.get(0) instanceof String))
      {
          aMomentInfo = Utils.str2Json((String)piplineRes.get(0));// 将从frepp.mt中获取到的部分动态信息解析成JSON串
      }
      if (aMomentInfo == null)
      {
          m_logger.warn(String.format("[ci:%d][%s] fail! cann't parse string : %s to a JSON Object", callIndex, logFlag, (String)piplineRes.get(0)));
          return new ResultStr(ThriftResult.NO_CONTENT, null);
      }
      // 处理获取的第2项结果:动态和frepp的映射关系
      if (piplineRes.get(1) != null && (piplineRes.get(1) instanceof String))
      {
          JSONObject joMap = Utils.str2Json((String) piplineRes.get(1));
          if (joMap != null)
          {
             aMomentInfo.put("isvd", joMap.getBoolean("isvd"));
             aMomentInfo.put("userID", joMap.getLongValue("userID"));

          }
          else
             m_logger.warn(String.format("[ci:%d]<%s> fail! change String(moment->frepp) to JSON fail! String :%s", callIndex, logFlag,
                   piplineRes.get(1)));
      }

      // 处理获取的第3项结果:点赞的相关信息
      if (piplineRes.get(2) != null && (piplineRes.get(2) instanceof Set))
      {
          @SuppressWarnings("unchecked")
          Set<String> likers = (Set<String>) piplineRes.get(2);
          if (likers != null && likers.size() > 0)
             aMomentInfo.put("lks", piplineRes.get(2));
      }

      // 处理获取的第4项结果:评论的相关信息
      if (piplineRes.get(3) != null && (piplineRes.get(3) instanceof Map))
      {
          @SuppressWarnings("unchecked")
          Map<String, String> comments = (Map<String, String>) piplineRes.get(3);
          Set<String> commentIds = comments.keySet();
          JSONArray jaCommentList = new JSONArray();
          for (String aCommentId : commentIds)
          {
             String commentContent = comments.get(aCommentId);
             JSONObject joComment = Utils.str2Json(commentContent);
             if (joComment != null)
             {
                joComment.put("ctid", aCommentId);
                jaCommentList.add(joComment);
             }
             else
                m_logger.warn(String.format("[ci:%d]<%s> fail! change comment content to JSON fail! comment content :%s", callIndex, logFlag, commentContent));
          }
          if (jaCommentList.size() > 0)
             aMomentInfo.put("cts", jaCommentList);
      }
      
      // 设置userID和mtid字段
      aMomentInfo.put("mtid", Long.parseLong(momentId));
      return new ResultStr(ThriftResult.SUCCESS, aMomentInfo.toJSONString());
   }

下面是对redis的pipline相关操作的封装:

public class JedisClientPipline
	{
		private Pipeline m_pipline = null;
		Jedis m_jds = null;
		JedisPool m_jedisPool = null;
		public JedisClientPipline(JedisPool jedisPool, Jedis jds, Pipeline p)
		{
			m_pipline = p;
			m_jds = jds;
			m_jedisPool = jedisPool;
		}
		
		public boolean get(String key)
		{
			if(m_pipline == null)
				return false;
			m_pipline.get(key);
			return true;
		}
		
		public boolean hget(String key, String field)
		{
			if(m_pipline == null)
				return false;
			m_pipline.hget(key, field);
			return true;
		}
		
		public boolean zrevrange(String key, long start, long end)
		{
			if(m_pipline == null)
				return false;
			m_pipline.zrevrange(key, start, end);
			return true;
		}
		
		public boolean hgetAll(String key)
		{
			if(m_pipline == null)
				return false;
			m_pipline.hgetAll(key);
			return true;
		}
		
		/**
		 * @param boolean isBad 表示当前的管道所在的jedis连接是否坏掉
		 * */
		public List<Object> syncAndReturnAll(boolean isBad)
		{
			List<Object> res = null;
			try
			{
				if (m_pipline != null)
					res = m_pipline.syncAndReturnAll();
			}
			catch (Exception ex)
			{
				isBad = true;
			}
			//将jedis连接换到连接池中
			if(isBad)
				m_jedisPool.returnBrokenResource(m_jds);
			else
				m_jedisPool.returnResource(m_jds);
			
			return res;
		}
	}



  • 2
    点赞
  • 2
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
DirectX修复工具(DirectX Repair)是一款系统级工具软件,简便易用。本程序为绿色版,无需安装,可直接运行。 本程序的主要功能是检测当前系统的DirectX状态,如果发现异常则进行修复。程序主要针对0xc000007b问题设计,可以完美修复该问题。本程序中包含了最新版的DirectX redist(Jun2010),并且全部DX文件都有Microsoft的数字签名,安全放心。 本程序为了应对一般电脑用户的使用,采用了易用的一键式设计,只要点击主界面上的“检测并修复”按钮,程序就会自动完成校验、检测、下载、修复以及注册的全部功能,无需用户的介入,大大降低了使用难度。在常规修复过程中,程序还会自动检测DirectX加速状态,在异常时给予用户相应提示。 本程序适用于多个操作系统,如Windows XP(需先安装.NET 2.0,详情请参阅“致Windows XP用户.txt”文件)、Windows Vista、Windows 7、Windows 8、Windows 8.1、Windows 8.1 Update、Windows 10,同时兼容32位操作系统和64位操作系统。本程序会根据系统的不同,自动调整任务模式,无需用户进行设置。 本程序的V4.0版分为标准版、增强版以及在线修复版。所有版本都支持修复DirectX的功能,而增强版则额外支持修复c++的功能。在线修复版功能与标准版相同,但其所需的数据包需要在修复时自动下载。各个版本之间,主程序完全相同,只是其配套使用的数据包不同。因此,标准版和在线修复版可以通过补全扩展包的形式成为增强版。本程序自V3.5版起,自带扩展功能。只要在主界面的“工具”菜单下打开“选项”对话框,找到“扩展”标签,点击其中的“开始扩展”按钮即可。扩展过程需要Internet连接,扩展成功后新的数据包可自动生效。扩展用时根据网络速度不同而不同,最快仅需数秒,最慢需要数分钟,烦请耐心等待。如扩展失败,可点击“扩展”界面左上角小锁图标切换为加密连接,即可很大程度上避免因防火墙或其他原因导致的连接失败。 本程序自V2.0版起采用全新的底层程序架构,使用了异步多线程编程技术,使得检测、下载、修复单独进行,互不干扰,快速如飞。新程序更改了自我校验方式,因此使用新版本的程序时不会再出现自我校验失败的错误;但并非取消自我校验,因此程序安全性与之前版本相同,并未降低。 程序有更新系统c++功能。由于绝大多数软件运行时需要c++的支持,并且c++的异常也会导致0xc000007b错误,因此程序在检测修复的同时,也会根据需要更新系统中的c++组件。自V3.2版本开始使用了全新的c++扩展包,可以大幅提高工业软件修复成功的概率。修复c++的功能仅限于增强版,标准版及在线修复版在系统c++异常时(非丢失时)会提示用户使用增强版进行修复。除常规修复外,新版程序还支持C++强力修复功能。当常规修复无效时,可以到本程序的选项界面内开启强力修复功能,可大幅提高修复成功率。请注意,请仅在常规修复无效时再使用此功能。 程序有两种窗口样式。正常模式即默认样式,适合绝大多数用户使用。另有一种简约模式,此时窗口将只显示最基本的内容,修复会自动进行,修复完成10秒钟后会自动退出。该窗口样式可以使修复工作变得更加简单快速,同时方便其他软件、游戏将本程序内嵌,即可进行无需人工参与的快速修复。开启简约模式的方法是:打开程序所在目录下的“Settings.ini”文件(如果没有可以自己创建),将其中的“FormStyle”一项的值改为“Simple”并保存即可。 新版程序支持命令行运行模式。在命令行中调用本程序,可以在路径后直接添加命令进行相应的设置。常见的命令有7类,分别是设置语言的命令、设置窗口模式的命令,设置安全级别的命令、开启强力修复的命令、设置c++修复模式的命令、控制Direct加速的命令、显示版权信息的命令。具体命令名称可以通过“/help”或“/?”进行查询。 程序有高级筛选功能,开启该功能后用户可以自主选择要修复的文件,避免了其他不必要的修复工作。同时,也支持通过文件进行辅助筛选,只要在程序目录下建立“Filter.dat”文件,其中的每一行写一个需要修复文件的序号即可。该功能仅针对高级用户使用,并且必须在正常窗口模式下才有效(简约模式时无效)。 本程序有自动记录日志功能,可以记录每一次检测修复结果,方便在出现问题时,及时分析和查找原因,以便找到解决办法。 程序的“选项”对话框中包含了7项高级功能。点击"常规”选项卡可以调整程序的基本运行情况,包括日志记录、安全级别控制、调试模式开启等。只有开启调试模式后才能在C
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值