黑马点评4 用Redis实现消息队列的三种方法

黑马点评4 用Redis实现消息队列的三种方法

引用

CSDN

1.

https://m.blog.csdn.net/Theodore_1022/article/details/146116938

在分布式系统中，消息队列是一种常用的数据交换和处理机制。Redis作为一款高性能的键值存储系统，不仅可以用于缓存，还可以实现多种类型的消息队列。本文将详细介绍使用Redis实现消息队列的三种方法：基于List类型、PubSub模式和Stream类型，帮助读者全面了解它们的实现原理、应用场景和优缺点。

一、什么是消息队列

简单的来说，消息队列就是存放消息的队列，最简单的消息队列包括三个模型

• 消息队列：存储和管理消息，也被称为消息代理（Message Broker）
• 生产者：发送消息到消息队列
• 消费者：从消息队列获取消息并处理消息

二、基于Redis的List类型实现消息队列

1.List消息队列

Redis的list数据结构是一个双向链表，很容易模拟出队列效果。队列是入口和出口不在一边，因此我们可以利用：LPUSH 结合 RPOP、或者 RPUSH 结合 LPOP来实现。 不过要注意的是，当队列中没有消息时RPOP或LPOP操作会返回null，并不像JVM的阻塞队列那样会阻塞并等待消息。因此这里应该使用BRPOP或者BLPOP来实现阻塞效果。

2.优点：

• 利用Redis存储，不受限于JVM内存上限（List是一个存储链表，当成消息队列运用）
• 基于Redis的持久化机制，数据安全性有保证
• 可以满足消息有序性（有序存储）

3.缺点：

• 无法避免消息丢失（消费者拿走消息后，未能处理好导致数据丢失）
• 只支持单消费者（一个消息被拿走之后，其他消费者拿不到消息，因为POP是获取并移除消息）

三、基于Reids的PubSub的消息队列

1.PubSub发布订阅消息模式

PubSub（发布订阅）是Redis2.0版本引入的消息传递模型。顾名思义，消费者可以订阅一个或多个channel，生产者向对应channel发送消息后，所有订阅者都能收到相关消息。

• SUBSCRIBE channel [channel] ：订阅一个或多个频道
• PUBLISH channel msg ：向一个频道发送消息
• PSUBSCRIBE pattern[pattern] ：订阅与pattern格式匹配的所有频道
  

2.优点：

• 采用发布订阅模型，支持多生产、多消费（消费者可以自定义订阅消息）

3.缺点：

• 不支持数据持久化（消息不回保存在redis中）
• 无法避免消息丢失（无人订阅直接销毁）
• 消息堆积有上限，超出时数据丢失（有消费者订阅的话，会缓存到消费者那里，空间有限）
• 不适合可靠性要求高的消息模式

四、基于Redis的Stream的消息队列

1.Steam消息队列的单消费模式

Stream 是 Redis 5.0 引入的一种新数据类型，可以实现一个功能非常完善的消息队列。

2.相关命令及用法

• XADD key 自动创建队列 队列最大消息数 消息id 字段1 信息1......
• XREAD 读取消息数量 阻塞时长 STREAMS 队列名 起始消息id
• 在业务开发中，我们可以循环的调用XREAD阻塞方式来查询最新消息，从而实现持续监听队列的效果

3.优缺点

STREAM类型消息队列的XREAD命令特点：

• 消息可回溯（消息读完不会被删除，永久保存在队列当中）
• 一个消息可以被多个消费者读取（原因同上）
• 可以阻塞读取（可以设置阻塞时间，利用while（true）循环读取）
  有消息漏读的风险（若使用$为id读取最新消息时，当有很多新消息同时发送，只能获取一条消息）

五、基于Stream的消息队列-消费者组

1.Steam消费者组

消费者组（Consumer Group）：将多个消费者划分到一个组中，监听同一个队列。具备下列特点：

2.相关命令

创建消费者组
XGROUP CREAT key groupName ID [MKSTREAM]

删除指定的消费者组

XGROUP DESTORY key groupName

给指定的消费者组添加消费者

XGROUP CREATECONSUMER key groupname consumername

删除消费者组中的指定消费者

XGROUP DELCONSUMER key groupname consumername

从消费者组读取消息

XREADGROUP GROUP group consumer [COUNT count] [BLOCK milliseconds] [NOACK] STREAMS key [key ...] ID [ID ...]

• group：消费组名称
• consumer：消费者名称，如果消费者不存在，会自动创建一个消费者
• count：本次查询的最大数量
• BLOCK milliseconds：当没有消息时最长等待时间
• NOACK：无需手动ACK，获取到消息后自动确认
• STREAMS key：指定队列名称
• ID：获取消息的起始ID
• ">"：从下一个未消费的消息开始
• 其它：根据指定id从pending-list中获取已消费但未确认的消息，例如0，是从pending-list中的第一个消息开始

3.优缺点

• 消息可回溯（不删除）
• 可以多消费者争抢消息，加快消费速度（多消费者抢用消息）
• 可以阻塞读取（循环阻塞读取）
• 没有消息漏读的风险（标记上一次消费信息）
• 有消息确认机制，保证消息至少被消费一次（确认消息是否消费情况）

六、三种类型对比