专家经验：消息队列要怎么选型？ 看这一篇就够了

专家经验：消息队列要怎么选型？ 看这一篇就够了

引用

CSDN

1.

https://blog.csdn.net/xingxuechao/article/details/143974562

本文主旨是回答如下两个问题：

问题1：我们为什么需要消息队列？

在实际项目开发过程中，面对高并发请求处理、系统间异步通信的需求，或是希望解耦服务以提升系统灵活性与可维护性时，引入消息队列就显得十分必要。比如，在电商大促活动中，短时间内订单量激增，直接冲击数据库可能造成系统崩溃；此时，利用消息队列作为缓冲，可以有效平滑流量峰值，保障系统的稳定运行。

紧接着，当我们决定采用消息队列解决方案后，另一个关键问题浮现出来：

问题2：如何选择适合自己的消息队列？

不同的消息队列产品如RocketMQ、Kafka等各有所长，适用于不同的业务场景。例如，对于追求极致性能和大规模数据处理能力的应用来说，Kafka可能是更好的选择；而如果更看重实时消息处理及事务支持，则RocketMQ或许更能满足需求。因此，根据自身业务特点来挑选合适的消息队列至关重要。

为了快速选型，我们要从应用场景出发，然后依托于应用场景，来选择最合适的消息队列

消息队列的应用场景介绍

在线交易

在线交易系统中，消息队列用于处理高并发请求、保证数据一致性以及实现异步处理。当用户进行支付或下单时，这些操作往往需要即时反馈给用户，并且还需要更新数据库中的库存等信息。使用消息队列可以将用户的请求放入队列中，后台服务按照一定顺序处理这些请求，这样即使短时间内涌入大量请求也不会导致系统崩溃。例如，在双十一这样的购物节期间，电商平台通过部署消息队列来缓冲高峰期产生的订单创建请求，确保了网站的稳定运行及良好的用户体验。

微服务

微服务体系架构下，不同服务之间通常需要高效地通信以完成复杂业务逻辑。消息队列在此扮演了关键角色，它允许服务间解耦，使得每个微服务都可以独立开发、部署和扩展。比如，在一个电商应用中，订单生成后可能需要通知库存服务减少相应商品数量、通知物流服务准备发货等。如果直接调用相关服务，则可能导致整个流程变得脆弱——一旦某个环节出现问题就会连锁反应影响其他部分。而利用消息队列作为中间件，则可以让各个服务专注于自己的职责范围，提高系统的整体健壮性和灵活性。

物联网场景

物联网（IoT）环境中存在着大量的设备与传感器，它们持续不断地产生海量数据流。如何有效地收集并处理这些数据成为了一大挑战。消息队列技术为解决这一问题提供了有效手段。通过建立合适的消息传递模型，可以实现设备状态监控、远程控制等功能。举个例子来说，智能家居系统中各种智能家电（如空调、冰箱）会定期发送其当前工作状况到云端服务器；同时，用户也可能从手机APP向特定设备下发指令。借助于MQTT协议等轻量级消息传输机制，可以方便快捷地建立起稳定可靠的双向通信渠道。

离线大数据处理

对于那些不需要实时响应但涉及大规模数据分析的任务来说，消息队列同样发挥着重要作用。这类任务通常包括日志分析、用户行为跟踪等方面。企业可以将待处理的数据写入消息队列，然后由专门的大数据处理框架（如Hadoop、Spark）读取并执行计算。这种方式不仅能够简化数据流转过程，还能充分利用分布式计算资源加速处理速度。以一家提供视频点播服务的公司为例，该公司每天都会产生TB级别的播放记录，通过Kafka集群收集这些日志信息，并定时触发MapReduce作业进行深度挖掘，从而帮助企业更好地理解观众偏好并优化推荐算法。

选型短列表：下面的消息队列在国内属于第一梯队：

Kafka

这款消息队列工具诞生于2011年的LinkedIn，主要用于日志采集和活动追踪等场景。随着大数据领域的迅猛发展，Kafka已成为许多实时数据架构中不可或缺的部分，用于处理数据缓冲与分发任务。其特点在于拥有极高的吞吐量同时保持较低的成本，并且具备强大的流处理能力，使得它在需要处理大量数据的场景下尤为受欢迎。

RabbitMQ

则起源于2006年，由英国的一家公司rabbit. Technology所创建，旨在通过提供一种可靠的消息队列解决方案来解决分布式系统中的通信问题。当时正值行业消息标准AMQP协议草案提出之际，因此RabbitMQ采用了该协议作为其核心通信机制之一，成为了市场上最早也最全面支持AMQP协议的产品之一。这赋予了RabbitMQ丰富的功能特性，包括但不限于灵活的消息过滤、异步RPC调用、事务支持以及定时消息等功能，非常适合应用于在线交易等对消息传递要求较高的业务场景。

RocketMQ

最初是在2012年由阿里巴巴内部孵化出来的一个项目，起初被称为MetaQ。由于阿里电商业务规模庞大且复杂多变，RocketMQ被设计用来满足各种互联网业务及多样化应用场景的需求，特别是那些对性能有着极高要求并且还需要丰富消息特性的场合。随着时间推移，RocketMQ不仅支持传统消息队列的功能，还实现了消息流一体化处理能力，能够很好地服务于IoT（物联网）领域。此外，RocketMQ也提供了云端一体化的支持，使其成为连接云上云下资源的理想选择。

选型 消息队列 要考虑哪些要素？

在选择消息队列时，针对不同的应用场景、功能特性和技术指标进行考量至关重要。

1）应用场景

首先要考虑应用场景，微服务架构中消息队列常被用来解耦服务间调用，提高系统的灵活性与可扩展性；在线交易场景下，通过使用分布式事务消息确保了数据的一致性，特别是在跨服务操作时更为重要；大数据处理领域，利用流处理能力结合消息过滤消费可以高效地实现对海量数据的实时分析；而在物联网环境中，MQTT协议的支持变得尤为关键，它能够保证设备间的低延迟通信且支持断线重连等特性。

2）功能特性 ：

队列模式和发布订阅模式为开发者提供了灵活的消息传递方式；定时消息与分布式事务消息增强了业务流程控制能力；消息过滤允许消费者仅接收感兴趣的消息，减轻了系统负担；广播消费则使得所有订阅者都能接收到每条发布的消息；此外，重试队列与死信队列的设计有助于提高消息处理的成功率及异常情况下的恢复能力。

3）技术指标：

技术指标建议是根据应用场景来做判定的，发送消息延迟以及端到端延迟直接影响用户体验，尤其在需要快速响应的服务中更为显著；单机吞吐量（TPS或MB/s）反映了系统处理大量并发请求的能力；弹性扩展能力意味着随着业务增长，消息队列能平滑地增加容量而不影响性能；同时，良好的消息堆积能力和冷读性能保证即使在网络拥堵或者服务器故障后也能迅速恢复正常运行状态；RTO（恢复时间目标）和RPO（恢复点目标）则是评估灾难恢复计划有效性的重要参数。

消息队列的场景化选型策略

在线交易、微服务、物联网场景：

建议选择RocketMQ。RocketMQ因其架构简单且功能丰富而受到众多企业开发者和云厂商的青睐，尤其适用于需要高可靠性和低延迟的实时消息处理任务。它不仅支持传统的发布/订阅模型，还能够很好地处理顺序消息、事务消息等复杂用例，并且具备出色的横向扩展能力。此外，RocketMQ对MQTT协议的支持使得它成为连接海量设备的理想选择之一。

离线大数据场景：

则更推荐使用Kafka。Kafka的设计初衷就是为了解决大规模数据流处理中的挑战，如日志收集、事件源系统等。其核心优势在于基于磁盘顺序写入与读取的方式优化了I/O操作效率，从而能够在保持较低硬件成本的同时实现非常高的吞吐量。Kafka拥有广泛的数据处理框架集成（如Spark、Flink），这使其成为了构建高效数据管道的强大工具。

当我们同时面临在线交易、微服务部署、IoT应用以及大数据分析需求时：

RocketMQ是一个相对更好的的综合解决方案。虽然它的底层存储机制与Kafka类似——都采用了追加写日志(AppendOnly Log)技术以确保高性能和低成本——但RocketMQ在设计上更加侧重于提供多样化的企业级特性，比如精确一次的消息传递语义保证、灵活的消息过滤选项等。因此，对于那些寻求单一平台来满足多种业务需求的企业来说，采用RocketMQ可以帮助简化架构复杂度并减少运营开销。

消息队列的客观横向对比

最后，

对于那些希望将精力集中在核心业务发展而非基础软件维护上的团队而言，直接选用成熟的云端消息队列服务可能是最佳路径。例如，阿里云提供的ApsaraMQ就是这样一个高度可用且易于管理的选择，它基于RocketMQ构建而成，提供了全面托管的消息传递体验，包括但不限于自动扩缩容、多地域部署支持等功能，有助于用户快速搭建起稳定可靠的通信基础设施。