当前位置: 首页 > news >正文

消息队列技术的发展历史

在这里插入图片描述

消息队列技术的演进历程宛如一幅波澜壮阔的科技画卷,历经多个标志性阶段,各阶段紧密贴合不同的技术需求与市场风向,下面为您详细道来。

第一阶段:消息中间件的起源(1970 年代末期 - 1980 年代中期)

在计算机发展的早期,硬件资源极度匮乏,运算能力和存储容量都极为受限。1970 年代末期,消息队列技术悄然萌芽,最初聚焦于管理主机之间的打印作业。彼时,大型企业办公场景下,仅有的几台大型主机承担着核心运算任务,打印机作为稀缺资源,众多部门员工的打印请求若无序涌入,极易引发混乱。早期的消息队列机制恰似一位有条不紊的调度员,将不同用户的打印请求依次排队,有序输送给打印机,保障打印流程顺畅无阻。

到了 1980 年代初期至中期,随着计算机网络逐步搭建,分布式系统概念崭露头角,消息队列技术顺势拓展,成为分布式系统里不可或缺的标准组件。以企业内部电子邮件系统为例,当时网络带宽狭窄,服务器性能欠佳,Sendmail 这类邮件传输代理借助简单的消息队列机制,把用户撰写好的邮件先排入队列等待,再按序逐个发送,有效避免因大量并发发送请求致使系统崩溃,让邮件传输更趋稳定、有序。

第二阶段:消息代理的演进(1980 年代后期 - 2000 年代初期)

自 1980 年代后期起,企业数字化转型加速,业务复杂度与数据量呈指数级攀升,简单的消息排队机制已难以满足精细化运作需求,消息队列由此开启向功能丰富的消息代理的进阶之旅,这一进程贯穿 2000 年代初期。

在企业级应用领域,伴随企业规模扩张,部门间数据交互愈发频繁复杂。传统制造业的供应链管理系统便是典型例证,采购、生产、销售部门的数据需实时共享协同。TIBCO Rendezvous 这款消息代理软件大放异彩,凭借可靠的消息持久化功能,生产订单数据从销售端传来后,即便系统遭遇短暂故障,TIBCO Rendezvous 也能将数据持久存储,保障生产流程无缝衔接。

金融行业也不例外,银行转账汇款业务每日需处理海量交易信息。IBM MQ 作为经典消息代理解决方案,具备强大的消息路由与过滤能力,不同分行、不同业务类型的交易请求进入 IBM MQ 后,能依据预设规则精准路由至对应处理模块,同时剔除无效或重复请求,显著提升业务处理效率与精准度。

航空业票务预订系统同样受益,BEA WebLogic JMS 发挥关键作用。彼时全球航空客流量攀升,票务预订系统面临高并发的预订、改签、退票请求,BEA WebLogic JMS 通过成熟的发布/订阅模型,及时推送票务信息更新至售票终端、线上平台及合作伙伴,确保票务数据实时性与一致性,满足乘客购票需求。

示例代码如下,用 Java 和 IBM MQ 实现简单消息发送:

import com.ibm.mq.MQException;
import com.ibm.mq.MQMessage;
import com.ibm.mq.MQPutMessageOptions;
import com.ibm.mq.MQQueue;
import com.ibm.mq.MQQueueManager;public class Main {public static void main(String[] args) {try {MQQueueManager qmgr = new MQQueueManager("QMGR_NAME");int openOptions = MQC.MQOO_OUTPUT;MQQueue queue = qmgr.accessQueue("QUEUE_NAME", openOptions);MQMessage message = new MQMessage();message.writeUTF("Sample transaction message");MQPutMessageOptions pmo = new MQPutMessageOptions();queue.put(message, pmo);queue.close();qmgr.disconnect();} catch (MQException | java.io.IOException e) {e.printStackTrace();}}
}

此阶段的消息代理软件,为后续进阶技术筑牢根基,凸显消息队列在复杂业务场景下解耦、增效与保障可靠性的巨大潜力。

第三阶段:事件流平台的发展(2000 年代中期 - 2010 年代中期)

步入 2000 年代中期,大数据与物联网技术蓬勃兴起,事件驱动架构渐成热门趋势,消息队列加速演变为事件流平台,这一变革延续至 2010 年代中期。

在物联网场景里,智慧城市建设催生海量传感器数据处理需求。城市环境监测系统中,遍布角落的温度、湿度、空气质量传感器持续产出海量数据。Apache Kafka 凭借卓越的分布式架构与高吞吐量特性,成为处理这类数据流的利器。它一边持久化存储传感器数据,构建庞大数据湖,供后续环境趋势研究;一边实时监测,遇空气质量超标等异常,即刻触发预警通知相关部门,实现实时感知与响应。

Apache Flink 与 Kafka 相得益彰,专注流计算。实时广告投放场景下,广告平台需依据用户实时浏览、位置信息快速决策。Flink 从 Kafka 获取实时用户行为数据流,运用窗口聚合、实时机器学习模型算出匹配广告,提升广告转化率。

这一时期,ZeroMQ 也崭露头角,它主打轻量级、高性能的消息传递,更聚焦于底层网络通信优化。在一些对延迟要求严苛的高频交易场景中,每毫秒的延迟都关乎巨大收益,ZeroMQ 能够通过精简协议、高效的内存管理,快速在交易系统各组件间传递买卖指令,减少网络开销,保障交易速度。与其他消息队列不同,它不需要专门的消息代理服务器,直接基于点对点或发布/订阅模式进行通信,降低部署复杂度。

RabbitMQ 和 ActiveMQ 同样持续进化,融入事件流处理特性。电商物流信息追踪场景里,RabbitMQ 在原有可靠传递基础上,支持简单流式数据处理,对包裹运输状态消息筛选聚合,为用户展示清晰物流进度。ActiveMQ 在企业系统监控场景发力,接收各业务系统日志当作事件流,依规则定位异常模块,辅助运维排查故障。

第四阶段:多合一解决方案(2010 年代后期至今)

2010 年代后期,数字化转型全面深入,企业对数据处理与管理服务要求愈发精细多元,消息队列与事件流平台深度融合,催生多合一解决方案。

金融风控系统是典型应用场景,对数据精准度、实时性、完整性要求极高。阿里云的 RocketMQ 脱颖而出,整合众多功能,交易流水入系统,内置规则引擎速标可疑交易;流式处理监控交易趋势,捕捉异常资金流向;持久化存储长期交易数据,深挖潜在风险;分布式存储保障多节点冗余,守护金融稳定。

腾讯云的 CMQ 在游戏行业表现出色。游戏运营涉及海量玩家登录、充值、道具使用消息,CMQ 高效传递之余,提供可视化监控工具,运营团队据此实时调控参数,从容应对游戏高峰流量,保障玩家流畅体验。

内在推动力
  • 系统耦合性高:传统同步调用让企业级应用系统脆弱不堪,如传统制造业 ERP 系统,生产、采购、销售模块紧密耦合,一处故障便致流程停滞,促使企业寻求解耦工具,消息队列应运而生。
  • 性能瓶颈:高并发互联网场景尽显同步调用弊端,热门直播带货时,大量下单请求同步处理,数据库不堪重负,页面响应延迟,异步消息队列可排队处理请求,缓解压力、提速响应。
  • 可靠性问题:远程数据传输场景常遇网络不稳,石油勘探队偏远地区传地质数据,同步调用易丢数据,消息队列的多副本存储、重试策略确保数据完整送达。
  • 功能需求:电商业务创新催生特殊功能诉求,拼团活动需延迟消息提醒未成团用户,跨境电商资金结算靠事务消息保障流转无误,生鲜电商依顺序消息维持订单处理秩序。
  • 场景需求:股票交易市场实时性要求苛刻,每秒价格波动关乎巨额财富,需毫秒级响应;大数据分析场景海量日志涌入,要求消息队列强吞吐能力,不同场景倒逼技术升级。
  • 分布式集群的支持:企业从单体架构迈向微服务集群,跨国电商全球部署服务节点,消息队列需适配分布式架构,保障全球节点间消息畅达。
现代发展

近年来,云计算和微服务架构风靡,为消息队列技术注入新活力。构建云原生分布式系统时,消息队列是关键拼图。电商平台微服务化后,商品、订单、用户服务等需交互协作,消息队列搭建异步通信桥梁,削峰填谷,保障系统弹性。

在云计算环境里,AWS 的 SQS、阿里云的 RocketMQ 等深受青睐,植入各类云原生项目。业界 MQ 朝融合实时消息与流消息架构迈进,Kafka 持续优化流处理能力;Serverless 模式让开发者摆脱繁琐运维,聚焦业务逻辑;Event 驱动适配多元事件源;协议兼容助力不同系统无缝接入,全方位解锁计算、存储弹性,迈向集群的 Serverless 化,巩固消息队列核心地位。

总结而言,消息队列技术随软件架构复杂度攀升、系统交互频次激增、数据量膨胀持续革新,其系统解耦、异步处理、流量削峰、可靠传输的核心价值,引领它从简易通信手段蜕变成为现代分布式系统的关键支柱。

http://www.lryc.cn/news/508412.html

相关文章:

  • 每天40分玩转Django:Django部署
  • 搭建Elastic search群集
  • 解析 Ingress-Nginx 故障:排查思路与方法
  • 2024 楚慧杯 re wp
  • 【物联网技术与应用】实验10:蜂鸣器实验
  • 单片机:实现矩阵键盘控制LCD屏幕(附带源码)
  • 鸿蒙Next之包体积极限优化
  • Android实战经验篇-log工具
  • DPU编程技术解析与实践应用
  • 红帽认证的含金量和价值如何?怎么报名红帽认证考试?
  • VS Code Copilot 与 Cursor 对比
  • 蓝桥杯嵌入式备赛教程(1、led,2、lcd,3、key)
  • 取多个集合的交集
  • 如何实现电子发票XML文件的合规性存档?
  • IOT、MES、WMS、MOM 和 EPMS 系统综合技术与业务文档
  • IntelliJ IDEA Docker集成
  • 【react项目】从零搭建react项目[nodejs安装]
  • 【专题】2024年悦己生活消费洞察报告汇总PDF洞察(附原数据表)
  • Github——网页版上传文件夹
  • LMDeploy 量化部署进阶实践
  • MFC/C++学习系列之简单记录9——简单加法
  • 二分查找题目:两球之间的磁力
  • OpenCV相机标定与3D重建(28)估计两个三维点集之间的最优平移变换函数estimateTranslation3D()的使用
  • UE5仿漫威争锋灵蝶冲刺技能
  • CSS盒子模型(溢出隐藏,块级元素和行级元素的居中对齐,元素样式重置)
  • 语音增强的损失函数选择
  • 【python自动化六】UI自动化基础-selenium的使用
  • 【习题答案】让您的应用拥有领先的位置服务能力
  • java中list和map区别
  • java后端传时间戳给前端的三种方式