当前位置: 首页 > news >正文

数据持久化层--冷热分离

业务场景

有一个系统的主要功能是这样的:它会对接客户的邮件服务器,自动收取发到几个特定客服邮箱的邮件,每收到一封客服邮件,就自动生成一个工单。之后系统就会根据一些规则将工单分派给不同的客服专员处理。

这家媒体集团客户两年多产生了近2000万的工单,工单的操作记录近1亿。平时客服在工单页面操作时,打开或者刷新工单列表需要10秒钟左右。要求进行优化:
当时的数据情况如下:
1)工单表已经达到3000万条数据。
2)工单表的处理记录表达到1.5亿条数据。
3)工单表每日以10万的数据量在增长。

在客户提出需求之前,项目组已经通过优化表结构、业务代码、索引、SQL语句等办法来提高系统响应速度,系统最终支撑起了3000万数据的表查询。这次只能尝试其他方案。

冷热分离一期实现思路:冷热数据都用MySQL

在这里插入图片描述

当决定用冷热分离之后,项目组就开始考虑使用一个性价比最高的冷热分离方案。因为资源有限、工期又短,冷热分离一期有一个主导原则,即热数据跟冷数据使用一样的存储(MySQL)和数据结构,这样工作量最少,等到以后有时间再做冷热分离二期。

需要考虑的问题
1)如何判断一个数据是冷数据还是热数据?
2)如何触发冷热数据分离?
3)如何实现冷热数据分离?
4)如何使用冷热数据?

http://www.lryc.cn/news/38969.html

相关文章:

  • Ubuntu16.04系统 VSCode中python开发插件的安装
  • buuctf-pwn write-ups (12)
  • Linux- 系统随你玩之--网络上的黑客帝国
  • Python每日一练(20230312)
  • 人生又有几个四年
  • 第九章:Java集合
  • 嵌入式学习笔记——STM32的USART通信概述
  • MySQL性能优化
  • C语言/动态通讯录
  • 我用Compose做了一个地图轮子OmniMap
  • STM32之SPI
  • 02 深度学习环境搭建
  • PHP导入大量CSV数据的方法分享
  • 代码看不懂?ChatGPT 帮你解释,详细到爆!
  • 【MyBatis】篇三.自定义映射resultMap和动态SQL
  • 什么是API?(详细解说)
  • 比cat更好用的命令!
  • MySQL、HBase、ElasticSearch三者对比
  • Vue+ElementUI+Vuex购物车
  • Android 录屏 实现
  • 【CSAPP】家庭作业2.55~2.76
  • Python操作MySQL数据库详细案例
  • MicroBlaze系列教程(8):AXI_CAN的使用
  • 网络安全领域中八大类CISP证书
  • stm32学习笔记-5EXIT外部中断
  • MySQL Workbench 图形化界面工具
  • 雪花算法(SnowFlake)
  • Linux防火墙
  • 网络安全系列-四十七: IP协议号大全
  • HTTP协议格式以及Fiddler用法