当前位置: 首页 > news >正文

Bug地狱 #1 突然宕机,企业级应用到底怎么了

Bug地狱 #1 突然宕机,企业级应用到底怎么了

背景

目前就职的企业经营是一家服务小微门店Saas企业,以进销存管理和客户营销为主体提供订阅服务。项目正式上线可以说是从13年,基础架构是Web和后端使用C# .net,数据库使用SQL Server。这时公司业务正好遇到中国Saas的顶峰,业务不断增长,但是系统宕机的问题一直出现,甚至周末节假日在户外也要oncall,拿出电脑解决问题。

第一次重构 前后端分离

首先是将钱后端一体的代码机构换成前后端分离结构。技术栈仍然是.net。中间前端的技术栈在人员的流转中尝试使用react进行重构,但是最终没有成功。但是部分的页面使用vue进行了重写,使用iframe进行嵌入,没有进行根治的前端重构。通过后端的分离和前端的重写,系统的稳定性得到了提升,但是仍然有很多的隐患,直到今天,这些问题暴露的出来,出现了了更换架构也无法解决的问题,这个后面再讲。

第二次重构 转换技术栈,使用Java 微服务来了 好像好了起来

在我21年除选择入职这家公司,其中最重要的就是我想要进入一家使用微服务的公司,公司的服务器大约有70台,约30个服务。

在18年左右,公司进行了第二次重构,转为使用java技术栈,主要原因是架构师的选择与市场的供需关系,市场上找不到那么多能够直接上手企业应用的工程师。这次重构的方式是,通过.net后端转发请求到java微服务,逐步将后端的功能使用java实现。前端没有进行彻底重构,基于底层.net,通过iframe嵌套vue的方式进行业务扩展。后端的技术栈使用Spring Cloud,注册中心使用Consul,各种中间件使用spring data相关的组件,部分数据库迁移到Pgsql。

通过这次重构,所有的后端业务基本上都转变为使用java实现,系统的稳定性得到的提升,没有了时时待命的情况,偶尔出现重大问题基本上都是发生数据库的问题。

第三次重构 重构前端 正式使用vue

到了22年,通过转为java的后端,系统稳定了,但是前端的用户体验和开发效率都很低,而且随着业务的不断扩展,重构必然要进行,不然开发的节奏始终会被限制。前端使用qiankun 微前端进行重构,按照业务模块区分子项目。后端部分也重写部分接口,将前后端的职责进行明确区分,同业务下接口的数据结构保持统一,降低未来的代码维护成本。

此时公司还扩展了小程序商城的业务能力,希望通过疫情的影响,帮助更多的小微门店进行线上业务的拓展。小程序商城的技术栈使用uniapp。

危机出现

在第二次重构时,公司的业务已经开始呈现缓慢增长,但是系统压力和数据库的压力不断积累。人员减少(业务增速导致始终成本大于利润,再加上疫情对线下门店的影响)。业务不断扩展代码里惊为天人的循环内远程方法调用,数据库没有建立必要的索引,这些问题导致了系统卡顿。最先建立的数据库,包含了300多张数据表,其中不乏上亿数据的表。少量的人员,既要维护原有的代码,又要兼顾业务扩展。数据量的上升,导致数据库瓶颈,主库压力过大,导致服务雪崩,一旦遇到大量的并发请求,服务就会宕机。

系统仿佛脆弱不堪,就像破了很多洞的巨轮。不管是工作日还是周末,总是会通过客服人员反馈系统无法使用。

是时候要根治这个问题了,要被迫开始建立监控系统,寻找能够监控系统的中间件,将本应该就具有完善的监控系统的服务,变得完整起来。

补充一句,基本没有代码单元测试,直接将新写的代码上线,通过check账号来进行测试。XD

未完待续,建立监控系统,寻找优化点。后面会讲到如何建立Promuetheus监控系统,如何通过中间件监控sql,如何查看线上某个具体接口的性能情况。

http://www.lryc.cn/news/295161.html

相关文章:

  • 使用 Python、Elasticsearch 和 Kibana 分析波士顿凯尔特人队
  • 探索C语言结构体:编程中的利器与艺术
  • Git介绍与常用命令总结
  • 机器学习 | 探索朴素贝叶斯算法的应用
  • 【无刷电机学习】电流采样电路硬件方案
  • 对于协同过滤算法我自己的一些总结和看法
  • 数据库管理phpmyadmin
  • Oracle数据表ID自增操作
  • npm WARN deprecated uuid@3.4.0: Please upgrade to version 7 or higher
  • 第2节、让电机转起来【51单片机+L298N步进电机系列教程】
  • 1154: 第多少天
  • 【C语言初阶-const作用详解】const修饰变量、const修饰指针(图文详解版)
  • 线程协作工具类【CountDownLatch倒数门闩、Semaphore信号量、CyclicBarrier循环栏栅、Condition接口】
  • Python 函数式编程进阶:map、filter、reduce
  • 大模型|基础_word2vec
  • 14.2 url后端过滤器(❤❤)
  • Leetcode 377 组合总和 Ⅳ
  • CleanMyMacX4.14.6如何清理mac垃圾内存
  • Java 学习和实践笔记(1)
  • 【自然语言处理-工具篇】spaCy<1>--介绍及安装指南
  • LeetCode树总结
  • AI专题:冬渐去、春将来,待看,AI 开花,数据挂果,可控链潮起
  • Netty源码系列 之 EventLoop run()方法 源码
  • ChatGPT 4.0 升级指南, ChatGPT Plus(GPT 4.0) 有何优势?
  • springboot157基于springboot的线上辅导班系统的开发与设计
  • 【机器学习】机器学习简单入门
  • 考研数据结构笔记(1)
  • 【深度学习理论】持续更新
  • npm ERR! reason: certificate has expired(淘宝镜像过期)
  • “极简壁纸“爬虫JS逆向·实战