当前位置: 首页 > news >正文

【大数据面试题】27 讲下Doris的物化视图

一步一个脚印,一天一道面试题。

物化视图概念

物化视图,顾名思义,是将一个查询的结果预先计算并存储为物理表的形式。这意味着,原本需要在运行时动态执行的复杂查询,现在变成了直接从已经计算好的结果表中读取数据,极大地提升了查询速度。它是一种典型的“空间换时间”的策略,牺牲一定的存储空间来换取查询性能的显著提升。

优点

  • 自动维护:Doris自动维护物化视图的数据,无论基础表有新的数据导入还是删除操作,都能确保物化视图与基础表的数据保持一致,无需人工干预。(方便,减少人工)
  • 查询优化:查询时,Doris能够自动匹配最优的物化视图,并直接从该视图中读取数据,从而跳过不必要的计算步骤,加快查询速度
  • 资源优化:通过物化视图,可以将计算密集型的操作在数据加载时完成,减少了计算资源消耗

建议使用场景

  • 存储占用小:这不是必须的,但由于物化视图是需要占用存储空间的,是“空间换时间”的典型,所以尽量使用较少的列(少于10列)。
  • 复杂查询加速:对于包含多表JOIN或复杂聚合函数的查询,通过预计算结果,物化视图可以提供即时的查询反馈。

物化视图举例

假设有一个大型电商公司的数据库中包含一张名为orders的表,记录了所有订单信息,包括order_id(订单ID)、user_id(用户ID)、product_id(商品ID)、order_date(订单日期)等字段。公司经常需要统计按天的用户购买次数(用户活跃度UV)和商品浏览次数(页面访问量PV)。

为了加速这类固定维度的聚合查询,可以创建一个物化视图。例如,创建一个物化视图daily_uv_pv,预先计算每天每个用户的购买次数和每个商品的浏览次数:

CREATE MATERIALIZED VIEW daily_uv_pv
AS
SELECT user_id, product_id, DATE(order_date) AS order_day,COUNT(DISTINCT order_id) AS user_activity_count, -- UV计数COUNT(order_id) AS product_view_count       -- PV计数
FROM orders
GROUP BY user_id, product_id, DATE(order_date);

这样,当业务方需要查询特定日期的用户活跃度或商品浏览量时,可以直接从daily_uv_pv物化视图中快速获取结果,而不需要每次查询时都去扫描和汇总庞大的原始订单表,大大提高了查询效率。同时,Doris系统会自动管理物化视图的数据同步,确保数据的时效性和准确性。

我是近未来,祝你变得更强!

http://www.lryc.cn/news/349387.html

相关文章:

  • kylin 使用心得
  • 在线音乐系统
  • LeetCode算法题:49. 字母异位词分组(Java)
  • 第五课,输入函数、布尔类型、比较运算和if判断
  • 数学建模——线性回归模型
  • 景源畅信:抖音小店比较冷门的品类分享?
  • java项目之企业资产管理系统(springboot+vue+mysql)
  • [ardunio ide导入blinker库]
  • Llama 3 超级课堂 -笔记
  • Leetcode 第 129 场双周赛题解
  • 队列的讲解
  • 算法学习笔记(LCA)
  • 记一次苹果appstore提审拒审问题1.2
  • 在做题中学习(59):除自身以为数组的乘积
  • centos 把nginx更新到最新版本
  • 01.认识HTML及常用标签
  • 从零开始:C++ String类的模拟实现
  • 银河麒麟服务器操作系统V10-SP2部署gitlab服务
  • 【计算机毕业设计】基于SSM+Vue的线上旅行信息管理系统【源码+lw+部署文档+讲解】
  • 链表CPP简单示例
  • 智能EDM邮件群发工具哪个好?
  • 低代码与AI技术发展:开启数字化新时代
  • 风电功率预测 | 基于遗传算法优化BP神经网络实现风电功率预测(附matlab完整源码)
  • uni-segmented-control插件使用
  • 被动防护不如主动出击
  • ollama离线部署llama3(window系统)
  • 基于Django实现的(bert)深度学习文本相似度检测系统设计
  • 数据中心网络随想-电路交换
  • 并行执行线程资源管理方式——《OceanBase 并行执行》系列 3
  • 数据库系统概论(个人笔记)(第二部分)