当前位置： 首页 > news >正文

2023年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中，敬请期待…

news 2025/8/10 22:41:14

2023年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中，敬请期待…
武汉唯众智创科技有限公司
2024 年 2 月
联系人：辜渝傧13037102709

题号：试题01

模块三：业务分析与可视化

（一）任务一：数据可视化

1．子任务一：数据分析
（1）在 comm 数 据 库 下 创 建 一 个 名 为
dws_behavior_log的外部表，如果表已存在，则先删除；分区字段为dt，即根据日期进行分区；另外，要求指定表的存储路径为HDFS的/behavior/dws/dws_behavior_log目录，存储文件类型为“orc”，文件的压缩类型为“snappy”；字段类型如下表所示；
表6 字段类型表
在这里插入图片描述
答：

DROP TABLE IF EXISTS dws_behavior_log;
create external table comm.dws_behavior_log(client_ip string,device_type string,type string,device string,url string,province string,city string) partitioned by (dt string) STORED AS orc location '/behavior/dws/dws_behavior_log' tblproperties ("orc.compress"="SNAPPY");

（2）启动Hive的动态分区功能，并将Hive设置为非严格模式；
答：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nostrict;

（3）使用insert overwrite … select …子句将dwd_behavior_log表中数据插入分区表dws_behavior_log中，并实现根据dt进行动态分区；
答：insert overwrite table dws_behavior_log PARTITION (dt) select * from dwd_behavior_log;
（4）查看dws_behavior_log表的所有现有分区、前3行数据，并统计统计表数据总行数；
答：

SHOW PARTITIONS dws_behavior_log;
SELECT * FROM dwd_behavior_log LIMIT 3;
SELECT count(*) FROM dws_behavior_log;

（5）在comm数据库下创建一个名为dim_date的外部表，如果表已存在，则先删除；另外，要求指定表的存储路径为HDFS的/behavior/dim/dim_date目录，字段分隔符为 “\t” ， 建 表 时 添 加 TBLPROPERTIES
(‘skip.header.line.count’=‘1’) 语句让Hive读取外表数据时跳过文件行首（表头）；字段类型如下表所示；
表7 字段类型表
在这里插入图片描述
答：

DROP TABLE IF EXISTS comm.dim_date;
create external table comm.dim_date(date_id string,week_id string,week_day string,day string,month string,quarter string,year string,is_workday string,holiday string) row format delimited fields terminated by '\t' location '/behavior/dim/dim_date' TBLPROPERTIES ('skip.header.line.count'='1');

（6）在comm数据库下创建一个名为dim_area的外部表，如果表已存在，则先删除；另外，要求指定表的存储路径为HDFS的/behavior/dim/dim_area目录，字段分隔符为
“\t”；字段类型如下表所示；
表8 字段类型表
在这里插入图片描述
答：

drop table if exists comm.dim_area;
create external table comm.dim_area(city string,province string,area string) row format delimited fields terminated by '\t' location '/behavior/dim/dim_area';

（7）使用load data子句将本地/root/eduhq/data目录下的“dim_date_2023.txt”和“dim_area.txt”文件分别加载到外部表dim_date和dim_area中；
答：

load data local inpath '/root/eduhq/data/dim_date_2023.txt' into table comm.dim_date;
load data local inpath '/root/eduhq/data/dim_area.txt' into table comm.dim_area;

（8）分别查看外部表dim_date和dim_area的前3行数据；
答：

select * from comm.dim_date  limit 3;
select * from comm.dim_area  limit 3;

（9）分别统计外部表dim_date和dim_area数据总行数；
答：

select count(*) from comm.dim_date;
select count(*) from comm.dim_area;

（10）统计不同省份用户访问量；将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_pro目录下，并指定列的分隔符为逗号（特别注意：因为省份是随机获取的，所以结果会有所差异）；

insert overwrite local directory '/root/eduhq/result/ads_user_pro' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select province,count(*) from comm.dim_area group by province;

（11）统计不同时间段的网页浏览量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_hour 目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_user_hour' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select *,DATE_FORMAT(time, 'yyyy-MM-dd HH') AS hour from comm.xxx group by hour;
（12）不同网站访客的设备类型统计；将统计结果导出到本地文件系统的/root/eduhq/result/ads_visit_mode目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_visit_mode' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select url,device_type from comm.xxx group by device_type;
（13）不同网站的上网模式统计；将统计结果导出到本地文件系统的/root/eduhq/result/ads_online_type 目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_online_type' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select url,type from comm.xxx group by type;
2．子任务二：数据可视化
（1）使用Pyecharts库绘制中国地图，以直观展示不同省份用户访问量分布情况；
⚫文件名：ads_user_pro.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/ads_user_pro目录
⚫背景地址：/root/eduhq/images/img_1.png
⚫图表名称：不同省份用户访问量分布图.html
⚫图表存放地址：/root/eduhq/html/
（2）使用Pyecharts库绘制一个带时间轴的柱形图，以直观展示不同经济大区用户的访问量统计情况；
⚫文件名：ads_user_region.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：
/root/eduhq/result/ads_user_region目录
⚫背景地址：/root/eduhq/images/img_2.png
⚫图表名称：不同经济大区用户访问量统计柱形图
.html
⚫图表存放地址：/root/eduhq/html/
（3）使用Pyecharts绘制网页浏览量统计折线图，直观展示不同时间段内的访问量变化趋势；
⚫文件名：ads_user_hour.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/ads_user_hour目录
⚫背景地址：/root/eduhq/images/img_3.png
⚫图表名称：不同时间段网页浏览量统计曲线图.html
⚫图表存放地址：/root/eduhq/html/
（4）使用Pyecharts绘制网页浏览量统计折线图，直
观展示节假日和工作日不同时间段内的访问量变化趋势；
⚫文件名：ads_hol_work_user.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：
/root/eduhq/result/ads_hol_work_user目录
⚫背景地址：/root/eduhq/images/img_3.png
⚫图表名称：节假日和工作日各时间段网页浏览量统计曲线图.html
⚫图表存放地址：/root/eduhq/html/
（5）使用Pyecharts绘制堆积柱形图，直观地展示访客在不同设备类型上的访问次数情况；
⚫文件名：ads_visit_mode.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/ads_visit_mode

目录
⚫背景地址：/root/eduhq/images/img_2.png
⚫图表名称：网站访客设备类型统计堆积柱形图
.html
⚫图表存放地址：/root/eduhq/html/
（6）使用Pyecharts绘制堆积柱形图，直观地展示访客在不同上网模式下的访问次数情况；
⚫文件名：ads_online_type.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/
ads_online_type目录
⚫背景地址：/root/eduhq/images/img_2.png
⚫图表名称：网站访客上网模式统计堆积柱形图
.html
⚫图表存放地址：/root/eduhq/html/
（7）使用Pyecharts绘制词云图，直观地展示不同域名用户访问情况；
⚫文件名：ads_user_domain.py
⚫文件存放地址：/root/eduhq/python/
⚫数据目录：/root/eduhq/result/ads_user_domain
目录
⚫背景地址：/root/eduhq/images/img_2.png
⚫图表名称：不同域名用户访问统计词云.html
⚫图表存放地址：/root/eduhq/html/

（二）任务二：业务分析

（1）统计每天不同经济大区用户访问量；将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_region目录下，并指定列的分隔符为逗号；
答：insert overwrite local directory '/root/eduhq/result/ads_user_region' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select day,area from table_name group by area;
（2）统计节假日和工作日的浏览量差异；将统计结果导出到本地文件系统的/root/eduhq/result/ads_hol_work_user目录下，并指定列的分隔符为逗号；
答：

insert overwrite local directory '/root/eduhq/result/ads_hol_work_user' ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT  CASE  WHEN is_workday = 1 THEN '工作日'  ELSE '节假日'  END AS day_type,  SUM(url) AS total_views  
FROM  page_views  
GROUP BY  day_type;

（3）统计不同域名的用户访问量；将统计结果导出到本地文件系统的
/root/eduhq/result/ads_user_domain目录下，并指定列的分隔符为逗号；
答：

CREATE TABLE user_visits (  user_id STRING,  visit_date STRING,  domain STRING,  visit_count INT  
)  
ROW FORMAT DELIMITED  
FIELDS TERMINATED BY '\t';
insert overwrite local directory '/root/eduhq/result/ads_user_domain' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT user_id, DATE_FORMAT(REGEXP_REPLACE(visit_date, '/', '-'), 'yyyy-MM-dd') AS visit_date, domain, visit_count FROM user_visits;

更多内容请联系
武汉唯众智创科技有限公司
欲了解更多信息，欢迎登录www.whwzzc.com,咨询电话13037102709
*本资料产品图片及技术数据仅供参考，如有更新恕不另行通知，具体内容解释权归唯众所有。

http://www.lryc.cn/news/312432.html

相关文章：

  • 设计MySQL数据表的几个注意点
  • android 键盘遮挡输入框问题回忆
  • ZJGSU 1737 链表
  • Java开发人员不得不收集的代码，java软件开发面试常见问题
  • 浅谈块存储、文件存储、对象存储
  • 2024年 Python面试热点
  • Map集合体系——遍历，HashMap，TreeMap，LikedHashMap
  • docker mysql主从复制
  • iOS 自动化测试踩坑(一): 技术方案、环境配置与落地实践
  • Redis的事务
  • 4.2 比多数opencv函数效果更好的二值化（python)
  • webpack打包一个文件，做了哪些事情
  • 设计模式学习笔记 - 设计原则 - 6.KISS原则和YAGNI原则
  • 【Vue3-vite】动态导入路由
  • C++——string类
  • 进制转换md5绕过 [安洵杯 2019]easy_web1
  • .kat6.l6st6r勒索病毒的最新威胁：如何恢复您的数据？
  • Day 6.有名信号量（信号灯）、网络的相关概念和发端
  • MySQL 常用优化方式
  • 算法刷题day22：双指针
  • 山人求道篇：八、模型的偏差与交易认知
  • MySQL 元数据锁及问题排查（Metadata Locks MDL）
  • JS中的函数
  • 微信小程序开发常用的布局
  • Effective C++ 学习笔记 条款10 令operator=返回一个reference to *this
  • 算法简单试题
  • CSS 自测题 -- 用 flex 布局绘制骰子（一、二、三【含斜三点】、四、五、六点）
  • 蓝桥集训之牛的学术圈 I
  • 软件设计师软考题目解析21 --每日五题
  • python读写json文件详解