Power Query概述及导入多源数据方法
Power Query是什么
Power Query 是 Excel 中的一种数据连接、转换和自动化处理工具,能够从多种来源(如数据库、网页、文件等)获取数据,并通过直观的界面进行清洗、整合和转换,最终生成易于分析的规范化数据。它大幅简化了数据准备过程,适合处理复杂或重复的数据任务。
Power Query特点
- 多数据源整合:支持关系型数据库、Excel文件、txt/csv文本文件、Web页面、Hadoop的HDFS等几乎所有常见数据源,解决企业多业务数据整合难题。
- 突破行数限制:可处理上千万行数据(8G内存机器建议不超过2G数据量),突破Excel 2016的1048576行限制。
- 丰富处理功能:提供排序筛选、分列替换、数学运算等基础功能,以及分类汇总、合并填充、透视逆透视等高级功能。
- M函数自定义:内置600多个M函数,支持创建复杂数据处理规则,甚至实现简单网页爬取功能。
- 流程可复用:数据处理流程可保存并无限次重复使用,大幅提升定期报表等重复性工作效率。
Power Query版本适配
1. Excel 2016 及更高版本(Office 365、Excel 2019、Excel 2021)
- 位置:直接集成在 Excel 中,无需单独安装。
- 入口:
- 数据选项卡 → 获取数据(Get & Transform Data)组 → 选择数据源(如“从表格”、“从文本/CSV”等)。
右键点击表格时,也可能看到 “从表格获取数据”(Get Data from Table)选项。
2. Excel 2010 和 Excel 2013
- 需要单独安装:Power Query 是作为插件(Add-in)提供的。
- 安装步骤:
- 下载插件:从微软官网安装 Power Query for Excel(Excel 2010/2013 下载链接)。
- 启用插件:安装后,在 Excel 的 “文件” → “选项” → “加载项” 中启用 “Power Query”。
- 入口:
- Excel 2013:Power Query 选项卡 → 直接使用功能。
- Excel 2010:“Power Query” 选项卡 或 “数据”选项卡 下的新增按钮。
操作界面
功能选项卡
- 主页选项卡:核心数据处理功能
- 转换/添加列:数据计算类功能
- 视图选项卡:界面显示控制功能
界面构成
- 查询列表区(左侧):显示所有数据表(每个查询=1个表)
- 数据预览区(中部):显示当前表数据
- 查询设置区(右侧):记录数据处理步骤
- 编辑栏(上部):显示M函数代码
数据导入方式
(1)仅创建连接
- 特点:数据仅存在于查询引擎,不显示在Excel工作表
- 适用场景:纯数据处理需求,可节省文件容量和计算资源
(2)表导入方式
- 特点:同时在Excel生成关联工作表,数据双向同步更新
- 适用场景:需要在Excel界面预览或进行单元格计算的情况
功能位置:在Excel的"数据"选项卡下,"获取和转换数据"功能组中
(1)演示:仅创建连接 导入数据
(示例ACCESS数据库导入方式)
- 选择"来自数据库"→"从Microsoft Access数据库"
- 导航至文件位置选择.accdb文件
- 在导航器中选择需要导入的表
加载选项:
1、加载
- 默认行为:直接将数据加载到当前文件(Power BI报表或Excel工作簿)中
- 结果:
- 在Power BI中:数据会出现在"字段"面板,但不会自动创建可视化
- 在Excel中:数据会以新工作表的形式加载
- 适用场景:当你只需要基础数据,后续再决定如何使用时
2、加载到
- 提供选项:会弹出对话框让你选择加载方式
- 可配置选项:
- 加载目标:可以选择加载到新工作表、数据模型、仅创建连接等
- 加载行为:在Power BI中可选择是否立即创建报表视觉对象
- 高级选项:可以设置数据刷新属性、是否包含到报表中
- 适用场景:当需要精确控制数据加载方式和后续处理时
特殊处理:Access数据库可能包含多个表,需在导航器中勾选需要的表
双击“商机记录”进入Power Query
一顿加工之后,点击“关闭并上载”,就完成Power Query对这份数据的加工和保存了
回到了这个界面
(2)演示:表 导入数据
(CSV文件导入方式)
选择“加载到”
数据被同时导入表格界面和查询
双击“商机相关企业信息”,进入Power Query查询编辑器
假设进行了一些数据加工,处理完后点击“关闭并上载”
疑问:刚开始设置的:仅创建连接,后面还能改为“表”吗?
回答:可以
右键点击要更改的查询,点击“加载到”,即可进行更改
(3)演示:默认“加载” 导入数据
(txt文件导入方式)
所以说默认的“加载”是“表”的加载方式
双击它进入Power Query查询编辑器,假设进行了一系列数据加工,现在点击“关闭并上载”
(4)演示:从工作簿 导入数据
所有数据已经加载到Power Query查询编辑器, 完成数据加工后,即可关闭并上载
知识点总结
知识点 | 核心内容 | 考试重点/易混淆点 | 难度系数 |
Power Query概述 | Power BI四大工具之一,用于弥补Excel处理表结构数据的不足,支持多数据源整合、突破Excel行数限制、提供丰富数据处理功能、支持M函数自定义规则、可复用数据处理流程。 | 表结构与表格结构区别(字段 vs 单元格)、Power Query与Excel传统功能的差异 | ⭐⭐⭐ |
Power Query五大特点 | 1. 多数据源整合(数据库/文本/网页等); 2. 突破Excel行数限制(支持千万级数据); 3. 丰富的数据处理功能(排序/分列/透视等); 4. M函数自定义规则(600+函数); 5. 流程可复用(自动更新数据) | M函数与Excel函数的区别、数据量参考值(8G内存机器≤2G数据) | ⭐⭐⭐⭐ |
数据导入方式 | 1. 仅创建连接:数据仅存在于Power Query引擎; 2. 表:同步生成Excel工作表数据 | 适用场景选择(是否需要预览/计算)、导入后修改方式(右键“加载到”调整) | ⭐⭐ |
文本文件导入 | TXT(制表符分隔) vs CSV(逗号分隔),均需通过“从文本”导入,注意分隔符设置。 | 文件原始格式识别(避免乱码)、分隔符错误导致的数据错位 | ⭐⭐ |
查询编辑器界面 | 四大选项卡: - 开始(主要功能); - 转换/添加列(数据计算); - 视图(显示控制); 核心区域:功能组、编辑栏、查询列表、数据预览区。 | 查询=表(简化理解)、操作步骤保存(需点击“关闭并上载”) | ⭐⭐ |
版本差异 | Excel 2013需插件,2016内置(更名为“获取和转换”),界面可能因更新微调。 | 功能位置变化(数据选项卡下)、新版本兼容性 | ⭐ |