GEE/PIE遥感大数据处理与应用
随着航空、航天、近地空间等多个遥感平台的不断发展,近年来遥感技术突飞猛进。由此,遥感数据的空间、时间、光谱分辨率不断提高,数据量也大幅增长,使其越来越具有大数据特征。对于相关研究而言,遥感大数据的出现为其提供了前所未有的机遇,但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。
为解决这一问题,国内外涌现了许多全球尺度地球科学数据(尤其是卫星遥感数据)在线可视化计算和分析云平台如谷歌Earth Engine(GEE)和航天宏图的PIE Engine等。其中,Earth Engine最为强大,能够存取和同步遥感领域目前常用的MODIS、Landsat和Sentinel等卫星图像和NCEP等气象再分析数据集,同时依托全球上百万台超级服务器,提供足够的运算能力对这些数据进行处理。目前,Earth Engine上包含超过900个公共数据集,每月新增约2 PB数据,总容量超过80PB。作为国内最先进的遥感云平台,PIE Engine近年来发展发非常迅速,拥有丰富的国产卫星数据,以及中国区域的其它重要开源数据,在数据安全性和访问便利性方面具有独到的优势。与传统的处理影像工具(例如ENVI)相比,遥感云平台一方面提供了丰富的计算资源;另一方面,其巨大的云存储能力节省了科研人员大量的数据下载和预处理时间。
一、初识GEE和PIE遥感云平台
1. GEE和PIE平台及典型应用案例介绍
2. JavaScript基础,包括变量,运算符,数组,判断及循环语句等
3. 遥感云重要概念与典型数据分析流程
4. 遥感云基本对象及平台上手
· 影像与影像集
· 几何体、要素与要素集
· 日期、字符、数字
· 数组、列表、字典
· 影像/影像集、要素/要素集数据查询、时空过滤、可视化、属性查看等
主要对象最常用API介绍
二、GEE和PIE影像大数据处理基础
1. . 关键知识点
· 影像数学运算、关系/条件/布尔运算、形态滤波、纹理特征提取等
· 影像掩码,裁剪和镶嵌
· 集合对象的循环迭代(map/iterate)
· 集合对象联合(Join)
· 影像面向对象分析
2. 2. 主要功能
· Landsat/Sentinel-2影像批量去云
· Landsat/Sentinel-2传感器归一化、植被指数计算等
时间序列光学影像的平滑与空间插值
三、数据整合Reduce
1. 关键知识点
· 影像与影像集整合,如指定时窗的年度影像合成
· 影像区域统计与领域统计,分类后处理
· 要素集属性列统计
· 栅格与矢量的相互转换
· 分组整合与区域统计
· 影像集、影像和要素集的线性回归分析
2. 主要功能
· 研究区可用Landsat影像的数量和无云观测数量的统计分析
· 中国区域年度NDVI植被数合成及年度最绿的DOY时间查找
· 国家尺度30年尺度的降雨量时空变化趋势分析
四、云端数据可视化
1. 关键知识点
· 要素与要素集属性制图(条形图、直方图、堆积柱形图、散点图等)
· 影像制图(区域统计、分类图、直方图、散点图、线型图,饼图等)
· 影像集制图(样点时间序列图、区域统计时间序列图等)
· 数组与链表制图(散点图、样线图等)
· 图形风格和属性设置
2. 主要功能
· 基于MODIS时间序列影像的不同地表植被物候分析与制图
·基于Hansen产品的年度森林时空变化分析与专题图绘制
五、数据导入导出及资产管理
1. 关键知识点
· 不同矢量数据上传个人资产
· 影像数据上传个人资产、属性设置等
· 影像批量导出(Asset和Driver)
· 矢量数据导出(Asset和Driver)
· 空间统计分析结果导出
2. 主要功能
· PIE平台国产卫星数据下载
· 影像合成批量导出及下载
· 地面样地对应遥感指标数据导出
六、机器学习算法
1. 关键知识点
· 样本抽样(随机抽样、分层随机抽样)
· 监督分类算法(随机森林、CART、贝叶斯、SVM、决策树等)
· 非监督分类算法(wekaKMeans、wekaLVQ等)
· 分类精度评估
2. 主要功能
· 联合光学与雷达时间序列影像的森林动态监测
· 水体自动提取与洪涝监测
七、案例
1. GEE土地利用分类综合案例,实现主要功能串讲,包括地面样本准备、多源遥感影像预处理、算法开发、分类后处理、精度评估和空间统计分析与制图等环节
2. 经典PIE案例代码
· 夜间灯光指数提取
· 长时间尺度植被覆盖度反演
· 水域动态监测
· 农作物种植面积提取
· 荒漠化程度提取
3. 人口密度动态变化分析
GEE与PIE平台切换、代码优化、常见错误与调试总结
阅读全文点击《GEE/PIE遥感大数据处理与应用》