当前位置: 首页 > news >正文

Iceberg与SparkSQL查询操作整合

前言

spark操作iceberg之前先要配置spark catalogs,详情参考Iceberg与Spark整合环境配置。

Iceberg使用Apache Spark的DataSourceV2 API来实现数据源和catalog。

使用SQL查询

查询的时候表要按照:catalog.数据库.表名的格式

SELECT * FROM prod.db.table; -- catalog: prod, namespace: db, table: table

元数据表(如历史和快照)可以使用Iceberg表名作为命名空间。
例如,要从文件的元数据表中读取prod.db.table:

SELECT * FROM prod.db.table.files;

SQL查询的方式就和普通数据库没什么区别,只要把数据库.表名,前面加上一个catalog即可。

DataFrame查询

  1. 查询语法
    dataframe查询iceberg表:
val df = spark.table("prod.db.table")

也可以通过DataFrameReader接口查询&#

http://www.lryc.cn/news/437253.html

相关文章:

  • Linux 上安装 PostgreSQL
  • WRF-LES与PALM微尺度气象大涡模拟、PALM静态数据预备、PALM驱动数据预报、PALM模拟
  • 需求分析概述
  • Java | Leetcode Java题解之第391题完美矩形
  • java项目之基于web的人力资源管理系统的设计与实现(源码+文档)
  • Linux 防火墙:iptables (二)
  • 小目标检测顶会新思路!最新成果刷爆遥感SOTA,参数小了18倍
  • 【Ubuntu】虚拟机安装USB摄像头ROS驱动 usb_cam(最新方法)
  • 免费的成绩查询微信小程序,让家长轻松掌握学生表现
  • [含视频和源码]CRUD的最佳实践,联动前后端,包含微信小程序,API,HTML等(三)
  • 如何把我另一个分支上的commit拿过来
  • 【rpg像素角色】俯视角-行走动画
  • Python时间序列分析新技能,轻松掌握时间索引
  • sklearn-逻辑回归-特征工程示例
  • RTMP播放器延迟最低可以做到多少?
  • 细致刨析JDBC ① 基础篇
  • Reactive 编程-Loom 项目(虚拟线程)
  • Windows下使用MinGW编译安装zmq的步骤
  • 电商云账户分账系统:打造高效资金流转体系
  • 设计模式 -- 单例设计模式
  • python fastapi 打包exe
  • 【测试开岗面试】知识点总结
  • 【高级编程】synchronized 解决并发问题 类的线程安全类型
  • Speculative RAG:为知识密集型数据服务的RAG
  • [Go]-抢购类业务方案
  • Android 源码多个Launcher设置默认Launcher
  • 计算机毕业设计 网上体育商城系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试
  • 深度学习中实验、观察与思考的方法与技巧
  • 记一次 FastDFS 存储节点迁移:基于 scp 的实践与经验分享
  • http连接github远程仓库密码问题解决办法