当前位置: 首页 > news >正文

Hbase批量删除数据

一、TTL机制

HBase的TTL(Time To Live)是一种用于指定数据存活时间的机制。它允许用户为HBase中的数据设置一个固定的生存时间,在达到指定的时间后,HBase会自动删除这些数据。
具体操作如下:
三步走,先禁用,再删除,后创建
disable ‘dbdata:tablename’
drop ‘dbdata:tablename’
create ‘dbdata:tablename’,{NAME=>‘pi’,COMPRESSION=>‘SNAPPY’,NAME => ‘DATE’,TTL=>‘60’};

TTL的原理如下:

  1. 当用户在HBase中插入一条数据时,可以为该数据设置一个TTL值。TTL值是一个整数,表示数据的存活时间,单位为秒。
  2. HBase会将数据的存储时间戳与当前时间进行比较。如果数据的存储时间戳加上TTL值小于当前时间,则说明数据已经过期,可以被删除。
  3. HBase会定期执行一次过期数据的清理操作。这个操作可以通过配置HBase的RegionServer来定期执行,也可以手动触发。
  4. 在执行过期数据清理操作时,HBase会扫描表中的数据,并根据每条数据的存储时间戳和TTL值判断数据是否过期。如果数据过期,则会将其删除。
    通过使用TTL,HBase可以自动管理数据的生命周期,避免数据堆积过多导致性能下降。同时,TTL还可以用于数据的缓存和数据的自动清理,提高系统的效率和可用性。

二、通过shell脚本或映射表

1、shell脚本中查出需要删除的rowkey,脚本拼接出删除命令(deleteall ‘tablename’, rowkey)
2、通过hive的映射表查出需要删除的rowkey,拼成删除命令(deleteall ‘tablename’, rowkey)
3、以上两种都将删除命令输出至一个文件,如data_del.txt,然后执行 hbase shell data_del.txt

三、通过java的API

public static void deleteMultiRow(String tableName, String... rows) throws IOException{
HTable hTable = new HTable(conf, tableName);
List<Delete> deleteList = new ArrayList<Delete>();
for(String row : rows){
Delete delete = new Delete(Bytes.toBytes(row));
deleteList.add(delete);
}
hTable.delete(deleteList);
hTable.close();
}
http://www.lryc.cn/news/165991.html

相关文章:

  • 飞行动力学 - 第20节-part2-机翼上反及后掠对横向静稳定性的影响 之 基础点摘要
  • 力扣 -- 1218. 最长定差子序列
  • 【程序员装机】在右键菜单中添加Notepad++选项
  • Scrapy的基本介绍、安装及工作流程
  • CMS 三色标记【JVM调优】
  • 使用 CSS 伪类的attr() 展示 tooltip
  • 在命令窗口便捷快速复制输出结果到剪贴板
  • CUDA小白 - NPP(8) 图像处理 Morphological Operations
  • java获取音频,文本准转语音时长
  • 基于串口通讯的多电机控制技术研究
  • 【深入解读Redis系列】(五)Redis中String的认知误区,详解String数据类型
  • 段指导-示例
  • LeetCode 面试题 04.02. 最小高度树
  • 华为云云耀云服务器L实例评测|初始化centos镜像到安装nginx部署前端vue、react项目
  • python项目制作docker镜像,加装引用模块,部署运行!
  • Redis缓存设计与性能优化
  • 免杀对抗-Python-混淆算法+反序列化-打包生成器-Pyinstall
  • C#__线程池的简单介绍和使用
  • 安全员(岗位职责)
  • unity 使用声网(Agora)实现语音通话
  • vue2.X 中使用 echarts5.4.0实现项目进度甘特图
  • 《PostgreSQL与NoSQL:合作与竞争的关系》
  • 【FAQ】视频监控管理平台/视频汇聚平台EasyCVR安全检查相关问题及解决方法3.0
  • Java 8 新特性解读及应用实践
  • C++项目实战——基于多设计模式下的同步异步日志系统-④-日志系统框架设计
  • 计算机专业毕业设计项目推荐02-个人医疗系统(Java+原生Js+Mysql)
  • Nginx__高级进阶篇之LNMP动态网站环境部署
  • Zebec 生态 AMA 回顾:Nautilus 以及 $ZBC 的未来
  • NXP iMX8MM 修改 UART4至 Cortex-A53 核心
  • C#控制台程序中使用log4.net来输出日志