当前位置: 首页 > news >正文

使用bitmap实现可回收自增id

需求描述

设计一个方法,每次调用返回一个自增id,同时需要满足以下要求。

  1. 可更新id的状态为已使用,已使用的id下次调用时不再返回
  2. 可修改某个id的状态为未使用,下次调用时设为未使用状态的id可重新被返回

思路

思路一:如果数据量非常小,直接使用一个集合存储已使用的id,使用循环和维护这个集合即可,但数据量大了,此方法返回数据的时间复杂度和占用的空间都是比较大的。

思路二(推荐):建立一个(位图)bitmap,初始时bitmap的每一位都为0,0代表未使用,1代表已使用。每次请求获取id时从此bitmap的第0位开始返回一个未使用的index即可。

以一个bitmap长度为65536的bitmap为例,示意图如下:

初始时每一个bit位值都为0

012345678……1024……65535
000000000……0……0

此时请求id返回的值为:0

012345678……1024……65535
111110111……1……0

如经过一段时间后,索引位置为5的数据变成了0未使用
此时请求id返回的值应为:5

具体实现

BitSet VS RoaringBitmap

解决思路有了,接下来就是代码实现。这里以java代码为例,可以直接使用jdk自带的java.util.BitSet实现,不过自带的BitSet在数据稀疏的场景下占用空间较大,且提供的原生方法较少。

这里推荐直接使用由2016年由几位大佬论文而开发的RoaringBitmap,可移步它的官网详细学习一把。https://roaringbitmap.org/about/
roaringBitmap

RoaringBitmap有java、go、c\c++、rust、swift等多个版本的实现,同时其时间与空间复杂度低,提供的方法也非常丰富。
github地址如下:https://github.com/RoaringBitmap

java代码实现

以下为《使用bitmap实现可回收自增id》的示例代码

引入依赖

		<dependency><groupId>org.roaringbitmap</groupId><artifactId>RoaringBitmap</artifactId><version>1.0.0</version></dependency>

示例代码:

    public static void main(String[] args) {RoaringBitmap rr = new RoaringBitmap();long l = rr.nextAbsentValue(0);System.out.println(l);//print 0rr.add(0, 1, 2, 3, 4, 6, 7, 8, 9, 10, 1024, 1025);l = rr.nextAbsentValue(0);System.out.println(l);//print 5// index 5 set true(1)rr.add(5);l = rr.nextAbsentValue(0);System.out.println(l);//print 11}

输出结果:

0
5
11

以上代码使用new RoaringBitmap()定义了一个可以自动扩容的bitmap,add方法的入参代表将某个bit位设为1,nextAbsentValue方法返回从某个index位开始出现的第一个bit位为0的索引值

分布式自增可回收id实现方案

RoaringBitmap还有一大特点:支持序列化与反序列化。
roaringWithKryo

凭借这一特点,如需要在分布式场景下使用RoaringBitmap,则仅需稍微修改代码即可快速实现。

如将RoaringBitmap序列化为二进制存储在数据库中。

比如在mongodb中使用Binary data数据类型、mysql中使用blob数据类型、oracle中使用BLOB这些二进制类型存储RoaringBitmap即可。

实现时每次先将RoaringBitmap读取到程序中,再进行逻辑操作,修改后再写回数据库中。


总结一下

RoaringBitmap YYDS

http://www.lryc.cn/news/223998.html

相关文章:

  • 0基础学习VR全景平台篇第118篇:利用动作录制器功能避免重复操作 - PS教程
  • 大数据Doris(十九):数据导入(Load)
  • BP神经网络的数据分类——语音特征信号分类
  • 基于SSM+Vue的随心淘网管理系统
  • 大语言模型的关键技术(二)
  • 世界互联网大会领先科技奖发布 百度知识增强大语言模型关键技术获奖
  • 2023.11.09 homework (2)
  • ARMday01(计算机理论、ARM理论)
  • C#中通过LINQtoXML加载、创建、保存、遍历XML和修改XML树
  • 进程管理(二)
  • 数字图像处理 基于numpy库的傅里叶变换
  • scrapy案例教程
  • 1-3 docker 安装 prometheus
  • Mac使用brew搭建kafka集群
  • 图形界面应用案例——关灯游戏(以及扩展)(python)
  • Android平台上执行C/C++可执行程序,linux系统编程开发,NDK开发前奏。
  • elasticsearch 基本使用,ES8.10
  • pytorch中常用的损失函数
  • 申克SCHENCK动平衡机显示器维修CAB700系统控制面板
  • 【论文阅读】PSDF Fusion:用于动态 3D 数据融合和场景重建的概率符号距离函数
  • React 测试笔记 03 - 测试 Redux 中 Reducer 状态变化
  • xilinx primitives(原语)
  • 机器学习 - DBSCAN聚类算法:技术与实战全解析
  • kafka微服务学习
  • 5G网络切片,到底是什么?
  • linux安装nodejs
  • 第1天:Python基础语法(一)
  • ppt聚光灯效果
  • 图文解析 Nacos 配置中心的实现
  • P1918 保龄球