当前位置: 首页 > news >正文

MongoDB使用GridFS存储大数据(Java)

MongoDB 是一个灵活的 NoSQL 数据库,能够存储大量的数据。但是,当涉及到特别大的数据项,比如大文件、视频或大型图片时,MongoDB 提供了一个特殊的方法来存储这些数据:GridFS。

简介:

1. 什么是 GridFS?

GridFS 是 MongoDB 提供的一个规范和工具集,用于将大文件切分成多个较小的数据块并存储在 MongoDB 中。默认情况下,GridFS 将文件分成 255 KB 的数据块进行存储。

2. 如何工作?

当你使用 GridFS 存储文件时:

  • 文件被切分成多个小块。
  • 每个小块作为一个单独的文档存储在 chunks 集合中。
  • 文件的元数据(如文件名、类型等)将被存储在 files 集合中。

3. 为什么使用 GridFS?

如果你有一个超过 BSON 文档大小限制(16MB)的文件或数据,那么 GridFS 是一个理想的解决方案。即使不超过这个限制,GridFS 也对于存储大量需要快速随机访问的数据非常有用。

5. 其他注意事项

  • 性能:由于 GridFS 将大文件切分成较小的数据块,所以可以非常快速地访问文件的任意部分,而不需要加载整个文件。

  • 扩展性:MongoDB 和 GridFS 设计得非常适合扩展,所以你可以轻松地在集群上存储和管理大量的大文件。

Java中使用

使用 Java 的 MongoTemplate 来与 MongoDB 交互。想和GridFS 交互,你可以使用 GridFsTemplate

1. 添加依赖

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-mongodb</artifactId>
</dependency>

2. 配置 GridFsTemplate

在你的 Spring 配置中,你可以配置 GridFsTemplate bean。

@Configuration
public class GridFsConfig {@Beanpublic GridFsTemplate gridFsTemplate(MongoDatabaseFactory mongoDbFactory, MongoConverter mongoConverter) {return new GridFsTemplate(mongoDbFactory, mongoConverter);}
}

3. 使用 GridFsTemplate 存储文件

你可以使用 GridFsTemplatestore 方法来存储文件。

@Autowired
private GridFsTemplate gridFsTemplate;
public String addGridFs(InputStream content, String filename){ObjectId objectId = gridFsTemplate.store(content, filename);return objectId.toHexString();
}

4. 使用 GridFsTemplate 检索文件

为了从 GridFS 中检索文件,你可以使用 findOne 方法。

public InputStream getFile(String id) throws IOException {GridFSFile file = gridFsTemplate.findOne(new Query(Criteria.where("_id").is(id)));if (file != null) {GridFsResource resource = gridFsTemplate.getResource(file);return resource.getInputStream();}return null;}//根据名称查询多个文件
public List<InputStream> getFilesByName(String name) throws IOException {List<InputStream> inputStreams = new ArrayList<>();Query query = new Query(Criteria.where("filename").is(name));List<GridFSFile> files = gridFsTemplate.find(query).into(new ArrayList<>());for (GridFSFile file : files) {GridFsResource resource = gridFsTemplate.getResource(file);InputStream inputStream = resource.getInputStream();if (inputStream != null) {inputStreams.add(inputStream);}}return inputStreams;
}

5. 删除 GridFS 中的文件

//根据名称
public void deleteFile(String filename) {gridFsTemplate.delete(new Query(Criteria.where("filename").is(filename)));
}public void deleteFile(String id) {gridFsTemplate.delete(new Query(Criteria.where("_id").is(id)));
}
http://www.lryc.cn/news/137802.html

相关文章:

  • 内网穿透实战应用-windwos10系统搭建我的世界服务器,内网穿透实现联机游戏Minecraft
  • pytorch基于ray和accelerate实现多GPU数据并行的模型加速训练
  • [蓝帽杯 2022 初赛]domainhacker
  • 在 Pytorch 中使用 TensorBoard
  • Grafana Dashboard 备份方案
  • opencv-疲劳检测-眨眼检测
  • 2023-08-24力扣每日一题
  • 蚂蚁数科持续发力PaaS领域,SOFAStack布局全栈软件供应链安全产品
  • Java后端开发面试题——消息中间篇
  • C++ Windows API IsDebuggerPresent的作用
  • 【JVM 内存结构 | 程序计数器】
  • 华为云Stack的学习(一)
  • 人类反馈强化学习RLHF;微软应用商店推出AI摘要功能
  • day1:前端缓存问题
  • 学习网络编程No.4【socket编程实战】
  • HarmonyOS学习路之方舟开发框架—学习ArkTS语言(状态管理 四)
  • arcgis--坐标系
  • LFS学习系列 第5章. 编译交叉工具链(1)
  • 网络互联与互联网 - TCP 协议详解
  • 开源在线图片设计器,支持PSD解析、AI抠图等,基于Puppeteer生成图片
  • 在Linux系统上安装和配置Redis数据库,无需公网IP即可实现远程连接的详细解析
  • 跨平台图表:ChartDirector for .NET 7.1 Crack
  • 【unity数据持久化】XML数据管理器知识点
  • Linux——Shell常用运算符
  • C++(4)C++内存管理和命名空间
  • 一网打尽java注解-克隆-面向对象设计原则-设计模式
  • k8s-statefulset部署myql-Nodeport方式
  • MySQL双主架构、主从架构
  • 基于微信小程序的物流管理系统3txar
  • Maven 一键部署到 SSH 服务器