当前位置：首页 > news >正文

SQLite利用事务实现批量插入（提升效率）

news 2025/8/9 2:37:25

在尝试过SQLite批量插入一百万条记录，执行时长高达20多分钟后，就在想一个问题，这样的性能是不可能被广泛应用的，更不可能出现在真实的生产环境中，那么对此应该如何优化一下呢？

首先分析一下批量插入的逻辑

//循环插入1,000,000条记录
for (int i = 0; i < 1000000; i++) {//执行插入操作rowsInserted = pstmt.executeUpdate();
}
//输出计时

上述代码创建一个循环，循环一百万次，每一次循环更新插入一条数据，这样一来就是对数据库操作了一百万次，虽然实现了批量操作，但是却对数据库造成了很大的开销，如果数据量再进一步扩大，此方法保不齐会让服务崩掉，所以这不是个最优解。

能不能对数据库只操作一次，就能实现数据的批量操作呢？

事务

我可以开启一个事务，把一百万次的循环插入放到一个批处理中，最后提交事务，这样一来只对数据库进行一次操作实现数据批量插入。

接下来设计代码：

import java.sql.*;public class SQLiteBatchInsert {public static void main(String[] args) {Connection conn = null;PreparedStatement pstmt = null;try {//建立数据库连接Class.forName("org.sqlite.JDBC");conn = DriverManager.getConnection("jdbc:sqlite:D:\\env\\SQLite\\data\\user.db");//设置手动提交事务conn.setAutoCommit(false);String tableName = "user";// 准备SQL语句String sql = "INSERT INTO " + tableName + " (name, age) VALUES (?,?)";pstmt = conn.prepareStatement(sql);//批量添加数据for (int i = 0; i < 1000000; i++) {pstmt.setString(1, "王五");pstmt.setString(2, "25");pstmt.addBatch();}// 记录执行开始时间double startTime = System.currentTimeMillis();//执行批处理pstmt.executeBatch();//提交事务conn.commit();//记录执行结束时间double endTime = System.currentTimeMillis();double duration = endTime - startTime;System.out.println("Batch insert successful!");System.out.println("执行时间为："+duration/1000+"s");} catch (SQLException | ClassNotFoundException e) {e.printStackTrace();if (conn != null) {try {//如果出现异常，回滚事务conn.rollback();} catch (SQLException ex) {ex.printStackTrace();}}} finally {//关闭资源try {if (pstmt != null) pstmt.close();if (conn != null) conn.close();} catch (SQLException e) {e.printStackTrace();}}}
}