批量插入：

批量执行SQL语句：当需要成批插入或者更新记录时，可以采用java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独处理更有效率。

JDBC的批量处理语句包括下面三个方法：

  • addBatch(String)：添加需要批处理的SQL语句或是参数。
  • executeBatch()：执行批量处理语句。
  • clearBatch()：清空缓存的数据。

通常我们会遇到两种批量执行SQL语句的情况：

  • 多条SQL语句的批量处理;
  • 一个SQL语句的批量传参;

高效的批量插入：

举例：向数据表中插入20000条数据

  • 数据库中提供一个goods表，创建如下：
1
2
3
4
CREATE TABLE goods{
id INT PRIMARY KEY AUTO_INCREMENT,
NAME VARCHAR(20)
};

实现层次一：使用Statement

1
2
3
4
5
6
7
8
// 获取连接
Connection conn = JDBCUtils.getConnection();

Statement st = conn.createStatement();
for(int i = 1;i <= 20000;i++){
	String sql = "insert into goods(name) values('name_' + "+ i +")";
	st.executeUpdate(sql);
}

实现层次二：使用PreparedStatement

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
long start = System.currentTimeMillis();
// 获取连接
Connection conn = JDBCUtils.getConnection();
// sql插入语句，值用占位符替代
String sql = "insert into goods(name)values(?)";
PreparedStatement ps = conn.preparedStatement(sql);
for(int i =1;i <=20000;i++){
	ps.setString(1,"name_" + i);
	ps.executeUpdata();
}

long end = System.currenTimeMillis();
System.out.println("花费的时间为：" + (end - start));

JDBCUtils.closeResource(conn, ps);

实现层次三：

修改1：使用addBatch() / executeBatch() / clearBatch()

修改2：mysql服务器默认是关闭处理的，我们需要通过一个参数，让mysql开启批处理的支持。

  • ?rewriteBatchedStatements=true 写在配置文件的url后面

修改3：使用更新的 mysql 驱动,mysql-connector-java-5.1.37-bin.jar

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
@Test
public void tsteInsert1() throws Exception{
	long start = System.currenTimeMillis();
	// 获取连接	
	Connection conn = JDBCUtils.getConnection();
	// sql插入语句，值用占位符替代
	String sql = "insert into goods(name)values(?)";
	PreparedStatement ps = conn.preparedStatement(sql);
	
	for(int i = 1;i <= 1000000;i++){
		ps.setString(1,"name_" + i);
		
		//1："攒"sql
		ps.addBatch();
		if(i % 500 == 0){
			// 2：执行
			ps.executeBatch();
			// 3：清空
			ps.clearBatch();
		}
	}
	long end = System.currentTimellis();
	System.out.println("花费的时间为：" + (end - start));	// 20000条：625	1000000条：14733
	
	// 关闭
	JDBCUtils.closeResource(conn,ps);
}

实现层次四：

  • 在层次三的的基础上操作
  • 使用Connection 的 setAutoCommit (false）/ commit()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
@Test
public void testInsert2() throws Exception{
	long start = System.currentTimeMillis();
	// 获取连接
	Connection conn = JDBCUtils.getConnection();
		
	//1.设置为不自动提交数据
	conn.setAutoCommit(false);
	// sql插入语句，值用占位符填充	
	String sql = "insert into goods(name)values(?)";
	PreparedStatement ps = conn.prepareStatement(sql);
		
	for(int i = 1;i <= 1000000;i++){
		ps.setString(1, "name_" + i);
			
		//1.“攒”sql
		ps.addBatch();
			
		if(i % 500 == 0){
			//2.执行
			ps.executeBatch();
			//3.清空
			ps.clearBatch();
		}
	}
		
	//2.提交数据
	conn.commit();
		
	long end = System.currentTimeMillis();
	System.out.println("花费的时间为：" + (end - start));	//1000000条:4978 

	// 关闭	
	JDBCUtils.closeResource(conn, ps);

}

2021-04-08