在MySQL中，插入数据的效率可以通过多种方式逐步提升。以下是从简单到复杂的优化路径，帮助你逐步提高数据插入的性能：
一、基础插入：逐条插入
这是最基础的插入方式，适用于少量数据的插入操作。虽然简单，但效率较低，因为每次插入都需要与数据库建立连接并发送请求。
示例：
INSERT INTO table_name (column1, column2) VALUES (value1, value2);
缺点：
每次插入都需要建立连接和提交事务。
适合小数据量，不适合大数据量。
二、批量插入（VALUES方式）
这是MySQL中推荐的批量插入方式，通过一次SQL语句插入多条数据，减少与数据库的交互次数。
示例：
INSERT INTO table_name (column1, column2)
VALUES
(value1, value2),
(value3, value4),
(value5, value6);
优点：
一次插入多条数据，减少网络开销。
适合中等规模的数据插入。
注意事项：
SQL语句长度不能超过MySQL的max_allowed_packet限制。
如果数据量太大，可能会导致内存溢出或插入失败。
三、分批次插入（分片+事务）
当数据量非常大时，可以将数据分成多个批次进行插入，每个批次使用事务提交，避免一次性插入过多数据导致性能问题。
示例（Java + MyBatis）：
List<User> userList = ...; // 所有数据
int batchSize = 1000; // 每批插入1000条
for (int i = 0; i < userList.size(); i += batchSize) {
List<User> batch = userList.subList(i, Math.min(i + batchSize, userList.size()));
userMapper.batchInsert(batch);
}
优点：
分批次插入可以避免内存溢出。
事务提交可以保证数据一致性。
适合大数据量插入。
注意事项：
每次插入的批次大小需要根据实际情况调整，通常在1000~5000条之间。
如果使用MyBatis，可以结合ExecutorType.BATCH来提高性能。
四、使用LOAD DATA INFILE（高级方式）
这是MySQL中最快的数据导入方式，适用于从文本文件导入大量数据。它通过读取文件一次性加载数据，避免了逐条插入的开销。
示例：
LOAD DATA INFILE '/path/to/data.txt'
INTO TABLE table_name
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n';
优点：
速度远快于INSERT语句。
适合从文件导入大量数据。
注意事项：
需要确保文件路径可访问。
需要配置MySQL的local_infile参数为ON。
适用于ETL、数据迁移等场景。
五、使用JDBC批量插入（rewriteBatchedStatements）
在JDBC连接中设置rewriteBatchedStatements=true，可以开启MySQL的批量插入优化功能，自动将多个INSERT语句合并为一个。
示例（Java连接URL）：
String url = "jdbc:mysql://localhost:3306/mydb?rewriteBatchedStatements=true";
优点：
自动优化SQL语句，提高插入效率。
适合MyBatis等ORM框架。
注意事项：
需要确保MySQL版本支持该参数。
与MyBatis结合使用时，可以进一步优化性能。
六、使用MyBatis的批量插入（推荐）
MyBatis提供了批量插入的功能，可以通过foreach标签生成批量插入语句，并结合事务管理来提高性能。
示例（MyBatis XML）：
<insert id="batchInsert" parameterType="java.util.List">
INSERT INTO table_name (column1, column2)
VALUES
<foreach collection="list" item="model" index="index" separator=",">
(#{model.column1}, #{model.column2})
</foreach>
</insert>
示例（Java代码）：
SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {
UserMapper userMapper = sqlSession.getMapper(UserMapper.class);
for (User user : userList) {
userMapper.insert(user);
}
sqlSession.commit();
} finally {
sqlSession.close();
}
优点：
支持MyBatis的批量处理功能。
事务管理保证数据一致性。
适合复杂业务场景。
注意事项：
需要配置ExecutorType.BATCH。
每次插入的批次大小需要合理设置。
七、使用LOAD DATA命令（最高效方式）
对于从文件导入数据的场景，LOAD DATA是最高效的方式。它通过读取文件一次性加载数据，避免了逐条插入的开销。
示例：
LOAD DATA INFILE '/path/to/data.csv'
INTO TABLE table_name
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES; -- 忽略表头
优点：
速度最快，适合大规模数据导入。
无需事务管理，适合ETL、数据迁移等场景。
注意事项：
需要确保文件路径可访问。
需要配置MySQL的local_infile参数为ON。
适合批量导入数据，不适合实时插入
总结：从简单到最优的插入方式
最佳实践建议
优先使用LOAD DATA INFILE：对于从文件导入数据的场景，这是最高效的方式。
合理设置批量大小：根据数据量和内存限制，设置合适的批次大小（通常在1000~5000条之间）。
使用事务管理：在批量插入时，使用事务管理保证数据一致性。
开启JDBC批量插入：在JDBC连接中设置
rewriteBatchedStatements=true，提高插入效率。
避免使用UUID主键：在插入数据时，按主键顺序插入，可以减少索引维护成本。
通过以上方法，你可以逐步优化MySQL的插入性能，提高数据处理效率。