数据库数据快速插入的方法
问题:
需要在mysql中造大量的数据。
方式:
一、insert 一条一条插入数据到数据库中。 不适合大量数据的插入。
二、LOAD DATA INFILE 方案
三、extend insert语句(批量插入)
四、使用 mysqlimport 导入数据
优先文案:
二、LOAD DATA INFILE
如果你正在寻找提高原始性能的方案,这无疑是你的首选方案。
LOAD DATA INFILE 是一个专门为 MySQL 高度优化的语句,它直接将数据从 CSV / TSV 文件插入到表中。
注意:
导入的csv/tsv文件的文件名需要与数据库的表名相同。列的顺序与配置文件中的相同。如果第一行是列名,导入时,需要忽略第一行。
如下为一个csv文件示例, csv一般以逗号分隔。
id,tt
200000000000000000000000,200000000000000000000000 200000000000000000000001,200000000000000000000001
1、有两种方法可以使用 LOAD DATA INFILE。你可以把数据文件拷贝到服务端数据目录(通常 /var/lib/mysql-files/),并且运行:
LOAD DATA INFILE /path/to/products.csv INTO TABLE products;
2、直接从本地系统中读取。
LOAD DATA LOCAL INFILE /path/to/products.csv INTO TABLE products;
客户端文件系统中读取文件,将其透明地拷贝到服务端临时目录,然后从该目录导入。总而言之,这几乎与直接从服务器文件系统加载文件一样快,不过,你需要确保服务器启用了local_infile。如果该选项不能使用local选项。临时开户local_infile也是一个好的选择。
show VARIABLES like "local_infile";
三、extend insert语句(批量插入)
INSERT INTO user (id, name) VALUES (1, Ben), (2, Bob);
批量插入数据,一批插入多少,需要对比测试。
四、使用 mysqlimport 导入数据
mysqlimport 客户端提供了 LOAD DATA INFILEQL 语句的一个命令行接口。mysqlimport 的大多数选项直接对应 LOAD DATA INFILE 子句。
从文件 dump.txt 中将数据导入到 mytbl 数据表中, 可以使用以下命令:
mysqlimport --ignore-lines=1 --fields-terminated-by=, --verbose --local -u root query C:/mysql/bin/mysql-files/address.csv mysqlimport -h 127.0.0.1 -uxxxx -pxxx --ignore-lines=1 --fields-terminated-by=, --verbose --local address address.csv
mysqlimport的常用选项介绍
参考文档: