JAVA代码处理百万级数据量插入ORACLE数据库

这种数据量建议采用原生JDBC进行处理,通过PreparedStatement+批量提交的方式,具体代码如下:

表结构如下:

create table XXX_FILE_FORM
(
  co_org_no           VARCHAR2(10),
  cont_no             VARCHAR2(40),
  term_no             NUMBER,
  due_date            VARCHAR2(8),
  amount_of_term      VARCHAR2(20),
  amount_of_principal VARCHAR2(20),
  interest_payments   VARCHAR2(20),
  principal_status    VARCHAR2(2),
  penalty             VARCHAR2(20),
  repay_of_principal  VARCHAR2(20),
  interest_paid_back  VARCHAR2(20),
  paid_interest_paid  VARCHAR2(20),
  reduct_of_principal VARCHAR2(20),
  interest_relief     VARCHAR2(20),
  penaly_relief       VARCHAR2(20),
  current_term_status VARCHAR2(1),
  trust_proj_no       VARCHAR2(20),
  recent_repay_time   VARCHAR2(10)
);

导入文件如下:

999_20191217.TXT

测试结果如下:

总数据条数为:700000
读取文件耗时:6秒
插入数据耗时:6秒

总数据条数为:1400000
读取文件耗时:12秒
插入数据耗时:32秒
经验分享 程序员 微信小程序 职场和发展