我需要解析一个非常大的文件,并将生成的实体存储在数据库中。
我期望每个文件最多有15万条记录,并且愿意分批处理这些记录。

有没有一种方法可以使用JPA对Play实体进行批量插入?

最佳答案

为了节省内存,您必须确保定期清除 session ,因此

Customer.em().getTransaction().begin();
for ( int i=1; i<=100000; i++ ) {
   ....
   myCustomer.save();
   if (i%1000==0) {
       //Customer.em().getTransaction().commit();
       Customer.em().flush();
       Customer.em().clear();
       //Customer.em().getTransaction().begin();
   }
}
Customer.em().getTransaction().commit();

如果优化批次大小,将如何提高性能hibernate.jdbc.batch_size 100
您可以简单地将最后一行添加到application.conf,所有hibernate。*属性都直接进入hibernate。有关详细信息,请参见JPAPlugin的代码。

10-05 23:11
查看更多