我需要解析一个非常大的文件,并将生成的实体存储在数据库中。
我期望每个文件最多有15万条记录,并且愿意分批处理这些记录。
有没有一种方法可以使用JPA对Play实体进行批量插入?
最佳答案
为了节省内存,您必须确保定期清除 session ,因此
Customer.em().getTransaction().begin();
for ( int i=1; i<=100000; i++ ) {
....
myCustomer.save();
if (i%1000==0) {
//Customer.em().getTransaction().commit();
Customer.em().flush();
Customer.em().clear();
//Customer.em().getTransaction().begin();
}
}
Customer.em().getTransaction().commit();
如果优化批次大小,将如何提高性能
hibernate.jdbc.batch_size 100
您可以简单地将最后一行添加到
application.conf
,所有hibernate。*属性都直接进入hibernate。有关详细信息,请参见JPAPlugin
的代码。