java - 如何使用多线程将List中的数据插入DB表中以提高性能？

我必须从文本文件(每个记录由制表符分隔)中读取Employee数据到ArrayList中。然后，我必须将此雇员对象从列表插入DB的Employee表中。为此，我一步一步地遍历列表元素，并将一次Employee详细信息一次插入DB中。不建议在性能上明智地使用这种方法，因为我们可以拥有10万条以上的记录，并且插入整个数据将花费大量时间。

在将数据从列表插入数据库时​​，如何在此处使用多线程处理以提高性能。同样，我们如何使用CountDownLatch和ExecutorService类来优化此方案。

ReadWriteTest

public class ReadWriteTest {

public static void main(String... args) {
    BufferedReader br = null;
    String filePath = "C:\\Documents\\EmployeeData.txt";
    try {
        String sCurrentLine;
        br = new BufferedReader(new FileReader(filePath));
        List<Employee> empList = new ArrayList<Employee>();

        while ((sCurrentLine = br.readLine()) != null) {
            String[] record = sCurrentLine.split("\t");
            Employee emp = new Employee();
            emp.setId(record[0].trim());
            emp.setName(record[1].trim());
            emp.setAge(record[2].trim());
            empList.add(emp);
        }
        System.out.println(empList);

        writeData(empList);

    } catch (IOException | SQLException e) {
        e.printStackTrace();
    }
}

public static void writeData(List<Employee> empList) throws SQLException {
    Connection con =null;
    try{
        Class.forName("oracle.jdbc.driver.OracleDriver");

        con=DriverManager.getConnection("jdbc:oracle:thin:@localhost:1521:xe","system","oracle");
        for(Employee emp : empList)
        {
        PreparedStatement stmt=con.prepareStatement("insert into Employee values(?,?,?)");
        stmt.setString(1,emp.getId());
        stmt.setString(2,emp.getName());
        stmt.setString(3,emp.getAge());
        stmt.executeUpdate();
        }
        }catch(Exception e){
            System.out.println(e);
        }
        finally{
            con.close();
        }
        }
}

员工类别

public class Employee {

String id;
String name;
String age;

public String getId() {
    return id;
}
public void setId(String id) {
    this.id = id;
}
public String getName() {
    return name;
}
public void setName(String name) {
    this.name = name;
}
public String getAge() {
    return age;
}
public void setAge(String age) {
    this.age = age;
}
@Override
public String toString() {
    return "Employee [id=" + id + ", name=" + name + ", age=" + age + "]";
}
}

EmployeeData.txt

1   Sachin  20
2   Sunil   30
3   Saurav  25

最佳答案

直接导入

Java应用程序方法的替代方法是数据库方法。所有主要数据库都有可以直接将数据从文本文件导入表的工具。

Postgres具有 COPY 命令。这可以是run from the command line或在SQL中。参见the wiki page进行讨论。

查看您的数据库工具集。