mysql - 如何优化执行插入数据库的脚本？

因此，我已经完成了一个脚本，该脚本会将数据插入mysql表并将这些文件移动到目录中，直到所有文件都不存在为止。大约有51个文件，大约花了9秒钟才能完成执行。所以我的问题是。有没有更好的方法来加快执行过程？

代码是

our $DIR="/home/aimanhalim/LOG";
our $FILENAME_REGEX = "server_performance_";
# mariaDB config hash
our %db_config = ( "username"=>"root", "password"=> "", "db"=>"Top_Data", "ip" => "127.0.0.1", "port" => "3306");
main();

exit;


sub main()
{
    my $start = time();
   print "Searching file $FILENAME_REGEX in $DIR...\n";
   opendir (my $dr , $DIR) or die "<ERROR> Cannot open dir: $DIR \n";
   while( my $file = readdir $dr )
   {
      print "file in $DIR: [$file]\n";
      next if (($file eq ".") || ($file eq "..") || ($file eq "DONE"));



      #Opening The File in the directory
      open(my $file_hndlr, "<$DIR/$file");

      #Making Variables.
      my $line_count = 0;
      my %data = ();
      my $dataRef = \%data;
      my $move = "$DIR/$file";
      print "$file\n";
      while (<$file_hndlr>)
      {
         my $line = $_;
         chomp($line);
         print "line[$line_count] - [$line]\n";
         if($line_count == 0)
         {
            # get load average from line 0
            ($dataRef) = get_load_average($line,$dataRef);

            print Dumper($dataRef);

         }
         elsif ($line_count == 2)
         {

          ($dataRef) = get_Cpu($line,$dataRef);
          print Dumper($dataRef);

         }

$line_count++;
      }

      #insert db
      my ($result) = insert_record($dataRef,\%db_config,$file);
      my $Done_File="/home/aimanhalim/LOG/DONE";


sub insert_record(){

 my($data,$db_config,$file)=@_;
 my $result = -1; # -1 fail;  0 - succ

  # connect to db
  # connect to MySQL database
  my $dsn = "DBI:mysql:database=".$db_config->{'db'}.";host=".$db_config->{'ip'}.";port=".$db_config->{'port'};
my $username = $db_config->{'username'};
my $password = $db_config->{'password'};

my %attr = (PrintError=>0,RaiseError=>1 );
my $dbh = DBI->connect($dsn,$username,$password,\%attr) or die $DBI::errstr;

print "We Have Successfully Connected To The Database \n";

  $stmt->execute(@param_bind);
  ****this line is insert data statement***
  $stmt->finish();
    print "The Data Has Been Inserted Successfully\n";
  $result = 0;
  return($result);

  # commit
  $dbh->commit();
  # return succ / if fail rollback and return fail
  $dbh->disconnect();

}
exit;

已编辑

因此，这几乎是我的代码，在这里和那里进行了一些剪裁。

我试图将'insert_record'放在注释#insert db下方，但我不认为可以做任何事情：U

最佳答案

您正在连接到要插入的每个文件的数据库（如果我正确阅读了代码，则似乎缺少右花括号，它实际上不会编译）。打开新的数据库连接（相对）较慢。

在插入第一个文件之前，请先打开一次连接，然后再将其用于随后的插入数据库中。将最后一个文件插入数据库后，关闭连接。这应该使您明显加快。

（根据数据量，9秒实际上可能还不错；但是由于没有关于此的信息，很难说）。

关于mysql - 如何优化执行插入数据库的脚本？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/57651938/