php - 处理10万个条目的数据馈送的更有效方法？

我有一个csv文件，大约需要处理10万个条目并将其插入数据库中。

以前这很慢，因为它会为每个条目进行一次SQL调用。我这样做虽然是因为如果我尝试建立1个单个查询来执行此操作，我将用光内存。

我迁移到新服务器，现在每次运行它都会收到错误消息：


  SQL错误：2006 MySQL服务器已消失


我不确定，但是认为这只是因为我的代码效率低下而已。

我该怎么做才能使其性能更好并且不会出现错误？

这是代码：

//empty table before saving new feed
$model->query('TRUNCATE TABLE diamonds');

$fp = fopen($this->file,'r');

while (!feof($fp))
{
    $diamond = fgetcsv($fp);

    //skip the first line
    if(!empty($firstline))
    {
        $firstline = true;
        continue;
    }

    if(empty($diamond[17]))
    {
        //no price -- skip it
        continue;
    }

    $data = array(
        'seller'             => $diamond[0],
        'rapnet_seller_code' => $diamond[1],
        'shape'              => $diamond[2],
        'carat'              => $diamond[3],
        'color'              => $diamond[4],
        'fancy_color'        => $diamond[5],
        'fancy_intensity'    => $diamond[6],
        'clarity'            => empty($diamond[8]) ? 'I1' : $diamond[8],
        'cut'                => empty($diamond[9]) ? 'Fair' : $diamond[9],
        'stock_num'          => $diamond[16],
        'rapnet_price'       => $diamond[17],
        'rapnet_discount'    => empty($diamond[18]) ? 0 : $diamond[18],
        'cert'               => $diamond[14],
        'city'               => $diamond[26],
        'state'              => $diamond[27],
        'cert_image'         => $diamond[30],
        'rapnet_lot'         => $diamond[31]
    );

    $measurements = $diamond[13];
    $measurements = strtolower($measurements);
    $measurements = str_replace('x','-',$measurements);
    $mm = explode('-',$measurements);

    $data['mm_width'] = empty($mm[0]) ? 0 : $mm[0];
    $data['mm_length'] = empty($mm[1]) ? 0 : $mm[1];
    $data['mm_depth'] = empty($mm[2]) ? 0 : $mm[2];

    //create a new entry and save the data to it.
    $model->create();
    $model->save($data);

}
fclose($fp);

最佳答案

您可能超出了MySQL的max_allowed_packet设置，该设置对查询字符串的长度设置了硬限制（以字节为单位）。进行多值插入没有什么错，但是其中肯定有100k可以推动。

而不是一次完成全部100k，请尝试循环执行1000。您仍在减少查询总数（从10万减少到仅1000），因此仍然是净收益。