c# - 批量大小如何影响批量插入性能？

我在 syabse 数据库中进行批量插入，方法是对插入查询进行分组并将其批量发送到数据库，其中批处理的大小是可配置的，代码看起来有点像这样

public static void InsertModelValueInBulk(DataSet modelValueData, int clsaId)
    {
        int batchSize = Convert.ToInt32(ConfigurationManager.AppSettings["BatchSize"].ToString());
        IList<string> queryBuffer = new List<string>();
        using (var connection = GetAseConnection())
        {
            connection.Open();
            var tran = connection.BeginTransaction();
            try
            {
                for (int i = 0; i < modelValueData.Tables[0].Rows.Count; i++)
                {

                    var insertItem = string.Format(@"select '{0}',{1},{2},{3},'{4}','{5}','{6}',{7}", row["ModelValueID"], Convert.ToInt32(row["StockModelID"]), Convert.ToInt32(row["ModelItemID"]),
                                                                      fyeStr, row["Period"], value, row["UpdatedUser"], clsaId);
                    queryBuffer.Add(insertItem);
                    if (queryBuffer.Count % (batchSize) == 0 && queryBuffer.Count > 0)
                    {
                        var finalQuery = @"INSERT INTO InsertTable (ModelValueID, StockModelID, ModelItemID, FYE, Period, Value, UpdatedUser,id)
         " + String.Join(" union ", queryBuffer.ToArray<string>());

                        using (var cmd = new AseCommand(finalQuery, connection, tran))
                        {
                                cmd.ExecuteNonQuery();
                        }
                        queryBuffer.Clear();
                    }
                }
                tran.Commit();
            }
            catch
            {
                tran.Rollback();
                throw;
            }
            finally
            {
                tran.Dispose();
            }
        }
    }

使用此观察到的批量大小与插入 20000 所花费的时间的性能形成 J 曲线，样本数据有点像

批量大小 10 => 操作在 30 秒内完成，当批量大小为 50 => 20 秒、100=>10 秒、200=>20 秒、500 30 秒、1000=>1 分钟时。

想了解这条 J 曲线背后的原因是什么。它与应用程序服务器内存或某些数据库服务器设置或其他内容有关吗？是什么使 100 最佳化，可以进一步调整吗？

最佳答案

BULK 插入在批量大小期间锁定表。锁有一个基本的开销，所以小批量几乎不会受益，但确实让其他操作发生在批次之间的表上。

所以在某种程度上，大批量是好的。因为它是一个事务，所以在当前批处理完成之前不会提交数据。这意味着写入日志文件。真正的大批量会导致日志增长，这是 IO 密集型，随着更多日志将被使用，它也会增加争用。

沿着这些路线的东西。

编辑:另外两件事
1) 使用参数化输入
2)如果你不做#1，“union”会导致一个不同的。使用“联合所有”

关于c# - 批量大小如何影响批量插入性能？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/8671570/