我有一个具有200万记录的.csv文件,我的目标是将其写入hbase数据库。

编码:

try { using (FileStream reader = File.OpenRead(@"C:\Data.csv"))
            using (TextFieldParser parser = new TextFieldParser(reader))
            {
                parser.TrimWhiteSpace = true; // if you want
                parser.Delimiters = new[] { " " };
                parser.HasFieldsEnclosedInQuotes = true;

                while (!parser.EndOfData)
                {
                    //Process the data
                       hbaseClient.StoreCells(hbaseTableName, set);
                 }
             } } catch(Exception e) {

}

上载多达80万条记录的数据后,出现超时异常。有什么我可以避免这种超时的措施吗?

最佳答案

每次执行此操作时都会发生这种情况吗?尝试2-3次,看看是否重复。它是在添加某些记录之后发生的事实,这意味着发生了除数据问题以外的事情。超时异常表示服务器可能已关闭或由于网络问题。请尝试多次重复相同的操作,如果错误仍然存​​在,则应该是另一个原因。另外,请添加整个异常堆栈跟踪,以更好地理解

关于c# - 使连接保持事件状态以从.csv文件读取批量数据,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/31608568/

10-14 05:26