我有一个具有200万记录的.csv文件,我的目标是将其写入hbase数据库。
编码:
try { using (FileStream reader = File.OpenRead(@"C:\Data.csv"))
using (TextFieldParser parser = new TextFieldParser(reader))
{
parser.TrimWhiteSpace = true; // if you want
parser.Delimiters = new[] { " " };
parser.HasFieldsEnclosedInQuotes = true;
while (!parser.EndOfData)
{
//Process the data
hbaseClient.StoreCells(hbaseTableName, set);
}
} } catch(Exception e) {
}
上载多达80万条记录的数据后,出现超时异常。有什么我可以避免这种超时的措施吗?
最佳答案
每次执行此操作时都会发生这种情况吗?尝试2-3次,看看是否重复。它是在添加某些记录之后发生的事实,这意味着发生了除数据问题以外的事情。超时异常表示服务器可能已关闭或由于网络问题。请尝试多次重复相同的操作,如果错误仍然存在,则应该是另一个原因。另外,请添加整个异常堆栈跟踪,以更好地理解
关于c# - 使连接保持事件状态以从.csv文件读取批量数据,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/31608568/