本文介绍了Bulkloader CSV大小错误的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
导入带有大单元格的CSV文件时,Bulkloader引发以下错误:
[错误]数据源线程出错:字段大于字段限制(131072)
这是csv模块的常见问题,可以是修正:
csv.field_size_limit(sys.maxint)
如何让bulkloader执行此操作?解析方案
试试这个:
在bulkloader.yaml中添加:
python_preamble:
- 导入:csv_fix
...#其余的导入
在csv_fix中。 py add:
import csv,sys
csv.field_size_limit(sys.maxint)
Bulkloader raises the following error when importing a CSV file with large cells:
[ERROR ] Error in data source thread: field larger than field limit (131072)
This is a common problem for the csv module, which can be fixed with:
csv.field_size_limit(sys.maxint)
How can I make bulkloader execute this?
解决方案
Try this:
In bulkloader.yaml add:
python_preamble:
- import: csv_fix
... # the rest of your imports
In csv_fix.py add:
import csv, sys
csv.field_size_limit(sys.maxint)
这篇关于Bulkloader CSV大小错误的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!