java - 在HIVE中运行UDF进行自定义反序列化时为OWN_TASK_FAILURE。

我正在编写一个配置单元脚本，以从源中提取数据并将其添加到其他目标。源中存储的数据采用自定义格式。因此，我正在使用Hive UDF来获取数据，反序列化并返回List<String>(我已经尝试过List<org.apache.hadoop.io.Text>)。

我使用4个字符串参数创建了一个Hive表(HIVE_TABLE)，然后运行以下Hive查询。

> INSERT OVERWRITE TABLE HIVE_TABLE SELECT udfFunction(colName)[0], udfFunction(colName)[1], udfFunction(colName)[2], udfFunction(colName)[3] from sourceTable;

其中“udfFunction”是我的返回List<String>的customFunction，“colName”将序列化的数据存储在sourceTable(另一个配置单元表)中。

执行上述脚本后，出现以下异常。

Container exited with a non-zero exit code 255 ]]], Vertex did not succeed due to OWN_TASK_FAILURE, failedTasks:1 killedTasks:0, Vertex vertex_1489044803200_0651_1_00 [Map 1] killed/failed due to:OWN_TASK_FAILURE]DAG did not succeed due to VERTEX_FAILURE. failedVertices:1 killedVertices:0

有人可以解释我们何时获得OWN_TASK_FAILURE异常以及上述策略出了什么问题吗？

最佳答案

尝试将mr设置为执行引擎:

set hive.execution.engine=mr;

有时很难使用tez进行调试。