java - 当json中有韩语时，使用embulk-output-bigquery插件进行Embulk作业失败

我们使用Embulk v0.8.13插件，embulk-input-redshift（0.7.4），插件embulk-output-bigquery（0.4.2）

JSON中出现韩语错误时作业失败：


  org.jruby.exceptions.RaiseException：（错误）在等待加载作业期间失败，get_job（vuclipdataflow-1301，embulk_load_job_bc325bd0-6b78-4ca9-954a-7915dbe4cc55），错误：[{：reason =>“ invalid”，：message = >“遇到太多错误。”}，{：原因=>“无效”，：location =>“ / gzip / subrange / file-00000000”，：message =>“ CSV表引用列位置20，但行始于位置：22635868仅包含20列。“}]
  {“ user_geo”：“ 10”，“ user_ccode”：“ ID”，“ user_name”：“신제군”，“ acq_campaign”：“ Viu_ID_TKM”}


所有这些信息都应放在一列中，但栓塞无法正确处理朝鲜语，结尾部分acq_campaign":"Viu_ID_TKM
将在tmp csv中拆分为新列，然后导致上述异常。

如何解决？请帮助。

最佳答案

我通过添加选项“ allow_quoted_newlines”解决了相同的问题。

# config.yml
in:
  ...
out:
  ...
  allow_quoted_newlines: true

关于java - 当json中有韩语时，使用embulk-output-bigquery插件进行Embulk作业失败，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/41592617/