java - Weka CSVloader-错误(错误的数值。读取)

我试图通过使用weka将CSV转换为ARFF。但是它弹出这些错误信息。

weka.core.converters.CSVLoaderfailed to lead <my file>
Reason:
wrong number of values. Read 7, expected 9, read Token[EOL], line 26

我试图替换" ' , %那些特殊字符，但也保持不变。

任何的想法？

https://drive.google.com/open?id=1__u9SGOxd-ShU9Eei3tDjZ9s1MxzKEKZ
链接文件

最佳答案

简短答案：

值内部的换行是问题。用其他东西代替它们，例如空格。

长答案：

问题在于您的值包含换行符（\n等），而Weka的CSVLoader无法处理它。第26行是文件中包含此类换行符的第一行，但是CSVLoader认为该行仅在读取了7个字段后结束。

看看source code：

private void initTokenizer(StreamTokenizer tokenizer) {
  tokenizer.resetSyntax();
  tokenizer.whitespaceChars(0, (' ' - 1));
  tokenizer.wordChars(' ', '\u00FF');
  tokenizer.whitespaceChars(m_FieldSeparator.charAt(0),
    m_FieldSeparator.charAt(0));
  // tokenizer.commentChar('%');

  String[] parts = m_Enclosures.split(",");
  for (String e : parts) {
    if (e.length() > 1 || e.length() == 0) {
      throw new IllegalArgumentException(
        "Enclosures can only be single characters");
    }
    tokenizer.quoteChar(e.charAt(0));
  }

  tokenizer.eolIsSignificant(true);    // <--- This line is important
}

那里的最后一行基本上说令牌处理程序应将行尾（EOL）视为特殊字符（请参见API doc）：


  如果该标志为假，则将行尾字符视为空格，并且仅用于分隔令牌。


CSVLoader的getInstance方法包含以下逻辑（概述）：

private String getInstance(StreamTokenizer tokenizer) throws IOException {

    // [...]

    boolean first = true;
    boolean wasSep;
    m_current.clear();

    int i = 0;
    while (tokenizer.ttype != StreamTokenizer.TT_EOL
      && tokenizer.ttype != StreamTokenizer.TT_EOF) {

      // Get next token
      if (!first) {
        StreamTokenizerUtils.getToken(tokenizer);
      }

      if (tokenizer.ttype == m_FieldSeparator.charAt(0)
        || tokenizer.ttype == StreamTokenizer.TT_EOL) {
        m_current.add("?");
        wasSep = true;
      } else {
        // Parsing values
        // [...]
      }

      if (!wasSep) {
        StreamTokenizerUtils.getToken(tokenizer);
      }
      first = false;
      i++;
    }

    // check number of values read
    if (m_current.size() != m_structure.numAttributes()) {
      for (Object o : m_current) {
        System.out.print(o.toString() + "|||");
      }
      System.out.println();
      StreamTokenizerUtils.errms(tokenizer, "wrong number of values. Read "
        + m_current.size() + ", expected " + m_structure.numAttributes());

    }
  // [...]
}

因此，不管换行符是否在引号内，令牌生成器始终会将其视为StreamTokenizer.TT_EOL，这将结束读取记录，因此最终得到的字段少于预期。

关于java - Weka CSVloader-错误(错误的数值。读取)，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/52286909/