我正在运行在此站点http://www.norstad.org/matrix-multiply/index.html上找到的MapReduce Matrix Multiplication.java程序。
(可以在网站末尾看到源代码)
当我执行它时，它说输入不是SequenceFile
我的输入文件最近是inputA.txt，看起来像这样
A,0,1,1.0
A,0,2,2.0
A,0,3,3.0
A,0,4,4.0
A,1,0,5.0
A,1,1,6.0
A,1,2,7.0
A,1,3,8.0
A,1,4,9.0
格式:MatrixName，row，col，element
当然，它没有用。
由于其算法，我真的很想运行此源代码。那么在这种情况下如何生成正确的SequenceFile？
我可以从已有的.txt文件生成它吗？
最佳答案
查看TestMatrixMultiply中包含的测试代码(在您提供的链接上)应该可以为您提供一些帮助。
我已经抽出了一些相关的知识来帮助您入门。此(未经测试的)代码应创建两个序列文件(请参阅testIdentity())。
您可以在writeMatrix方法中看到它如何创建SequenceFile和使用的结构，我认为这与实际的mapreduce作业相同。
您可以扩展此代码以读取文本文件，正确填充2D矩阵数组，然后编写序列文件。
public class TestMatrixMultiply {
private static final String DATA_DIR_PATH = "/tmp/MatrixMultiply";
private static final String INPUT_PATH_A = DATA_DIR_PATH + "/A";
private static final String INPUT_OATH_B = DATA_DIR_PATH + "/B";
private static Configuration conf = new Configuration();
private static FileSystem fs;
public static void writeMatrix (int[][] matrix,
int rowDim, int colDim, String pathStr) throws IOException {
Path path = new Path(pathStr);
SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf, path,
MatrixMultiply.IndexPair.class, IntWritable.class,
SequenceFile.CompressionType.NONE);
MatrixMultiply.IndexPair indexPair = new MatrixMultiply.IndexPair();
IntWritable el = new IntWritable();
for (int i = 0; i < rowDim; i++) {
for (int j = 0; j < colDim; j++) {
int v = matrix[i][j];
if (v != 0) {
indexPair.index1 = i;
indexPair.index2 = j;
el.set(v);
writer.append(indexPair, el);
}
}
}
writer.close();
}
public static void main (String[] args) throws Exception {
new GenericOptionsParser(conf, args);
fs = FileSystem.get(conf);
fs.mkdirs(new Path(DATA_DIR_PATH));
A = new int[][] { {1,0}, {0,1}};
B = new int[][] { {1,0}, {0,1}};
writeMatrix(A, 2, 2, INPUT_PATH_A);
writeMatrix(B, 2, 2, INPUT_OATH_B);
}
}
您应该注意，这种方法对于少量数据是可以的。一旦开始达到任何比例，您可能都想编写一个mapreduce作业，将文本文件作为输入并写出序列文件。