hpc - 如何在 Chapel 中附加稀疏域

我正在使用读取 CSV 的循环在 Chapel 中填充稀疏数组。

我想知道最好的模式是什么。

var dnsDom = {1..n_dims, 1..n_dims};
var spsDom: sparse subdomain(dnsDom);
for line in file_reader.lines() {
   var i = line[1]:int;
   var j = line[2]:int;
   spsDom += (i,j);
}

这是一种有效的方法吗？
我应该创建一个临时的元组数组并每(比如)10,000 行附加 spsDom 吗？

谢谢!

最佳答案

您在代码段中显示的方式将在每个 += 操作中扩展稀疏域的内部数组。正如你所建议的；以某种方式缓冲读取索引，然后批量添加它们肯定会由于添加索引数组的几种优化而表现得更好。

您可以类似地执行 += ，其中右侧是一个数组:

spsDom += arrayOfIndices;

稀疏域上 += 运算符的这种重载实际上是调用主要的批量添加方法 bulkAdd 。该方法本身有几个标志，可以帮助您在某些情况下获得更高的性能。请注意， += 重载以“最安全”的方式调用 bulkAdd 方法。即索引数组可以是随机顺序，可以包含重复项等。如果您有数组(在您从文件中读取的索引)满足一些要求(它们是否有序？是否有重复？您需要保留输入数组？)，你可以直接使用 bulkAdd 并传递几个优化标志。

有关 bulkAdd 的文档，请参阅 http://chapel.cray.com/docs/latest/builtins/internal/ChapelArray.html#ChapelArray.bulkAdd 。

编辑: 建立在有问题的片段之上的片段:

var dnsDom = {1..n_dims, 1..n_dims};
var spsDom: sparse subdomain(dnsDom);

//create an index buffer
config const indexBufferSize = 100;
var indexBufferDom: {0..#indexBufferSize};
var indexBuffer: [indexBufferDom] 2*int;

var count = 0;
for line in file_reader.lines() {

  indexBuffer[count] = (line[1]:int, line[2]:int);
  count += 1;

  // bulk add indices if the buffer is full
  if count == indexBufferSize {
    spsDom.bulkAdd(indexBuffer, dataSorted=true,
                                preserveInds=false,
                                isUnique=true);
    count = 0;
  }
}

// dump the final buffer that is (most likely) partially filled
spsDom.bulkAdd(indexBuffer[0..#count],  dataSorted=true,
                                        preserveInds=false,
                                        isUnique=true);

我还没有测试过，但我认为这应该捕获了基本思想。传递给 bulkAdd 的标志应该会产生最佳性能。当然，这取决于正在排序的输入缓冲区并且没有任何重复项。另请注意，与连续的相比，初始的 bulkAdd 会快得多。而且它们可能会变慢，因为该方法需要筛选现有索引并在必要时移动它们。所以更大的缓冲区可以提供更好的性能。

关于hpc - 如何在 Chapel 中附加稀疏域，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/45256177/