matlab - Matlab中“内存不足”错误的解决方案

我有一个很大的文本文件(大约11GB)，需要在matlab中加载。但是当我使用“文本读取”功能时，会出现“内存不足”错误。并且无法减小文件大小。当我键入内存时，请告诉我。

memory
Maximum possible array:     24000 MB (2.517e+10 bytes) *
Memory available for all arrays:     24000 MB (2.517e+10 bytes) *
Memory used by MATLAB:      1113 MB (1.167e+09 bytes)
Physical Memory (RAM):     16065 MB (1.684e+10 bytes)

*  Limited by System Memory (physical + swap file) available.

有谁能解决这个问题？

最佳答案

@Anthony提出了一种逐行读取文件的方法，这非常好，但是最新的(> = R2014b)MATLAB版本具有 datastore 功能，该功能旨在处理成块的大型数据文件。

根据文本文件的格式，可以使用几种datastore类型。在最简单的情况下(例如CSV文件)，自动检测效果很好，您可以简单地说

ds = datastore('myCsvFile.csv');
while hasdata(ds)
    chunkOfData = read(ds);
    ... compute with chunkOfData ...
end

在最新的(> = R2016b)MATLAB版本中，您可以进一步走一步，将datastore包装到 tall 数组中。 tall数组使您可以处理太大而无法一次全部放入内存的数据。 (在后台，tall数组以块为单位执行计算，并且仅当您通过调用gather要求它们时才为您提供结果)。例如:

tt = tall(datastore('myCsvFile.csv'));
data = tt.SomeVariable;
result = gather(mean(data)); % Trigger tall array evaluation

关于matlab - Matlab中“内存不足”错误的解决方案，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/55846862/