每隔15分钟,我会看到以下日志条目:



我一直在阅读此问题,但我的表看不到任何错误:
NoSpamLogger.java Maximum memory usage reached Cassandra

我有4张大 table :

iot_data/derived_device_data histograms
Percentile  SSTables     Write Latency      Read Latency    Partition Size        Cell Count
                          (micros)          (micros)           (bytes)
50%             0.00              0.00              0.00               642                12
75%             0.00              0.00              0.00             17084               642
95%             0.00              0.00              0.00            263210             11864
98%             0.00              0.00              0.00           1629722             61214
99%             0.00              0.00              0.00           1955666             88148
Min             0.00              0.00              0.00               150                 0
Max             0.00              0.00              0.00           4055269            152321


iot_data/derived_device_data_by_year histograms
Percentile  SSTables     Write Latency      Read Latency    Partition Size        Cell Count
                          (micros)          (micros)           (bytes)
50%             0.00              0.00              0.00             51012              1597
75%             0.00              0.00              0.00           2346799             61214
95%             0.00              0.00              0.00          52066354           1629722
98%             0.00              0.00              0.00          52066354           1629722
99%             0.00              0.00              0.00          52066354           1629722
Min             0.00              0.00              0.00              6867               216
Max             0.00              0.00              0.00          52066354           1629722

iot_data/device_data histograms
Percentile  SSTables     Write Latency      Read Latency    Partition Size        Cell Count
                          (micros)          (micros)           (bytes)
50%             0.00             29.52              0.00              2299               149
75%             0.00             42.51              0.00            182785              9887
95%             0.00             61.21              0.00           2816159            152321
98%             0.00             61.21              0.00           4055269            219342
99%             0.00             61.21              0.00          17436917           1131752
Min             0.00             17.09              0.00                43                 0
Max             0.00             61.21              0.00          74975550           4866323

iot_data/device_data_by_week_sensor histograms
Percentile  SSTables     Write Latency      Read Latency    Partition Size        Cell Count
                          (micros)          (micros)           (bytes)
50%             0.00             35.43              0.00              8239               446
75%             0.00             51.01              0.00            152321              8239
95%             0.00             61.21              0.00           2816159            152321
98%             0.00             61.21              0.00           4055269            219342
99%             0.00             61.21              0.00          12108970            785939
Min             0.00             20.50              0.00                43                 0
Max             0.00             61.21              0.00          74975550           4866323

虽然我完全知道,派生的设备数据表//派生的设备数据表_by_year表需要进行一些重构,但它们都没有接近100MB的标记。为什么我会收到此日志条目?

编辑:
我在测试系统上注意到了相同的日志条目,它们几乎没有数据运行,但配置与prod相同。 12GB RAM,Cassandra 3.11.2

最佳答案

您可能需要检查vm.max_map_count的值和交换设置。如果启用了交换,则可能会影响两个系统的性能。 vm.max_map_count的默认值也可能太低,并且会影响Cassandra和Elasticsearch(请参阅recommendation for ES)。

另外,您可能需要为Cassandra和file_cache_size_in_mb显式设置堆大小-具有12Gb RAM,Cassandra将使用1/4即3Gb,而file_cache_size_in_mb将为〜750Mb(堆的1/4)-可能太低。

P.S.因为它被记录为INFO,所以被认为是无害的。参见https://issues.apache.org/jira/browse/CASSANDRA-12221https://issues.apache.org/jira/browse/CASSANDRA-11681

关于cassandra - Cassandra:NoSpamLogger日志达到最大内存使用量,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/51591253/

10-17 03:14