我已经基于Alluxio
集群部署了HDFS
集群。当我使用Alluxio Native Java Api将某些文件设置为writetype ASYNC_THROUGH写入Alluxio时,这些文件(甚至只有1G)似乎没有写入HDFS,几天后一直保持TO_BE_PERSISTED状态。
最佳答案
我找到答案。我发现日志“ERROR DefaultAsyncPersistHandler-并非/test/sample_data/order_detail_titile_2.0.txt文件的所有块都存储在同一工作程序中”,当使用ASYNC_THROUGH时,Alluxio在一个工作程序中请求所有文件阻止程序。我在哪里使用CACHE_THROUGH没问题