由于CDH4遵循JBOD模式,因此为n个节点创建了从1到n的目录。
我可以在两个不同的数据目录分区中使用两个具有相同名称的目录吗?
我有每个100GB的/ mnt / disk1和/ mnt / disk2分区,我想将它们都用于HDFS。
下面的conf会工作吗
<property>
<name>dfs.datanode.data.dir</name>
<value>/mnt/disk1/1/dfs/dn,mnt/disk2/1/dfs/dn,mnt/disk1/2/dfs/dn,mnt/disk2/2/dfs/dn</value>
</property>
最佳答案
是。就配置而言,它只是将它们视为不同的目录。如果每个设备都是不同的设备,您将获得更高的效率,因为这将有助于克服IO限制。
关于hadoop - 我们可以在CDH4中为dfs.data.dir指定两个不同的分区吗?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/14393412/