大数据（4） - HDFS常用的shell操作

注意：这次使用的是第二部分安装的集群，不是高可用集群

为了方便，开发，必须写集群脚本，试想集群的机器是100台以上，而不是3台的情况。。。。

集群启动脚本

vim /home/admin/tools/start-cluster.sh 

#!/bin/bash

echo "================     开始启动所有节点服务            ==========="

echo "================    正在启动Zookeeper                ==========="

for i in admin@linux01 admin@linux02 admin@linux03

do

        ssh $i '/home/admin/modules/zookeeper-3.4.10/bin/zkServer.sh start'

done

echo "================    正在启动HDFS                     ==========="

ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/start-dfs.sh'

echo "================    正在启动YARN                     ==========="

ssh admin@linux02 '/home/admin/modules/hadoop-2.7.2/sbin/start-yarn.sh'

echo "================ linux01节点正在启动JobHistoryServer ==========="

ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh start historyserver'

　　

集群关闭脚本

vim /home/admin/tools/stop-cluster.sh 

#!/bin/bash

echo "================     开始停止所有节点服务            ==========="

echo "================ linux01节点正在停止JobHistoryServer ==========="

ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh stop historyserver'

echo "================    正在停止YARN                     ==========="

ssh admin@linux02 '/home/admin/modules/hadoop-2.7.2/sbin/stop-yarn.sh'

echo "================    正在停止HDFS                     ==========="

ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/stop-dfs.sh'

echo "================    正在停止Zookeeper                ==========="

for i in admin@linux01 admin@linux02 admin@linux03

do

        ssh $i '/home/admin/modules/zookeeper-3.4.10/bin/zkServer.sh stop'

done

　　

集群详情脚本

vim /home/admin/tools/jpsutil.sh 

#!/bin/bash

for i in admin@linux01 admin@linux02 admin@linux03

do

        echo "==================$i==================="

        ssh $i 'jps'

done

　　

一、启动hadoop集群

sh /home/admin/tools/start-cluster.sh

　　

二、常用的shell操作

cd /home/admin/modules/hadoop-2.7.2/

　　

# 格式化操作

$ bin/hdfs namenode -format

# 展示文件和文件夹列表

$ bin/hdfs dfs -ls /

# 创建文件夹

    # 在用户目录下创建

    $ bin/hdfs dfs -mkdir AAA/

    # 在根目录下创建

    $ bin/hdfs dfs -mkdir /AAA/

    # 递归层级创建多个文件夹

    $ bin/hdfs dfs -mkdir -p /BBB/CCC

# 上传本地文件到HDFS，如果上传成功，则删除本地文件（就是剪切操作）

$ bin/hdfs dfs -moveFromLocal hello_world.txt /

# 末尾追加数据到HDFS中已经存在的文件里面

$ bin/hdfs dfs -appendToFile hello_world2.txt /hello_world.txt

# 查看文件内容

$ bin/hdfs dfs -cat /hello_world.txt

# 查看文件末尾信息

$ bin/hdfs dfs -tail /hello_world.txt

# 拷贝本地文件到HDFS，-copyFromLocal可以替换为-put

$ bin/hdfs dfs -copyFromLocal words.txt /AAA

# 拷贝HDFS文件到HDFS另一个目录

$ bin/hdfs dfs -cp /AAA/words.txt /BBB

# 或剪切

$ bin/hdfs dfs -mv /AAA/words.txt /BBB

# 下载HDFS中的文件到本地文件系统

$ bin/hdfs -get /hello_world.txt ./

# 下载多个文件，并合并为一个文件到本地文件系统

$ bin/hdfs dfs -getmerge /*.txt ./demo.txt

# 删除文件或文件夹

$ bin/hdfs dfs -rmr /AAA