AzureStack是Azure的私有云解决方案。AzureStack可以帮助用户实现混合云的部署模式。

AzureStack混合云大数据解决方案-LMLPHP

本文将介绍混合云的模式下,Azure作为计算资源,AzureStack作为存储资源。如下图:

AzureStack混合云大数据解决方案-LMLPHP

在Azure上我们创建Hadoop的计算资源,在AzureStack上创建存储账户,把需要分析的数据存储在Azure Stack上。把Hadoop的存储采用wasb协议指向AzureStack的存储账号。

具体部署过程如下:

一 在AzureStack上创建存储账户

在AzureStack的portal页面上创建一个存储账户:hdisa

AzureStack混合云大数据解决方案-LMLPHP

二 在Azure上创建Hadoop集群

1 选择HDInsight Clusters

AzureStack混合云大数据解决方案-LMLPHP

2 选择Linux Hadoop集群

AzureStack混合云大数据解决方案-LMLPHP

3 选择创建一个新的Storage Account,在创建完成后,这个账户会被替换掉

AzureStack混合云大数据解决方案-LMLPHP

4 验证,并创建

AzureStack混合云大数据解决方案-LMLPHP

三 更改hadoop的存储账户

1 登录Hadoop的头节点

Portal上获取登录信息:

AzureStack混合云大数据解决方案-LMLPHP

AzureStack混合云大数据解决方案-LMLPHP

2 下载更改hadoop存储账户的脚本

wget https://hdiconfigactions.blob.core.windows.net/linuxaddstorageaccountv01/add-storage-account-v01.sh

3 把global的存储的endpoint改成AzureStack的endpoint

打开add-storage-account-v01.sh文件,进行更改:

:%s/blob.windows.net/blob.shanghai.xxxx.com/gc

共有6个需要更改,另外还有一个是链接地址,不需要更改。

另外Storage Validate的部分注释掉,55行到59行:

AzureStack混合云大数据解决方案-LMLPHP

108-115行的怪字符也删除掉:

AzureStack混合云大数据解决方案-LMLPHP

运行这个脚本:

AzureStack混合云大数据解决方案-LMLPHP

…………

存储账户就加好了。

4 把这个存储账户设置为默认账户

vim /etc/hadoop/conf/core-site.xml

AzureStack混合云大数据解决方案-LMLPHP

5 重启服务

打开HDInsight的Ambari Views:

AzureStack混合云大数据解决方案-LMLPHP

AzureStack混合云大数据解决方案-LMLPHP

AzureStack混合云大数据解决方案-LMLPHP

可以用命令行查看存储的情况:

AzureStack混合云大数据解决方案-LMLPHP

可以看到container内的文件:

AzureStack混合云大数据解决方案-LMLPHP

查看文件内容:

AzureStack混合云大数据解决方案-LMLPHP

四 总结

通过在Azure上创建Hadoop的集群,挂载AzureStack上的存储账户,可以实现敏感数据不出数据中心的混合云部署模式。

05-27 21:39