REPL

Spark交互式工具spark-shell-LMLPHP

Spark REPL

Spark交互式工具spark-shell-LMLPHP

Spark shell

Spark交互式工具spark-shell-LMLPHP

下面我们启动一下(我这里搭建的是3节点集群)

Spark交互式工具spark-shell-LMLPHP

Spark交互式工具spark-shell-LMLPHP

Spark交互式工具spark-shell-LMLPHP

Spark交互式工具spark-shell-LMLPHP

Spark交互式工具spark-shell-LMLPHP

Spark交互式工具spark-shell-LMLPHP

Spark交互式工具spark-shell-LMLPHP

sc.后面按TAB键可以把提示调出来

Spark交互式工具spark-shell-LMLPHP

查看hdfs上文件内容

Spark交互式工具spark-shell-LMLPHP

Spark交互式工具spark-shell-LMLPHP

Spark交互式工具spark-shell-LMLPHP

这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php

Spark交互式工具spark-shell-LMLPHP

试下读下里面的数据

Spark交互式工具spark-shell-LMLPHP

这个可以求出有多少行

Spark交互式工具spark-shell-LMLPHP

Spark交互式工具spark-shell-LMLPHP

05-16 00:20