原文作者：翟开顺
首发：CSDN
本人仅为自己方便查阅做了摘抄，请支持原作者
原文地址：https://blog.csdn.net/t1dmzks/article/details/72077428

parallelize，makeRDD，textFile

parallelize

调用SparkContext 的 parallelize()，将一个存在的集合，变成一个RDD，这种方式试用于学习spark和做一些spark的测试

scala版本
def parallelize[T](seq: Seq[T], numSlices: Int = defaultParallelism)(implicit arg0: ClassTag[T]): RDD[T]

• 第一个参数一是一个 Seq集合
• 第二个参数是分区数
• 返回的是RDD[T]

1
2

scala> sc.parallelize(List("shenzhen", "is a beautiful city"))
res1: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[1] at parallelize at <console>:22

java版本
def parallelize[T](list : java.util.List[T], numSlices : scala.Int) : org.apache.spark.api.java.JavaRDD[T] = { /* compiled code */ }

• 第一个参数是一个List集合
• 第二个参数是一个分区，可以默认
• 返回的是一个JavaRDD[T]
  java版本只能接收List的集合

1

JavaRDD<String> javaStringRDD = sc.parallelize(Arrays.asList("shenzhen", "is a beautiful city"));

makeRDD

只有scala版本的才有makeRDD
def makeRDD[T](seq : scala.Seq[T], numSlices : scala.Int = { /* compiled code */ })
跟parallelize类似

1

sc.makeRDD(List("shenzhen", "is a beautiful city"))

安装Spark包

1. 将spark-2.1.3-bin-hadoop2.4.tgz使用SFTP上传到/usr/local目录下。

2. 解压缩spark包：

   1	tar zxvf spark-2.1.3-bin-hadoop2.4.tgz

3. 更改spark目录名：

   1	mv spark-2.1.3-bin-hadoop2.4 spark

4. 设置spark环境变量

   1 2 3 4 5

   vi .bashrc export SPARK_HOME=/usr/local/spark export PATH=$SPARK_HOME/bin export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib source .bashrc

安装scala 2.11.8

注意，scala的版本和之后要安装的spark版本密切关联，必须要和spark/jars中的scala-compiler-2.11.8.jar版本一致，而且之后用IDE打包的时候，选择scala版本也要一致

1. 将scala-2.11.8.tgz使用WinSCP拷贝到spark1的/usr/local目录下。

2. 对scala-2.11.8.tgz进行解压缩：

   1	tar -zxvf scala-2.11.8.tgz

3. 对scala目录进行重命名：

   1	mv scala-2.11.8 scala

4. 配置scala相关的环境变量

   1 2 3 4 5

   vi .bashrc export SCALA_HOME=/usr/local/scala export PATH=$SCALA_HOME/bin source .bashrc

5. 查看scala是否安装成功：

   1	scala -version

6. 按照上述步骤在spark2和spark3机器上都安装好scala。使用scp将scala和.bashrc拷贝到spark2和spark3上即可

安装ZooKeeper包

1. 将zookeeper-3.4.5.tar.gz使用SFTP工具拷贝到spark1的/usr/local目录下

2. 对zookeeper-3.4.5.tar.gz进行解压缩：

   1	tar -zxvf zookeeper-3.4.5.tar.gz

3. 对zookeeper目录进行重命名：

   1	mv zookeeper-3.4.5 zk

4. 配置zookeeper相关的环境变量

   1 2 3 4

   vi .bashrc export ZOOKEEPER_HOME=/usr/local/zk export PATH=$ZOOKEEPER_HOME/bin source .bashrc

安装hive包

1. 将apache-hive-0.13.1-bin.tar.gz使用SFTP工具上传到spark1的/usr/local目录下。

2. 解压缩hive安装包：

   1	tar -zxvf apache-hive-0.13.1-bin.tar.gz

3. 重命名hive目录：

   1	mv apache-hive-0.13.1-bin hive

4. 配置hive相关的环境变量

   1 2 3 4

   vi .bashrc export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin source .bashrc

安装hadoop包

1. 下载好hadoop-2.4.1.tar.gz，使用SFTP工具上传到CentOS的/usr/local目录下
2. 将hadoop包进行解压缩：
   tar -zxvf hadoop-2.4.1.tar.gz
3. 对hadoop目录进行重命名：
   mv hadoop-2.4.1 hadoop

4. 配置hadoop相关环境变量
   vi .bashrc
   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   source .bashrc

   阅读全文 »

运行环境

1. CentOS 6.5
2. JDK 1.7
3. Hadoop 2.4.1
4. Hive 0.13
5. ZooKeeper 3.4.5
6. kafka_2.9.2-0.8.1
7. Spark 2.1.3
8. scala 2.11.8

安装CentOS 6.5

1. 在macOS下，使用Parallels Desktop直接安装，CentOS 6.5使用的只需要官网的一个DVD1.iso文件。
2. 启动以后使用Termius连接三台机器，使用Transmit传文件。
   阅读全文 »

Hadoop

1. 启动hdfs集群：

   1	start-dfs.sh

2. 验证启动是否成功：jps、50070端口
   spark1：namenode、datanode、secondarynamenode
   spark2：datanode
   spark3：datanode

Markdown 的设计哲学

Markdown 的目標是實現「易讀易寫」
不過最需要強調的便是它的可讀性。一份使用 Markdown 格式撰寫的文件應該可以直接以純文字發佈，並且看起來不會像是由許多標籤或是格式指令所構成。
Markdown 的語法有個主要的目的：用來作為一種網路內容的寫作用語言。

标题

Markdown 语法：

1
2
3

# 第一级标题 `<h1>` 
## 第二级标题 `<h2>` 
###### 第六级标题 `<h6>`

效果如下：

第一级标题 <h1>

第二级标题 <h2>

第六级标题 <h6>

强调

Markdown 语法：

1
2
3
4
5

*这些文字会生成`<em>`*
_这些文字会生成`<u>`_

**这些文字会生成`<strong>`**
__这些文字会生成`<strong>`__

效果如下：

这些文字会生成<em>
_这些文字会生成<u>_

这些文字会生成<strong>
这些文字会生成<strong>