Flink|Flink HA模式环境搭建 Flink|flink

Flink HA模式环境搭建

- `前提：hadoop ha和zookeeper已经安装完毕`
- 一、下载Flink安装包
- 二、下载Flink依赖的Hadoop包
- 三、环境规划
- 四、安装配置（在hadoop002上进行所有配置）

前提：hadoop ha和zookeeper已经安装完毕 一、下载Flink安装包

Flink官网下载

二、下载Flink依赖的Hadoop包

Flink依赖的Hadoop包：点击下载

三、环境规划

五台虚拟机：
【Flink|Flink HA模式环境搭建】hadoop002 主节点
hadoop003 主节点（备）
hadoop004 从节点
hadoop005 从节点
hadoop006 从节点

四、安装配置（在hadoop002上进行所有配置）

上传Flink安装包到Hadoop002上
解压安装到指定目录下，执行：
tar -zvxf /tools/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar -C /training/
配置环境变量（可选，建议配置，并同步到其他节点），vi ~/.bash_profile，添加如下内容：
#flink export FLINK_HOME=/training/flink-1.10.1 export PATH=$PATH:$FLINK_HOME/bin # 配置Hadoop配置文件所在目录，防止找不到Hadoop配置 export HADOOP_CONF_DIR=/training/hadoop-2.7.3/etc/hadoop/
使环境变量生效，执行：source ~/.bash_profile
进入flink安装目录下，编辑/training/flink-1.10.1/conf/flink-conf.yaml文件,修改如下内容：
#common 部分只需要修改如下选项，其中hadoop002为主节点 jobmanager.rpc.address: hadoop002 taskmanager.numberOfTaskSlots: 3 # 改成3，可不改 parallelism.default: 3 #改成3，可不改 # High Availability high-availability: zookeeper # ns1为hadoop HA的名称 high-availability.storageDir: hdfs://ns1/ha/ high-availability.zookeeper.quorum: hadoop002:2181,hadoop003:2181,hadoop004:2181 # 其他暂时默认即可
进入flink安装目录下，编辑/training/flink-1.10.1/conf/masters文件,修改如下内容:
hadoop002:8081 hadoop003:8081
进入flink安装目录下，编辑/training/flink-1.10.1/conf/slaves文件,修改如下内容:
hadoop004 hadoop005 hadoop006
进入flink安装目录下，编辑/training/flink-1.10.1/conf/zoo.cfg文件,需要修改如下内容:
# ZooKeeper quorum peers server.1=hadoop002:2888:3888 server.2=hadoop003:2888:3888 server.3=hadoop004:2888:3888
将下载好的依赖flink-shaded-hadoop-2-uber-2.7.5-10.0.jar上传到flink安装目录下的lib目录中
然后将整个flink安装目录拷贝到其他节点中，可以执行如下命令：
scp -r /training/flink-1.10.1 root@hadoop003:/training scp -r /training/flink-1.10.1 root@hadoop004:/training scp -r /training/flink-1.10.1 root@hadoop005:/training scp -r /training/flink-1.10.1 root@hadoop006:/training
启动集群（在hadoop002上），执行：start-cluster.sh
成功后检查下进程：
主节点：StandaloneSessionClusterEntrypoint
从节点：TaskManagerRunner
打开网页查看，访问端口为8081,两个主节点都会看到如下信息：

文章图片