Flink搭建

目录

一、standalone模式

二、Flink on Yarn模式

一、standalone模式

1. 解压安装Flink

[root@bigdata1 software]# tar -zxvf flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/
[root@bigdata1 module]# mv flink-1.14.0/ flink-standalone

     2.进入conf修改flink-conf.yaml

jobmanager.rpc.address: bigdata1

        3.修改wokers

[root@bigdata1 conf]# vim workers
bigdata1
bigdata2
bigdata3

        4.分发到集群其他节点

[root@bigdata1 module]# rsync -av /opt/module/flink-standalone/ bigdata2:/opt/module/flink-standalone/
[root@bigdata1 module]# rsync -av /opt/module/flink-standalone/ bigdata3:/opt/module/flink-standalone/

        5.启动Flink集群命令

[root@bigdata1 flink-standalone]# bin/start-cluster.sh

        6.访问http://主机:8081可以对flink集群和任务进行监控  

         http://bigdata1:8081

         7.停止Flink集群命令

bin/stop-cluster.sh

二、Flink on Yarn模式

        1.解压安装

[root@bigdata1 software]# tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/
[root@bigdata1 module]# mv flink-1.14.0/ flink-yarn

        2.配置环境变量

        vim /etc/profile

#配置环境变量HADOOP_CLASSPATH, 如果前面已经配置可以忽略。
#export HADOOP_CLASSPATH=`hadoop classpath`
#FLINK_HOME
export FLINK_HOME=/opt/module/flink-yarn
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

        3.启动Hadoop集群

        Flink on yarn 基于Hadoop集群的yarn