flink分布式安装(前提有zookeeper服务)

it2023-02-04  52

flink分布式安装

一、下载安装包二、配置文件三、下载flink连接Hadoop的组件四、启动flink

一、下载安装包

安装包下载地址:http://flink.apache.org/downloads.html ,选择对应Hadoop的Flink版本下载 下载完成后解压安装包到所要安装的目录

二、配置文件

有三个文件要配置

flink-conf.yaml: #jobmanager.rpc.address: node21 high-availability:zookeeper #指定高可用模式(必须) high-availability.zookeeper.quorum:node21:2181,node22:2181,node23:2181 #ZooKeeper仲裁是ZooKeeper服务器的复制组,它提供分布式协调服务(必须) high-availability.storageDir:hdfs:///flink/ha/ #JobManager元数据保存在文件系统 storageDir中,只有指向此状态的指针存储在ZooKeeper中(必须) high-availability.zookeeper.path.root:/flink #根ZooKeeper节点,在该节点下放置所有集群节点(推荐) high-availability.cluster-id:/flinkCluster #自定义集群(推荐) state.backend: filesystem state.checkpoints.dir: hdfs:///flink/checkpoints state.savepoints.dir: hdfs:///flink/checkpoints masters:(配置主节点名称) node01 node02 workers:(配置工作节点) node02 node03

三、下载flink连接Hadoop的组件

下载与Hadoop对应的版本,然后放到flink的lib目录下

四、启动flink

start-cluster.sh

最新回复(0)