• 欢迎访问开心洋葱网站,在线教程,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,欢迎加入开心洋葱 QQ群
  • 为方便开心洋葱网用户,开心洋葱官网已经开启复制功能!
  • 欢迎访问开心洋葱网站,手机也能访问哦~欢迎加入开心洋葱多维思维学习平台 QQ群
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏开心洋葱吧~~~~~~~~~~~~~!
  • 由于近期流量激增,小站的ECS没能经的起亲们的访问,本站依然没有盈利,如果各位看如果觉着文字不错,还请看官给小站打个赏~~~~~~~~~~~~~!

NiFi 学习 — 内置集群安装

NIFI supingemail 1605次浏览 0个评论

.

目录

准备机器:

     2.配置内部zookeeper的属性:

      3.设置集群的通信连接串

     4.修改nifi.properties的配置文件属性

     5.创建zookeeper的myid文件

      6.校验是否安装成功.

 7.注意项目.

  1. 准备机器:

192.168.10.215; 192.168.10.216; 192.168.10.217;

     2.配置内部zookeeper的属性:

       在三台机器的相同目录(/usr/local/software/nifi/)下,解压nifi-1.9.2.tar.gz查看并确认每台机器下的conf/zookeeper.properties,保证:zookeeper的配置如下:

server.1=192.168.10.215:2888:3888

server.2=192.168.10.216:2888:3888

server.3=192.168.10.217:2888:3888

 并且注释掉:server.1 即:#server.1 。整个的zookeeper.properties如下图:

      3.设置集群的通信连接串

        在解压的nifi目录下,找到conf目录,修改state-management.xml文件中stateManagement 根节点下的cluster-provider节点内容,将id为zk-provider的节点的property的设置中name=Connect String修改为zk的连接属性:如下设置:

192.168.10.215:2181,192.168.10.216:2181,192.168.10.217:2181,具体修改如图所示:

     4.修改nifi.properties的配置文件属性

      在解压的nifi目录下,找到conf目录,修改nifi.properties文件的配置信息,此配置信息比较多,具体分为如下五块:

        A:zookeeper设置修改,修改块为 State Management,即启用内置zookeeper设置:

nifi.state.management.embedded.zookeeper.start=true,修改如图所示:

默认是flase,即为不启用内部的zookeeper设置。注意:215,216,217,三台机器都要改成true,标识启用内置的zookeeper管理。

     

      B.S to S 設置修改,修改块为:Site to Site ,主要设置远程调用的ip和端口:具体如下:nifi.remote.input.host=192.168.10.217; nifi.remote.input.socket.port=9998

NiFi 学习 — 内置集群安装

注意:215,216,217三台机器都要修改,ip写成对应的ip,端口可以为相同.

      

        C.Web UI设置,修改块为 web properties, 主要设置访问的ip和端口:具体为:

nifi.web.http.host=192.168.10.217 ; nifi.web.http.port=8000 如图:

注意:215,216,217三台机器都要修改,ip写成对应的ip,端口可以为相同.

     

       D.集群节点设置,修改块为 cluster node properties, 主要设置集群的是否启用,ip

端口,最大等待时间和候选配置:具体修改为: nifi.cluster.is.node=true;nifi.cluster.node.address=192.168.10.217

nifi.cluster.node.protocol.port=9999;nifi.cluster.flow.election.max.wait.time=20 sec;nifi.cluster.flow.election.max.candidates=1

注意:215,216,217三台机器都要修改,ip写成对应的ip,端口可以为相同,其他设置也可以一致.

   

        E.zookeeper链接设置,修改块为 zookeeper properties, 主要设置zookeeper的连接

串信息:配置为: 192.168.10.215:2181,192.168.10.216:2181,192.168.10.217:2181

NiFi 学习 — 内置集群安装

注意:215,216,217三台机器都要修改,而且此项配置是一致的。

 

     5.创建zookeeper的myid文件

创建zookeeper的myid文件信息关联配置,如下命令操作均在nifi的安装目录进行:

#第一个节点:192.168.10.215

cd $NIFI_HOME

mkdir state

mkdir state/zookeeper

echo 1 > state/zookeeper/myid

 

#第二个节点:192.168.10.216

cd $NIFI_HOME

mkdir state

mkdir state/zookeeper

echo 2 > state/zookeeper/myid

 

#第三个节点:192.168.210.217

cd $NIFI_HOME

mkdir state

mkdir state/zookeeper

echo 3 > state/zookeeper/myid

 

如此就将zookeeper的关联信息给配置起来了。

 

      6.校验是否安装成功.

启动校验是否安装成功:分别在 215, 216, 217, 三台机器上使用 sh bin/nifi.sh start 命令启动:(nifi的基础命令:

    后台启动命令:  ./bin/nifi.sh start &
    后台带日志启动命令: ./bin/nifi.sh start >nifi.log &
    前台启动命令:  ./bin/nifi.sh run &
    运行状态命令:  ./bin/nifi.sh status 
    关闭命令:      ./bin/nifi.sh stop 
    查看日志命令:  tail –f ./logs/nini-app.log

)

点击cluster,可以看见如下图示:

如此,就可以确定:nifi集群是安装成功的。

     

 7.注意项目.

  1. 如果要在 /etc/hosts 文件中配置ip和机器名称的对应,则三台机器都要配置,而且配

置完成之后,必须要重启,保证配置的名称是生效的。

    2.使用了默认集成的zookeeper之后,就不能再使用外部的zookeeper,除非修改外部

访问的端口。

    3.在nifi.properties文件中,必须注意配置的:

nifi.cluster.flow.election.max.wait.time=20 sec

nifi.cluster.flow.election.max.candidates=1

    4.不要打开防火墙,如果要打开防火墙,那么必须把要使用的端口都放开,贴下centos防火墙操作的命令:

#进程与状态相关
systemctl start firewalld.service            #启动防火墙  
systemctl stop firewalld.service             #停止防火墙  
firewall-cmd –state                         #查看防火墙状态  
firewall-cmd –reload                        #更新防火墙规则  
firewall-cmd –state                         #查看防火墙状态  
firewall-cmd –reload                        #重载防火墙规则  
firewall-cmd –list-ports                    #查看所有打开的端口  
firewall-cmd –list-services                 #查看所有允许的服务  
firewall-cmd –get-services                  #获取所有支持的服务  

#区域相关
firewall-cmd –list-all-zones                    #查看所有区域信息  
firewall-cmd –get-active-zones                  #查看活动区域信息  
firewall-cmd –set-default-zone=public           #设置public为默认区域  
firewall-cmd –get-default-zone                  #查看默认区域信息  
firewall-cmd –zone=public –add-interface=eth0  #将接口eth0加入区域public

#接口相关
firewall-cmd –zone=public –remove-interface=eth0       #从区域public中删除接口eth0  
firewall-cmd –zone=default –change-interface=eth0      #修改接口eth0所属区域为default  
firewall-cmd –get-zone-of-interface=eth0                #查看接口eth0所属区域  

#端口控制
firewall-cmd –add-port=80/tcp –permanent               #永久添加80端口例外(全局)
firewall-cmd –remove-port=80/tcp –permanent            #永久删除80端口例外(全局)
firewall-cmd –add-port=65001-65010/tcp –permanent      #永久增加65001-65010例外(全局)  

firewall-cmd  –zone=public –add-port=80/tcp –permanent            #永久添加80端口例外(区域public)
firewall-cmd  –zone=public –remove-port=80/tcp –permanent         #永久删除80端口例外(区域public)
firewall-cmd  –zone=public –add-port=65001-65010/tcp –permanent   #永久增加65001-65010例外(区域public)

        如此通过以上的六步骤,就可以将nifi的集群给搭建起来了,爱怎么玩,那就怎么去玩吧。

 


开心洋葱 , 版权所有丨如未注明 , 均为原创丨未经授权请勿修改 , 转载请注明NiFi 学习 — 内置集群安装
喜欢 (0)

您必须 登录 才能发表评论!

加载中……