Flink集成到CDH上，并运行一个例子

CDH原生的组件里面不包含Flink的组件。如果我们需要用FLink的话，必须自己添加并进行相关的配置。本篇就是介绍如果进行Flink集成到CDH上

集成FLINK主要分2大步骤

• 第一步

1. 提供一个包jar包，让cdh能识别你是谁，然后在cdh里注册，并下载文件激活。这里的jar有2种获取方式
   • 第一种最简单，在cloudera的官网上已经有现成的，可以直接下载，点开最开头上的网址：https://archive.cloudera.com/csa/1.0.0.0/csd
   • 第二种有点复杂，需要自己编译文件，这里提供一个地址，可以下载（源码，编译包：https://archive.apache.org/dist/flink/flink-1.9.1/）
     • 编译的详细步骤见传送门：https://www.cnblogs.com/yaowentao/protected/p/12871286.html (密码：123456)

• 第二步 

　　在集群中添加服务，并启动。

下面我们就第一大步骤进行详细讲解（三小步骤）

1. 准备Flink1.9的csd文件，并放置到Cloudera Manager Server的/opt/cloudera/csd目录。然后重启Cloudera Manager Server服务 

   

2. CM重启完成以后，添加服务页面可以看到有Flink服务

   

3.  

   下载Flink1.9的Parcel，并放置/var/www/html目录（本地yum源）。也可以直接把文件放到/opt/cloudera/parcel-repo目录下。我这里是放在我本地的yum服务器上

   

   下面我们就第二大步骤进行详细讲解（四小步骤）。

   一：创建flink包

   下载flink parcel

   1 # git clone https://github.com/pkeropen/flink-parcel.git  #文件已经下载到本地yum源库上
   

    

   1. 需要提前安装maven，执行编译脚本的需要用

   1 # yum -y install maven
   2 # chmod 744 build.sh

    

   2. 配置flink-parcel.properties

   

    1 #FLINK 下载地址  
    2 FLINK_URL=https://archive.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz 
    3   
    4 #flink版本号  
    5 FLINK_VERSION=1.9.1  
    6   
    7 #扩展版本号  
    8 EXTENS_VERSION=BIN-SCALA_2.12  
    9    
   10 #操作系统版本，以centos为例  
   11 OS_VERSION=7  
   12    
   13 #CDH 小版本  
   14 CDH_MIN_FULL=5.2  
   15 CDH_MAX_FULL=6.3.2  
   16    
   17 #CDH大版本  
   18 CDH_MIN=5  
   19 CDH_MAX=6

   

    

   3. 执行脚本 ，生成parcel，csd文件(时间有点久，需要耐心等待)

   1 # ./build.sh parcel  #生成parcel文件
   2 # ./build.sh csd_on_yarn  #生成csd文件， 会生产一个jar包，FLINK_ON_YARN-1.10.0.jar

    

   parcel的包在FLINK-1.10.0-BIN-SCALA_2.12_build 文件夹下

   

   4. 把FLINK_ON_YARN-1.9.1.jar 这个文件放在本地的/opt/cloudera/csd/。CDH服务器识别flink的时候需要用。之后重启

   1 # cp FLINK_ON_YARN-1.9.1.jar /opt/cloudera/csd/    #本地cdh能识别这个软件的目录下

    

   以下的步骤都是一样，这里单独列出

   1. cloudera manager 配置flink parcel。如果是直接拷贝到本地的，可以不配置。

      

   2. 需要激活flink，要不然无法完成安装 下载—>>分配—>>激活

       

       

       

       

      

   3. 添加flink服务

      

   4. 完成配置

      

   运行flink第一个例子

   1. 运行代码

   2. 1 flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.1.110:8020/tmp/word.txt --output hdfs://192.168.1.110:8020/tmp/result

       

      

   3. 

   4. 查看结果

   5. 

    

    

   FLINK的界面

   

    

   yran上的界面

   

     至此，Flink1.9安装到CDH6.3以及第一个例子介绍完毕。

https://archive.apache.org/dist/flink/flink-1.9.1/