大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建三

发布于:2025-08-29 ⋅ 阅读:(21) ⋅ 点赞:(0)

本篇安装软件版本

azkaban 3.72.0


azkaban

前面的2.x集群文档装了2.5的azkaban,不过随着版本的更新,3.x的azkaban和2.x的内部变换还是有明细差别的,所以这里记录一下搭建方法,且是从源码编译开始

第一步:从官网的连接跳转,去git上拉取需要的版本,https://azkaban.github.io/
在这里插入图片描述
第二步:上传到你的编译环境后开始调整源码中的拉取地址以及对应服务,因为咱这是国内懂得都懂

首先编译环境最基础的git、maven要有,3.72我本地用的maven3.9.9,解压源码包后会得到azkaban-3.72.0,后续操作都在此路径下

随后更新你的gcc环境

yum install -y gcc-c++*

之后在源码主路径下,找到build.gradle文件,更改其中如下内容,把依赖的镜像改成国内的

buildscript {
   
   
repositories {
   
   
    maven{
   
    url 'https://linkedin.jfrog.io/artifactory/open-source/'}
  }
....其他任何内容都别动
....如果编译中遇到compileClasspat 这种报错重试不行就换阿里源 http://maven.aliyun.com/nexus/content/groups/public
}

之后去下载一个nodejs,https://nodejs.org/dist/,下载的版本看源码主路径下的azkaban-web-server/build.gradle文件,注意!!不是主路径下了,下载的同时把该文件中的download改成false
在这里插入图片描述
至于你下载的node,放在你服务器的一个自定义路径下,配置环境变量,别下载错版本和所属系统就行

export NODE_HOME=/opt/node-v8.10.0
export PATH=$PATH:$NODE_HOME/bin
"/etc/profile" 99L, 2607C written
[root@node1 node-v8.10.0]# source /etc/profile
[root@node1 node-v8.10.0]# node -v
v8.10.0
[root@node1 node-v8.10.0]# npm -v
5.6.0

之后对于azkaban来讲,需要设置两个软件连接,到系统的bin下面

[root@node1 bin]# ln -s /opt/node-v8.10.0/lib/node_modules/npm/bin/npm-cli.js /usr/bin/npm
[root@node1 bin]# ln -s /opt/node-v8.10.0/bin/node /usr/bin/node

然后回到源码主路径,查看./gradle/wrapper/gradle-wrapper.properties文件,看里面的gradle,需要那个版本
在这里插入图片描述
随后在同网址中下载一份,但是现在不要做啥变动,如果你用的和我是一个版本可以去阿里镜像中下载https://mirrors.aliyun.com/github/releases/gradle/gradle-distributions/v4.6.0/,先下载一份,是为了预防编译时,这个插件下载不下来的话,在操作下面的内容

也就是将下载到的gradle.zip包,解压到一个自定义路径下,随后配置环境变量,它的HOME和PATH指定到bin

# GRADLE_USER_HOME
export GRADLE_USER_HOME=解压路径
export PATH=$PATH:$GRADLE_USER_HOME/bin

然后修改./gradle/wrapper/gradle-wrapper.properties文件,改下面两个东西

distributionUrl=你下载到的包名
zipStoreBase=GRADLE_USER_HOME

这样再次执行编译时,会把该插件包的最终路径爆出来,然后把zip包放到对应路径下就行

[root@node1 azkaban-3.72.0]# ./gradlew build installDist -x test
Downloading file:/opt/wy/azkaban-3.72.0/gradle/wrapper/gradle-4.6-all.zip

Exception in thread "main" java.io.FileNotFoundException: /opt/wy/azkaban-3.72.0/gradle/wrapper/gradle-4.6-all.zip (No such file or directory)

第三步:现在开始编译,在源码主路径下执行自带的编译脚本

./gradlew build installDist -x test

编译中,如果失败的话,先尝试重试一般是网络问题,尤其在执行npm install的时候特别容易遇到,你重试的时候编译会中继而不是从头开始,实在不行先执行./gradlew clean清理后重编译

出现绿色显眼的BUILD SUCCESSFUL就是成功了
在这里插入图片描述<


网站公告

今日签到

点亮在社区的每一天
去签到