搜索结果
查询Tags标签： azkaban，共有 16条记录-
一、Azkaban简明笔记
1、azkaban部署 主要是集群部署安装。 1.1 准备安装包Downloads (azkaban.github.io)1.2 配置MySQL启动mysql mysql -uroot -proot创建azkaban数据库 create database azkaban;创建azkaban用户并赋予权限（可以不设置账号，继续使用root账号） -- 显示相关变量 SHOW VARIA…
2022/9/2 6:24:16 人评论 次浏览 -
Linux 挂载（NFS）
一、NFS挂载 192.25.10.101/home/sharedata/azkaban/ODS_HS08 挂载到 192.25.10.102/home/data_azkaban （一）192.25.10.101上操作： 1，查看rpcbind、nfs是否安装 rpm -qa|grep nfs rpm -qa|grep rpcbind 安装命令：yum install -y nfs-utils rpcbind 2，vi /etc/export…
2022/2/9 7:13:01 人评论 次浏览 -
大数据高级开发工程师——工作流调度器Azkaban（1）
文章目录 工作流调度器AzkabanAzkaban介绍为什么需要工作流调度系统工作流调度实现方式Azkaban简介 Azkaban架构Azkaban基本架构Azkaban架构的三种运行模式1. solo server mode(单机模式）2. two server mode3. multiple executor modeAzkaban安装部署编译 azkaban1. 下载…
2022/1/5 6:10:45 人评论 次浏览 -
大数据高级开发工程师——工作流调度器Azkaban（1）
文章目录 工作流调度器AzkabanAzkaban介绍为什么需要工作流调度系统工作流调度实现方式Azkaban简介 Azkaban架构Azkaban基本架构Azkaban架构的三种运行模式1. solo server mode(单机模式）2. two server mode3. multiple executor modeAzkaban安装部署编译 azkaban1. 下载…
2022/1/5 6:10:45 人评论 次浏览 -
linux搭建azkaban
1、上传解压 unzip azkaban-solo-server.zip(自己去官网下载)2、修改配置文件 vim conf/azkaban.properties 修改时区 default.timezone.id=Asia/Shanghai 3、启动azkaban cd /usr/local/soft/azkaban-solo-server（进入自己的安装的目录路径） 启动 ./bin/start-solo.sh4…
2021/10/25 7:13:03 人评论 次浏览 -
linux搭建azkaban
1、上传解压 unzip azkaban-solo-server.zip(自己去官网下载)2、修改配置文件 vim conf/azkaban.properties 修改时区 default.timezone.id=Asia/Shanghai 3、启动azkaban cd /usr/local/soft/azkaban-solo-server（进入自己的安装的目录路径） 启动 ./bin/start-solo.sh4…
2021/10/25 7:13:03 人评论 次浏览 -
2019-07-20
Azkaban集群模式安装 官网：https://azkaban.readthedocs.io/en/latest/configuration.html1.1 上传tar包 1）将azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz上传到hadoop102的/opt/software路径 [sysu@hadoop102 sof…
2021/10/20 23:14:01 人评论 次浏览 -
2019-07-20
Azkaban集群模式安装 官网：https://azkaban.readthedocs.io/en/latest/configuration.html1.1 上传tar包 1）将azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz上传到hadoop102的/opt/software路径 [sysu@hadoop102 sof…
2021/10/20 23:14:01 人评论 次浏览 -
ZooKeeper, HBase, Azkaban
文章目录 ZooKeeper一、ZooKeeper 简介1.1 ZooKeeper 架构1.2 ZooKeeper 特点 二、环境搭建三、数据结构 和 监听机制3.1 Znode 类型3.2 Znode 状态信息3.3 Watcher 机制 四、基础应用4.1 命令行操作4.2 客户端操作 五、原理5.1 Leader 选举5.2 ZAB 一致性协议 六、应用实…
2021/10/16 23:41:27 人评论 次浏览 -
ZooKeeper, HBase, Azkaban
文章目录 ZooKeeper一、ZooKeeper 简介1.1 ZooKeeper 架构1.2 ZooKeeper 特点 二、环境搭建三、数据结构 和 监听机制3.1 Znode 类型3.2 Znode 状态信息3.3 Watcher 机制 四、基础应用4.1 命令行操作4.2 客户端操作 五、原理5.1 Leader 选举5.2 ZAB 一致性协议 六、应用实…
2021/10/16 23:41:27 人评论 次浏览 -
Azkaban进阶之JavaProcess任务类型
JavaProcess任务类型 JavaProcess类型可以运行一个自定义主类方法，type 类型为javaprocess,可用配置为: Xms: 最小堆Xmx: 最大堆classpath: 类路径java.class: 要运行的Java对象，其中必须包含Main方法main.args: main方法的参数 案例 新建一个azkaban的maven工程创建包名…
2021/10/16 20:11:34 人评论 次浏览 -
Azkaban进阶之JavaProcess任务类型
JavaProcess任务类型 JavaProcess类型可以运行一个自定义主类方法，type 类型为javaprocess,可用配置为: Xms: 最小堆Xmx: 最大堆classpath: 类路径java.class: 要运行的Java对象，其中必须包含Main方法main.args: main方法的参数 案例 新建一个azkaban的maven工程创建包名…
2021/10/16 20:11:34 人评论 次浏览 -
Azkaban 单个Flow 任务执行流程 源码解读
Azkaban框架会将每个Flow抽象为FlowRunner，然后将FlowRunner放入线程池中异步运行，运行过程中涉及到多次修改job的状态，以及将状态持久化到DB元数据库中，这里就从源码角度将整个过程做个简单的分析： 先从azkaban.execapp.FlowRunner#runFlow开始分析 /*** Main metho…
2021/6/21 17:56:23 人评论 次浏览 -
从plugin路径中读取依赖并构造对象——Azkaban源码解读之Alert plugin实现(一)
第一步加载类路径：azkaban.executor.AlerterHolder allAlerters 是一个HashMap ,key为String，value为Alerter mailAlerter是系统内置的，无需处理，这里要加载的是自定义的插件告警 这里边读取配置信息里的alerter.plugin.dir作为pluginDir，也就是插件文件夹 然后调用了…
2021/6/21 17:56:10 人评论 次浏览 -
Azkaban 自定义邮件内容以及格式 源码修改
azkaban 为邮件告警的邮件内容提供了一个接口azkaban.executor.mail.MailCreator 如下： public interface MailCreator { //生成第一次失败时发送的邮件内容boolean createFirstErrorMessage(ExecutableFlow flow,EmailMessage message, String azkabanName, String sche…
2021/6/21 17:56:09 人评论 次浏览
