当前位置：

Big Whale(巨鲸)任务调度系统 v1.3

Big Whale(巨鲸)任务调度系统为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG执行调度和流处理任务的状态监测调度，并具有重复应用检测、大内存应用检测等功能。服务基于Spring Boot 2.0开发，打包后即可运行。环境准备：Java 1.8+My

大小：
3.87MB
演示网站：
暂无
当前版本：
v1.3
日期：
2024-11-15 02:16:00
相关链接：
Home Page
所属分类：
应用工具、 Java 、
软件评级：
下载人气：
300

免费下载

应用截图

源码详情

源码属性

授权	开源
大小	3.87MB
语言	Java

Big Whale(巨鲸)任务调度系统为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG执行调度和流处理任务的状态监测调度，并具有重复应用检测、大内存应用检测等功能。服务基于Spring Boot 2.0开发，打包后即可运行。
环境准备：Java 1.8+Mysql 5.1.0+
安装：1、创建数据库：big-whale2、运行数据库脚本：big-whale.sql3、根据Spring Boot环境，配置相关数据库账号密码，以及SMTP信息4、配置：big-whale.properties配置项说明ssh.user: 拥有脚本执行权限的ssh远程登录用户名（平台会将该用户作为统一的脚本执行用户）ssh.password: ssh远程登录用户密码dingding.enabled: 是否开启钉钉告警dingding.watcher-token: 钉钉公共群机器人Tokenyarn.app-memory-threshold: Yarn应用内存上限（单位：MB），-1禁用检测yarn.app-white-list: Yarn应用白名单列表（列表中的应用申请的内存超过上限，不会进行告警）5、修改：$FLINK_HOME/bin/flink，参考：flink（因flink提交任务时只能读取本地jar包，故需要在执行提交命令时从hdfs上下载jar包并替换脚本中的jar包路径参数）6、打包：mvn clean package
启动：1、检查端口17070是否被占用，被占用的话，关闭占用的进程或修改项目端口号配置重新打包2、拷贝target目录下的big-whale.jar，执行命令：java -jar big-whale.jar
初始配置1、打开：http://localhost:170702、输入账号admin，密码admin3、点击：权限管理->用户管理，修改当前账号的邮箱为合法且存在的邮箱地址，否则会导致邮件发送失败4、添加集群集群管理->集群管理->新增“yarn管理地址”为Yarn ResourceManager的WEB UI地址“程序包存储目录”为程序包上传至hdfs集群时的存储路径，如：/data/big-whale/storage“支持Flink任务代理用户”“流处理任务黑名单”和“批处理任务黑名单”为内部定制的任务分配规则，勿填5、添加代理集群管理->代理管理->新增可添加多个实例（仅支持IP地址，可指定端口号，默认为22），执行脚本的时候会随机选择一个实例执行，在实例不可达的情况下，会继续随机选择下一个实例，在实例均不可达时执行失败选择集群后，会作为该集群下提交Spark或Flink任务的代理之一6、添加集群用户集群管理->集群用户->新增该配置的语义为：平台用户在所选集群下可以使用的Yarn资源队列（--queue）和代理用户（--proxy-user）7、添加计算框架版本集群管理->版本管理->新增同一集群下不同版本的Spark或Flink任务的提交命令可能有所不同，如Spark 1.6.0版本的提交命令为spark-submit，Spark 2.1.0版本的提交命令为spark2-submit

Big Whale(巨鲸)任务调度系统下载地址 已被下载300次

本资源由用户投稿上传，内容来自互联网，本站只做免费推荐用于学习分享，如有版权及其他问题，请联系本站编辑处理
重要：如软件存在付费、会员、充值等，均属软件开发者或所属公司行为，与本站无关，网友需自行判断