hera 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
hera 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
hera 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 未知
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织
地区 国产
投 递 者 scx_white
适用人群 未知
收录时间 2019-01-03

软件简介

hera 分布式任务调度系统是根据前阿里开源调度系统(zeus)进行的二次开发。

架构

hera系统只是负责调度以及辅助的系统,具体的计算还是要落在hadoop、hive、yarn、spark等集群中去。所以此时又一个硬性要求,如果要执行hadoop,hive,spark等任务,我们的hera系统的worker一定要部署在这些集群某些机器之上。如果仅仅是shell,那么也至少需要linux系统。对于windows系统,可以把自己作为master进行调试。

在这里插入图片描述

hera系统本身严格的遵从主从架构模式,由主节点充当着任务调度触发与任务分发器,从节点作为具体的任务执行器.架构图如下:

在这里插入图片描述

设计目标

hera分布式任务调度系统的设计目标首先是要完成zeus大部分核心功能,并能够根据自己公司的需求进行扩展。大致目标有以下几点

  • 支持任务的定时调度、依赖调度、手动调度、手动恢复

  • 支持丰富的任务类型:shell,hive,python,spark-sql,java

  • 可视化的任务DAG图展示,任务的执行严格按照任务的依赖关系执行

  • 某个任务的上、下游执行状况查看,通过任务依赖图可以清楚的判断当前任务为何还未执行,删除该任务会影响那些任务。

  • 支持上传文件到hdfs,支持使用hdfs文件资源

  • 支持日志的实时滚动

  • 支持任务失败自动恢复

  • 实现集群HA,机器宕机环境实现机器断线重连与心跳恢复与hera集群HA,节点单点故障环境下任务自动恢复,master断开,worker抢占master

  • 支持对master/work 负载,内存,进程,cpu信息的可视化查看

  • 支持正在等待执行的任务,每个worker上正在执行的任务信息的可视化查看

  • 支持实时运行的任务,失败任务,成功任务,任务耗时top10的可视化查看

  • 支持历史执行任务信息的折线图查看 具体到某天的总运行次数,总失败次数,总成功次数,总任务数,总失败任务数,总成功任务数

  • 支持关注自己的任务,自动调度执行失败时会向负责人发送邮件

  • 对外提供API,开放系统任务调度触发接口,便于对接其它需要使用hera的系统

  • 组下任务总览、组下任务失败、组下任务正在运行

  • 支持map-reduce任务和yarn任务的实时取消。

  • (还有更多,等待大家探索)

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(1) 发布并加入讨论🔥
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
1 评论
17 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部