Skip to content

Commit

Permalink
Update ElasticJob Lite & ElasticJob Cloud to ElasticJob-Lite & Elasti…
Browse files Browse the repository at this point in the history
…cJob-Cloud (#1075)
  • Loading branch information
terrymanu committed Jul 15, 2020
1 parent 40b8dd5 commit e94e93f
Show file tree
Hide file tree
Showing 26 changed files with 167 additions and 113 deletions.
12 changes: 6 additions & 6 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,8 +6,8 @@

ElasticJob is a distributed scheduling solution consisting of two separate projects, Lite and Cloud.

ElasticJob Lite is a lightweight, decentralized solution that provides distributed task sharding services;
ElasticJob Cloud is a Mesos framework which use Mesos + Docker(todo) to manage and isolate resources and processes.
ElasticJob-Lite is a lightweight, decentralized solution that provides distributed task sharding services;
ElasticJob-Cloud is a Mesos framework which use Mesos + Docker(todo) to manage and isolate resources and processes.

Elasticjob uses a unified job API for each product.
Developers only need code one time and can deploy at will.
Expand All @@ -26,13 +26,13 @@ Welcome communicate with community via [mail list](mailto:dev@shardingsphere.apa

## Architecture

### ElasticJob Lite
### ElasticJob-Lite

![ElasticJob Lite Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_lite.png)
![ElasticJob-Lite Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_lite.png)

### ElasticJob Cloud
### ElasticJob-Cloud

![ElasticJob Lite Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_cloud.png)
![ElasticJob-Cloud Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_cloud.png)

## Features

Expand Down
14 changes: 7 additions & 7 deletions README_ZH.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,10 +4,10 @@

[![Stargazers over time](https://starchart.cc/apache/shardingsphere-elasticjob.svg)](https://starchart.cc/apache/shardingsphere-elasticjob)

ElasticJob 是一个分布式调度解决方案,由 2 个相互独立的子项目 ElasticJob Lite 和 ElasticJob Cloud 组成。
ElasticJob 是一个分布式调度解决方案,由 2 个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成。

ElasticJob Lite 定位为轻量级无中心化解决方案,使用 jar 的形式提供分布式任务的协调服务;
ElasticJob Cloud 使用 Mesos + Docker(TODO)的解决方案,额外提供资源治理、应用分发以及进程隔离等服务。
ElasticJob-Lite 定位为轻量级无中心化解决方案,使用 jar 的形式提供分布式任务的协调服务;
ElasticJob-Cloud 使用 Mesos + Docker(TODO)的解决方案,额外提供资源治理、应用分发以及进程隔离等服务。

ElasticJob 的各个产品使用统一的作业 API,开发者仅需要一次开发,即可随意部署。

Expand All @@ -24,13 +24,13 @@ ElasticJob 已于 2020 年 5 月 28 日成为 [Apache ShardingSphere](https://sh

## 架构图

### ElasticJob Lite
### ElasticJob-Lite

![ElasticJob Lite Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_lite.png)
![ElasticJob-Lite Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_lite.png)

### ElasticJob Cloud
### ElasticJob-Cloud

![ElasticJob Lite Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_cloud.png)
![ElasticJob-Cloud Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_cloud.png)

## 功能列表

Expand Down
41 changes: 0 additions & 41 deletions ROADMAP.md

This file was deleted.

48 changes: 47 additions & 1 deletion docs/content/dev-manual/roadmap.cn.md
Original file line number Diff line number Diff line change
Expand Up @@ -23,7 +23,7 @@ chapter = true
- [ ] Unified Schedule API
- [ ] Unified Resource API

## ElasticJob Lite
## ElasticJob-Lite

- [x] Distributed Features
- [x] High Availability
Expand All @@ -49,3 +49,49 @@ chapter = true
- [x] Namespace
- [x] Bean Injection
- [ ] Spring Boot Starter

## ElasticJob-Cloud
- [x] Transient Job
- [x] High Availability
- [x] Elastic scale in/out
- [x] Failover
- [x] Misfire
- [x] Idempotency
- [x] Daemon Job
- [x] High Availability
- [x] Elastic scale in/out
- [ ] Failover
- [ ] Misfire
- [x] Idempotency
- [x] Mesos Scheduler
- [x] High Availability
- [x] Reconcile
- [ ] Redis Based Queue Improvement
- [ ] Http Driver
- [x] Mesos Executor
- [x] Executor Reuse Pool
- [ ] Progress Reporting
- [ ] Health Detection
- [ ] Log Redirect
- [x] Lifecycle Management
- [x] Job Add/Remove
- [ ] Job Pause/Resume
- [x] Job Disable/Enable
- [ ] Job Shutdown
- [x] App Add/Remove
- [x] App Disable/Enable
- [x] Restful API
- [x] Web Console
- [ ] Job Dependency
- [ ] Listener
- [ ] Workflow
- [ ] DAG
- [x] Job Distribution
- [x] Mesos Based Distribution
- [ ] Docker Based Distribution
- [x] Resources Management
- [x] Resources Allocate
- [ ] Cross Data Center
- [ ] A/B Test
- [x] Spring Integrate
- [x] Bean Injection
48 changes: 47 additions & 1 deletion docs/content/dev-manual/roadmap.en.md
Original file line number Diff line number Diff line change
Expand Up @@ -23,7 +23,7 @@ chapter = true
- [ ] Unified Schedule API
- [ ] Unified Resource API

## ElasticJob Lite
## ElasticJob-Lite

- [x] Distributed Features
- [x] High Availability
Expand All @@ -49,3 +49,49 @@ chapter = true
- [x] Namespace
- [x] Bean Injection
- [ ] Spring Boot Starter

## ElasticJob-Cloud
- [x] Transient Job
- [x] High Availability
- [x] Elastic scale in/out
- [x] Failover
- [x] Misfire
- [x] Idempotency
- [x] Daemon Job
- [x] High Availability
- [x] Elastic scale in/out
- [ ] Failover
- [ ] Misfire
- [x] Idempotency
- [x] Mesos Scheduler
- [x] High Availability
- [x] Reconcile
- [ ] Redis Based Queue Improvement
- [ ] Http Driver
- [x] Mesos Executor
- [x] Executor Reuse Pool
- [ ] Progress Reporting
- [ ] Health Detection
- [ ] Log Redirect
- [x] Lifecycle Management
- [x] Job Add/Remove
- [ ] Job Pause/Resume
- [x] Job Disable/Enable
- [ ] Job Shutdown
- [x] App Add/Remove
- [x] App Disable/Enable
- [x] Restful API
- [x] Web Console
- [ ] Job Dependency
- [ ] Listener
- [ ] Workflow
- [ ] DAG
- [x] Job Distribution
- [x] Mesos Based Distribution
- [ ] Docker Based Distribution
- [x] Resources Management
- [x] Resources Allocate
- [ ] Cross Data Center
- [ ] A/B Test
- [x] Spring Integrate
- [x] Bean Injection
4 changes: 2 additions & 2 deletions docs/content/downloads/_index.en.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,8 +15,8 @@ The downloads are distributed via mirror sites and should be checked for tamperi
| Version | Release date | Description | Downloads |
| - | - | - | - |
| 3.0.0-alpha | Coming soon | Source codes | [[src]]() [[asc]]() [[sha512]]() |
| | | ElasticJob Lite Binary Distribution | [[tar]]() [[asc]]() [[sha512]]() |
| | | ElasticJob Lite Console Binary Distribution | [[tar]]() [[asc]]() [[sha512]]() |
| | | ElasticJob-Lite Binary Distribution | [[tar]]() [[asc]]() [[sha512]]() |
| | | ElasticJob-Lite Console Binary Distribution | [[tar]]() [[asc]]() [[sha512]]() |
| | | ElasticJob-Cloud Binary Distribution | [[tar]]() [[asc]]() [[sha512]]() |

## All releases
Expand Down
20 changes: 10 additions & 10 deletions docs/content/faq/_index.cn.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,17 +15,17 @@ ElasticJob 使用 lombok 实现极简代码。关于更多使用和安装细节

回答:

ElasticJob Lite 采用无中心化设计,若每个客户端的配置不一致,不做控制的话,最后一个启动的客户端配置将会成为注册中心的最终配置。
ElasticJob-Lite 采用无中心化设计,若每个客户端的配置不一致,不做控制的话,最后一个启动的客户端配置将会成为注册中心的最终配置。

ElasticJob Lite 提出了 overwrite 概念,可通过 JobConfiguration 或 Spring 命名空间配置。
ElasticJob-Lite 提出了 overwrite 概念,可通过 JobConfiguration 或 Spring 命名空间配置。
`overwrite=true` 即允许客户端配置覆盖注册中心,反之则不允许。
如果注册中心无相关作业的配置,则无论 overwrite 是否配置,客户端配置都将写入注册中心。

## 3. 怀疑 ElasticJob Lite 在分布式环境中有问题,但无法重现又不能在线上环境调试,应该怎么做?
## 3. 怀疑 ElasticJob-Lite 在分布式环境中有问题,但无法重现又不能在线上环境调试,应该怎么做?

回答:

分布式问题非常难于调试和重现,为此 ElasticJob Lite 提供了 dump 命令。
分布式问题非常难于调试和重现,为此 ElasticJob-Lite 提供了 dump 命令。

如果您怀疑某些场景出现问题,可参照[dump文档](/cn/user-manual/dump/)将作业运行时信息提交至社区。
ElasticJob 已将 IP 等敏感信息过滤,导出的信息可在公网安全传输。
Expand All @@ -48,13 +48,13 @@ ElasticJob 已将 IP 等敏感信息过滤,导出的信息可在公网安全

动态添加作业这个概念每个人理解不尽相同。

ElasticJob Lite 为 jar 包,由开发或运维人员负责启动。启动时自动向注册中心注册作业信息并进行分布式协调,因此并不需要手工在注册中心填写作业信息。
ElasticJob-Lite 为 jar 包,由开发或运维人员负责启动。启动时自动向注册中心注册作业信息并进行分布式协调,因此并不需要手工在注册中心填写作业信息。
但注册中心与作业部署机无从属关系,注册中心并不能控制将单点的作业分发至其他作业机,也无法将远程服务器未启动的作业启动。
ElasticJob Lite 并不会包含 ssh 免密管理等功能。
ElasticJob-Lite 并不会包含 ssh 免密管理等功能。

ElasticJob Cloud 为 mesos 框架,由 mesos 负责作业启动和分发。
但需要将作业打包上传,并调用 ElasticJob Cloud 提供的 REST API 写入注册中心。
打包上传属于部署系统的范畴 ElasticJob Cloud 并未涉及。
ElasticJob-Cloud 为 mesos 框架,由 mesos 负责作业启动和分发。
但需要将作业打包上传,并调用 ElasticJob-Cloud 提供的 REST API 写入注册中心。
打包上传属于部署系统的范畴 ElasticJob-Cloud 并未涉及。

综上所述,ElasticJob 已做了基本动态添加功能,但无法做到真正意义的完全自动化添加。

Expand All @@ -77,7 +77,7 @@ ElasticJob 并未包含 Spring 的依赖,请用户自行添加需要的版本

回答:

是的。新 ElasticJob Lite 的数据结构和原有结构完全兼容。
是的。新 ElasticJob-Lite 的数据结构和原有结构完全兼容。

## 9. 界面 Console 无法正常显示?

Expand Down
6 changes: 3 additions & 3 deletions docs/content/features/elastic.cn.md
Original file line number Diff line number Diff line change
Expand Up @@ -27,19 +27,19 @@ ElasticJob 并不直接提供数据处理的功能,框架只会将分片项分

## 分布式调度

ElasticJob Lite 并无作业调度中心节点,而是基于部署作业框架的程序在到达相应时间点时各自触发调度。
ElasticJob-Lite 并无作业调度中心节点,而是基于部署作业框架的程序在到达相应时间点时各自触发调度。

注册中心仅用于作业注册和监控信息存储。而主作业节点仅用于处理分片和清理等功能。

## 高可用

ElasticJob Lite 提供最安全的方式执行作业。将分片总数设置为 1,并使用多于 1 台的服务器执行作业,作业将会以 1 主 n 从的方式执行。
ElasticJob-Lite 提供最安全的方式执行作业。将分片总数设置为 1,并使用多于 1 台的服务器执行作业,作业将会以 1 主 n 从的方式执行。

一旦执行作业的服务器崩溃,等待执行的服务器将会在下次作业启动时替补执行。开启失效转移功能效果更好,可以保证在本次作业执行时崩溃,备机立即启动替补执行。

## 最大限度利用资源

ElasticJob Lite 也提供最灵活的方式,最大限度的提高执行作业的吞吐量。将分片项设置为大于服务器的数量,最好是大于服务器倍数的数量,作业将会合理的利用分布式资源,动态的分配分片项。
ElasticJob-Lite 也提供最灵活的方式,最大限度的提高执行作业的吞吐量。将分片项设置为大于服务器的数量,最好是大于服务器倍数的数量,作业将会合理的利用分布式资源,动态的分配分片项。

例如:3 台服务器,分成 10 片,则分片项分配结果为服务器 A=0,1,2;服务器 B=3,4,5;服务器 C=6,7,8,9。
如果服务器 C 崩溃,则分片项分配结果为服务器 A=0,1,2,3,4;服务器 B=5,6,7,8,9。在不丢失分片项的情况下,最大限度的利用现有资源提高吞吐量。
8 changes: 4 additions & 4 deletions docs/content/features/resource.cn.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,11 +5,11 @@ weight = 2
chapter = true
+++

资源分配功能为 ElasticJob Cloud 所特有的功能。
资源分配功能为 ElasticJob-Cloud 所特有的功能。

## 作业运行模式

ElasticJob Cloud 分为瞬时作业和常驻作业 2 种运行模式。
ElasticJob-Cloud 分为瞬时作业和常驻作业 2 种运行模式。

### 瞬时作业

Expand All @@ -23,7 +23,7 @@ ElasticJob Cloud 分为瞬时作业和常驻作业 2 种运行模式。

## 调度器

ElasticJob Cloud 基于 Mesos 的 Framework 开发,用于资源调度和应用分发,需要独立启动并提供服务。
ElasticJob-Cloud 基于 Mesos 的 Framework 开发,用于资源调度和应用分发,需要独立启动并提供服务。

## 作业应用

Expand All @@ -32,7 +32,7 @@ ElasticJob Cloud 基于 Mesos 的 Framework 开发,用于资源调度和应用

## 作业

即实际运行的具体任务,和 ElasticJob Lite 共用同样的作业生态。
即实际运行的具体任务,和 ElasticJob-Lite 共用同样的作业生态。
在注册作业之前必须先注册作业应用。

## 资源
Expand Down
15 changes: 9 additions & 6 deletions docs/content/overview/_index.cn.md
Original file line number Diff line number Diff line change
Expand Up @@ -11,9 +11,12 @@ chapter = true
[![GitHub watchers](https://img.shields.io/github/watchers/apache/shardingsphere-elasticjob.svg?style=social&label=Watch)](https://github.com/apache/shardingsphere-elasticjob/watchers)
[![Stargazers over time](https://starchart.cc/apache/shardingsphere-elasticjob.svg)](https://starchart.cc/apache/shardingsphere-elasticjob)

ElasticJob 是一个分布式调度解决方案,由 2 个相互独立的子项目 ElasticJob Lite 和 ElasticJob Cloud 组成。
ElasticJob 是一个分布式调度解决方案,由 2 个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成。

ElasticJob Lite 定位为轻量级无中心化解决方案,使用 jar 的形式提供分布式任务的协调服务。
ElasticJob-Lite 定位为轻量级无中心化解决方案,使用 jar 的形式提供分布式任务的协调服务;
ElasticJob-Cloud 使用 Mesos + Docker(TODO)的解决方案,额外提供资源治理、应用分发以及进程隔离等服务。

ElasticJob 的各个产品使用统一的作业 API,开发者仅需要一次开发,即可随意部署。

ElasticJob 已于 2020 年 5 月 28 日成为 [Apache ShardingSphere](https://shardingsphere.apache.org/) 的子项目。
欢迎通过[邮件列表](mailto:dev@shardingsphere.apache.org)参与讨论。
Expand All @@ -28,13 +31,13 @@ ElasticJob 已于 2020 年 5 月 28 日成为 [Apache ShardingSphere](https://sh

## 架构图

### ElasticJob Lite
### ElasticJob-Lite

![ElasticJob Lite Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_lite.png)
![ElasticJob-Lite Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_lite.png)

### ElasticJob Cloud
### ElasticJob-Cloud

![ElasticJob Cloud Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_cloud.png)
![ElasticJob-Cloud Architecture](https://shardingsphere.apache.org/elasticjob/current/img/architecture/elasticjob_cloud.png)

## 功能列表

Expand Down

0 comments on commit e94e93f

Please sign in to comment.