Skip to content

Commit

Permalink
Merge pull request #854 from WeDataSphere/master
Browse files Browse the repository at this point in the history 
Solve the code conflicts from dev-1.1.0 to master.
  • Loading branch information
@zqburde
zqburde committed Jul 1, 2022
2 parents bb62644 + df29776 commit 55c0638
Show file tree
Hide file tree
Showing 5 changed files with 48 additions and 40 deletions.
41 changes: 21 additions & 20 deletions README-ZH.md
View file
Original file line number Diff line number Diff line change
Expand Up @@ -39,19 +39,19 @@

       4、工作流调度工具——[Schedulis](https://github.com/WeBankFinTech/Schedulis)

       5、数据交换工具——[Exchangis](https://github.com/WeBankFinTech/Exchangis) (**即将发布的 Exchangis1.0，将与 DSS 工作流打通**)
       5、数据交换工具——[Exchangis](https://github.com/WeBankFinTech/Exchangis)

       6、数据Api服务——[DataApiService](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3/DataApiService%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3.md)

       7、流式应用开发管理工具——[Streamis](https://github.com/WeBankFinTech/Streamis)

       8、一站式机器学习平台——[Prophecis](https://github.com/WeBankFinTech/Prophecis)(**即将发布集成版本**)
       8、一站式机器学习平台——[Prophecis](https://github.com/WeBankFinTech/Prophecis)

       9、工作流任务调度平台——**DolphinScheduler**(**集成代码合并中**)

       10、帮助文档模块——**UserGuide**(**集成代码合并中**)

       11、数据模型中心——**DataModelCenter**(**社区联合共建中，预计春节后**)
       11、数据模型中心——**DataModelCenter**(**社区联合共建中**)

       **DSS 对以上组件的版本兼容性，请访问：[已集成组件的兼容性列表](README-ZH.md#四已集成的数据应用组件)**。

Expand Down Expand Up @@ -81,23 +81,24 @@

       **如果有需要，也可以轻松集成新的数据应用系统，以替换或丰富 DSS 的数据应用开发流程。** [点我了解如何快速集成新的应用系统](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E5%BC%80%E5%8F%91%E6%96%87%E6%A1%A3/%E7%AC%AC%E4%B8%89%E6%96%B9%E7%B3%BB%E7%BB%9F%E6%8E%A5%E5%85%A5DSS%E5%BC%80%E5%8F%91%E6%8C%87%E5%8D%97.md)

| 应用工具 | 描述 | DSS0.X 版本要求 | DSS1.0 版本要求 | 版本状态 |
| --------------- | -------------------------------------------------------------------- | --------- | ---------- | ------ |
| [**DataApiService**](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3/DataApiService%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3.md) | 数据API服务。可快速将SQL脚本发布为一个 Restful 接口，对外提供 Rest 访问能力。 | 不支持 | >=1.0.0 | 已发布 |
| [**Scriptis**](https://github.com/WeBankFinTech/Scriptis) | 支持在线写 SQL、Pyspark、HiveQL 等脚本，提交给[Linkis](https://github.com/WeBankFinTech/Linkis)执行的数据分析 Web 工具。 | >=0.5.0 | >=1.0.0 | 已发布 |
| [**Schedulis**](https://github.com/WeBankFinTech/Schedulis) | 基于 Azkaban 二次开发的工作流任务调度系统,具备高性能，高可用和多租户资源隔离等金融级特性。 | >=0.5.0 | >=1.0.0 | 已发布 |
| **EventCheck** | 提供跨业务、跨工程和跨工作流的信号通信能力。 | >=0.5.0 | >=1.0.0 | 已发布 |
| **SendEmail** | 提供数据发送能力，所有其他工作流节点的结果集，都可以通过邮件进行发送 | >=0.5.0 | >=1.0.0 | 已发布 |
| [**Qualitis**](https://github.com/WeBankFinTech/Qualitis) | 数据质量校验工具，提供数据完整性、正确性等数据校验能力 | >=0.5.0 | 1.0.1(**当前筹备版本**) | **预计年前发版** |
| [**Streamis**](https://github.com/WeBankFinTech/Streamis) | 流式应用开发管理工具。支持发布 Flink Jar 和 Flink SQL ，提供流式应用的开发调试和生产管理能力，如：启停、状态监控、checkpoint 等。 | 不支持 | 1.0.1(**当前筹备版本**) | **预计年前发版** |
| [**Exchangis**](https://github.com/WeBankFinTech/Exchangis) | 支持对结构化及无结构化的异构数据源之间的数据传输的数据交换平台，即将发布的 Exchangis1.0，将与 DSS 工作流打通 | 不支持 | 规划在1.0.2 | **开发实现中** |
| [**Visualis**](https://github.com/WeBankFinTech/Visualis) | 基于宜信开源项目 Davinci 二次开发的数据可视化 BI 工具，为用户在数据安全方面提供金融级数据可视化能力。 | >=0.5.0 | 规划在1.0.2 | **开发实现中** |
| [**Prophecis**](https://github.com/WeBankFinTech/Prophecis) | 一站式机器学习平台，集成多种开源机器学习框架。Prophecis 的 MLFlow 通过 AppConn 可以接入到 DSS 工作流中。 | 不支持 | 规划在1.0.2 | **开发实现中** |
| **UserManager** | 自动初始化一个 DSS 新用户所必须的所有用户环境，包含：创建 Linux 用户、各种用户路径、目录授权等。 | >=0.9.1 | 规划在1.0.2 | **开发实现中** |
| **DolphinScheduler** | Apache DolphinScheduler，分布式易扩展的可视化工作流任务调度平台，支持一键将DSS工作流发布到 DolphinScheduler。 | 不支持 | 规划在1.1.0 | **开发实现中** |
| **UserGuide** | 包含帮助文档、新手指引、Dark模式换肤等。 | 不支持 | 规划在1.1.0 | **开发实现中** |
| **DataModelCenter** | 主要提供数仓规划、数据模型开发和数据资产管理的能力。数仓规划包含主题域、数仓分层、修饰词等；数据模型开发包含指标、维度、度量、向导式建表等；数据资产打通 **Apache Atlas**，提供**数据血缘**能力。 | 不支持 | 规划在1.2.0 | **开发实现中** |
| **Airflow** | 支持将 DSS 工作流发布到 Airflow 进行定时调度。 | >=0.9.1，尚未合并 | 不支持 | **尚无规划** |
| 应用工具 | 描述 | DSS0.X 兼容版本(推荐 DSS0.9.1) | DSS1.0 兼容版本(推荐 DSS1.0.1) |
| --------------- | -------------------------------------------------------------------- | --------- | ---------- |
| [**Linkis**](https://github.com/apache/incubator-linkis) | 计算中间件 Apache Linkis，通过提供 REST/WebSocket/JDBC/SDK 等标准接口，上层应用可以方便地连接访问 MySQL/Spark/Hive/Presto/Flink 等底层引擎. | 推荐 Linkis0.11.0（**已发布**） | >= Linkis1.1.1（**已发布**） |
| [**DataApiService**](https://github.com/WeBankFinTech/DataSphereStudio-Doc/blob/main/zh_CN/%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3/DataApiService%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3.md) | （DSS已内置的第三方应用工具）数据API服务。可快速将SQL脚本发布为一个 Restful 接口，对外提供 Rest 访问能力。 | 不支持 | 推荐 DSS1.0.1（**已发布**）|
| [**Scriptis**](https://github.com/WeBankFinTech/DataSphereStudio) | （DSS 已内置的第三方应用工具）支持在线写 SQL、Pyspark、HiveQL 等脚本，提交给[Linkis](https://github.com/WeBankFinTech/Linkis)执行的数据分析 Web 工具。 | 推荐 DSS0.9.1（**已发布**） | 推荐 DSS1.0.1（**已发布**） |
| [**Schedulis**](https://github.com/WeBankFinTech/Schedulis) | 基于 Azkaban 二次开发的工作流任务调度系统,具备高性能，高可用和多租户资源隔离等金融级特性。 | 推荐 Schedulis0.6.1（**已发布**） | >= Schedulis0.6.2（**已发布**） |
| **EventCheck** | （DSS 已内置的第三方应用工具）提供跨业务、跨工程和跨工作流的信号通信能力。 | 推荐 DSS0.9.1（**已发布**） | 推荐 DSS1.0.1（**已发布**） |
| **SendEmail** | （DSS 已内置的第三方应用工具）提供数据发送能力，所有其他工作流节点的结果集，都可以通过邮件进行发送 | 推荐 DSS0.9.1（**已发布**） | 推荐 DSS1.0.1（**已发布**） |
| [**Qualitis**](https://github.com/WeBankFinTech/Qualitis) | 数据质量校验工具，提供数据完整性、正确性等数据校验能力 | 推荐 Qualitis0.8.0（**已发布**） | >= Qualitis0.9.1（**已发布**） |
| [**Streamis**](https://github.com/WeBankFinTech/Streamis) | 流式应用开发管理工具。支持发布 Flink Jar 和 Flink SQL ，提供流式应用的开发调试和生产管理能力，如：启停、状态监控、checkpoint 等。 | 不支持 | >= Streamis0.1.0（**已发布**） |
| [**Prophecis**](https://github.com/WeBankFinTech/Prophecis) | 一站式机器学习平台，集成多种开源机器学习框架。Prophecis 的 MLFlow 通过 AppConn 可以接入到 DSS 工作流中。 | 不支持 | >= Prophecis 0.3.0（**已发布**） |
| [**Exchangis**](https://github.com/WeBankFinTech/Exchangis) | 支持对结构化及无结构化的异构数据源之间的数据传输的数据交换平台，即将发布的 Exchangis1.0，将与 DSS 工作流打通 | 不支持 | = Exchangis1.0.0-RC1（**已发布**） |
| [**Visualis**](https://github.com/WeBankFinTech/Visualis) | 基于宜信开源项目 Davinci 二次开发的数据可视化 BI 工具，为用户在数据安全方面提供金融级数据可视化能力。 | 推荐 Visualis0.5.0 | = Visualis1.0.0-RC1（**已发布**） |
| [**DolphinScheduler**](https://github.com/apache/dolphinscheduler) | Apache DolphinScheduler，分布式易扩展的可视化工作流任务调度平台，支持一键将DSS工作流发布到 DolphinScheduler。 | 不支持 | DolphinScheduler1.3.X，规划在 DSS1.1.0（**开发中**） |
| **UserGuide** | （DSS 将内置的第三方应用工具）包含帮助文档、新手指引、Dark模式换肤等。 | 不支持 | 规划在 DSS1.1.0（**开发中**） |
| **DataModelCenter** | （DSS 将内置的第三方应用工具）主要提供数仓规划、数据模型开发和数据资产管理的能力。数仓规划包含主题域、数仓分层、修饰词等；数据模型开发包含指标、维度、度量、向导式建表等；数据资产打通 **Apache Atlas**，提供**数据血缘**能力。 | 不支持 | 规划在 DSS1.2.0（**开发中**） |
| **UserManager** | （DSS 已内置的第三方应用工具）自动初始化一个 DSS 新用户所必须的所有用户环境，包含：创建 Linux 用户、各种用户路径、目录授权等。 | 推荐 DSS0.9.1（**已发布**） | 规划中 |
| [**Airflow**](https://github.com/apache/airflow) | 支持将 DSS 工作流发布到 Apache Airflow 进行定时调度。 | PR 尚未合并 | 不支持 |


## Demo试用环境
Expand Down

0 comments on commit 55c0638

Please sign in to comment.