Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 2 additions & 2 deletions docs/zh_CN/SUMMARY.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,6 +6,6 @@
* [第二章 前台编译 ]()
* [前台编译手册](ch2/编译文档.md)
* [第三章 快速使用手册 ]()
* [意书快速使用手册](ch3/scriptis快速使用文档.md)
* [scriptis快速使用手册](ch3/scriptis快速使用文档.md)
* [第四章 使用手册 ]()
* [意书使用手册](ch4/Scriptis使用手册.md)
* [scriptis快速使用手册](ch4/Scriptis使用手册.md)
4 changes: 2 additions & 2 deletions docs/zh_CN/ch3/scriptis快速使用文档.md
Original file line number Diff line number Diff line change
@@ -1,4 +1,4 @@
Scriptis(意书)快速使用文档
Scriptis快速使用文档
============

## 快速登录
Expand All @@ -8,7 +8,7 @@ Scriptis(意书)快速使用文档
__备注:__ 其他用户登录必须使用配置的LDAP的密码进行登录

## 设置队列
     意书的Spark引擎是通过On yarn进行运行的,为了能够使用Spark,必须要在意书配置一个部署用户能够使用的队列,配置步骤为点击管理台-->设置-->yarn队列名-->输入有权限的yarn 队列名
     scriptis的Spark引擎是通过开发-->设置-->yarn队列名-->输入有权限的yarn 队列名
![02](../images/ch3/02.png)

## 创建脚本
Expand Down
82 changes: 41 additions & 41 deletions docs/zh_CN/ch4/Scriptis使用手册.md
Original file line number Diff line number Diff line change
@@ -1,25 +1,25 @@
## 1 功能简介

意书主要拆分为一下功能:
1. 工作空间:用户存储用户的脚本,数据,日志等文件;支持建立:sql,hive,scala,python,pyspark等类型的脚本;
2. 数据库模块:展示用户拥有权限的数据库和表信息,以及表导入导出;
3. UDF模块:UDF是可以在sql和hql脚本中使用的函数,包括函数管理,勾选加载,共享等;
4. 方法模块:方法是用户自己,系统,共享的自定义函数,支持在python,pyspark,scala脚本中使用;
5. HDFS模块:用户的HDFS(分布式文件系统)个人目录,用于存放大数据文件;
6. 脚本模块:包括脚本编辑,运行,停止,自定义变量配置,快捷键;
7. 运行结果:包括结果展示,下载,导出;
8. 脚本历史:脚本历史展示了该脚本历史运行信息;
9. 管理台:主要包含设置,全局历史,资源管理器,全局变量,常见问题;
10. 右下角弹出框:包含任务管理器,引擎管理器,队列管理器;

scirptis主要拆分为一下功能:
1. 工作空间:用户存储用户的脚本,数据,日志等文件;支持建立:sql,hive,scala,python,pyspark等类型的脚本;
2. 数据库模块:展示用户拥有权限的数据库和表信息,以及表导入导出;
3. UDF模块:UDF是可以在sql和hql脚本中使用的函数,包括函数管理,勾选加载,共享等;
4. 方法模块:方法是用户自己,系统,共享的自定义函数,支持在python,pyspark,scala脚本中使用;
5. HDFS模块:用户的HDFS(分布式文件系统)个人目录,用于存放大数据文件;
6. 脚本模块:包括脚本编辑,运行,停止,自定义变量配置,快捷键;
7. 运行结果:包括结果展示,下载,导出;
8. 脚本历史:脚本历史展示了该脚本历史运行信息;
9. 管理台:主要包含设置,全局历史,资源管理器,全局变量,常见问题;
10. 右下角弹出框:包含任务管理器,引擎管理器,队列管理器;
下面对这些功能进行详细介绍。

## 2 工作空间

工作空间是一个文件目录,用户对该目录拥有所有的权限可以进行文件管理操作等。建议的目录结构是:script,data,log,res四个目录,目录结构清晰方便用户进行查看和管理。工作空间主要功能如下:
1. 工作空间右键主要包含复制路径,新建目录,新建脚本,刷新
1. 工作空间右键主要包含复制路径,新建目录,新建脚本,刷新
![ide05](../images/ch4/ide05.png)
2. 顶上搜索功能,支持对文件快速定位
2. 顶上搜索功能,支持对文件快速定位
![ide06](../images/ch4/ide06.png)
3. 新建脚本功能支持建立以下脚本

Expand All @@ -34,14 +34,14 @@

## 3 数据库模块

数据库模块主要有以下功能:
1. 刷库,刷表,刷字段信息
数据库模块主要有以下功能:
1. 刷库,刷表,刷字段信息
![ide09](../images/ch4/ide09.png)
2. 表右键功能--查询表:快捷生产临时hive脚本进行数据查看
2. 表右键功能--查询表:快捷生产临时hive脚本进行数据查看
![ide10](../images/ch4/ide10.png)
3. 表右键功能--查看表结构:展示表的字段详细信息,表详情信息,表分区信息等:
3. 表右键功能--查看表结构:展示表的字段详细信息,表详情信息,表分区信息等:
![ide11](../images/ch4/ide11.png)
4. 表右键功能--导出表:可以导出为csv和excel等文件
4. 表右键功能--导出表:可以导出为csv和excel等文件
![ide12](../images/ch4/ide12.png)

## 4 UDF模块
Expand All @@ -62,15 +62,15 @@ UDF功能是方便用户对UDF进行分类展示,以及用户可以对个人

#### 4.2UDF新增函数功能:

创建一个UDF很简单,主要在于做好前期的UDF代码的准备。步骤主要如下:
1. 建立通用UDF,需要先编译好相应的Jar包。这里的通用是指Hive的hql和Spark的sql都可以用
2. 建立Spark专用的UDF,需要先建立好相应的py脚本或者scala脚本,为了使用的正确性,最好测试下相应的脚本
3. 在意书建立该UDF:
通用UDF:需要勾选通用,并选择对应的jar包路径,填写UDF的全类路径,填写使用格式和描述:
创建一个UDF很简单,主要在于做好前期的UDF代码的准备。步骤主要如下:
1. 建立通用UDF,需要先编译好相应的Jar包。这里的通用是指Hive的hql和Spark的sql都可以用
2. 建立Spark专用的UDF,需要先建立好相应的py脚本或者scala脚本,为了使用的正确性,最好测试下相应的脚本
3. 在开发建立该UDF:
通用UDF:需要勾选通用,并选择对应的jar包路径,填写UDF的全类路径,填写使用格式和描述:
![ide14](../images/ch4/ide14.png)
Spark专用--scala脚本:需要勾选Spark,并选择对应的scala脚本,填写注册格式(填写相应脚本中的函数名):
Spark专用--scala脚本:需要勾选Spark,并选择对应的scala脚本,填写注册格式(填写相应脚本中的函数名):
![ide15](../images/ch4/ide15.png)
Spark专用--Python脚本:需要勾选Spark,并选择对应的python脚本,填写注册格式(填写相应脚本中的函数名):
Spark专用--Python脚本:需要勾选Spark,并选择对应的python脚本,填写注册格式(填写相应脚本中的函数名):
![ide16](../images/ch4/ide16.png)

#### 4.3Scala和Python函数写法:
Expand All @@ -96,38 +96,38 @@ def helloWorld(str: String): String = "hello, " + str

## 6 脚本模块

脚本模块就是脚本编辑框包含的功能,主要有:
1. 脚本编辑:基础的关键字高亮功能,代码格式化,代码合并,自动补全,快捷健等功能。
2. 运行和停止:用户可以选择代码进行执行,也可以直接点击执行运行整个脚本。脚本运行起来后可以通过停止按钮进行停止。
3. 脚本编辑框有配置选项用于定义用户的自定义变量,该脚本内生效
脚本模块就是脚本编辑框包含的功能,主要有:
1. 脚本编辑:基础的关键字高亮功能,代码格式化,代码合并,自动补全,快捷健等功能。
2. 运行和停止:用户可以选择代码进行执行,也可以直接点击执行运行整个脚本。脚本运行起来后可以通过停止按钮进行停止。
3. 脚本编辑框有配置选项用于定义用户的自定义变量,该脚本内生效
![ide18](../images/ch4/ide18.png)

## 7 运行结果

运行结果包括以下功能:
1. 表格结果展示,点击表头可以进行排序,双击复制字段名等,功能会继续丰富,包括选择列展示,展示字段类型。只支持展示5000行
2. 可视化分析:点击可视化分析,可以通过VSBI对产生的结果集进行可视化展示(待开源)
运行结果包括以下功能:
1. 表格结果展示,点击表头可以进行排序,双击复制字段名等,功能会继续丰富,包括选择列展示,展示字段类型。只支持展示5000行
2. 可视化分析:点击可视化分析,可以通过VSBI对产生的结果集进行可视化展示(待开源)
![ide21](../images/ch4/ide21.png)
3. 下载:结果集支持直接下载到浏览器本地,支持CSV和excel,只支持下载5000行
4. 导出:结果集导出可以支持导出到工作空间(BDAP的共享目录),结果集导出也支持CSV和Excel格式,并且通过打开全量导出,可以超过5000行的限制。全量导出开关,在执行的sql前面加上注释:`--set wds.linkis.engine.no.limit.allow=true`
5. 导出的CSV和Excel格式通过在管理台--设置--pipeline--导入导出设置--结果集导出类型:excel或者CSV
3. 下载:结果集支持直接下载到浏览器本地,支持CSV和excel,只支持下载5000行
4. 导出:结果集导出可以支持导出到工作空间(BDAP的共享目录),结果集导出也支持CSV和Excel格式,并且通过打开全量导出,可以超过5000行的限制。全量导出开关,在执行的sql前面加上注释:`--set wds.linkis.engine.no.limit.allow=true`
5. 导出的CSV和Excel格式通过在管理台--设置--pipeline--导入导出设置--结果集导出类型:excel或者CSV
![ide22](../images/ch4/ide22.png)

## 8 脚本历史

脚本历史展示了该脚本文件的历史运行信息,可以快速找到之前运行的脚本的日志,结果。可以有效减少多次运行相同的脚本:
脚本历史展示了该脚本文件的历史运行信息,可以快速找到之前运行的脚本的日志,结果。可以有效减少多次运行相同的脚本:
![ide23](../images/ch4/ide23.png)

## 9 管理台

管理台主要包含一下功能:
1. 设置:包含通用设置(如设置队列),数据开发相关引擎的设置:spark,hive,python,pipeline等
管理台主要包含一下功能:
1. 设置:包含通用设置(如设置队列),数据开发相关引擎的设置:spark,hive,python,pipeline等
![ide25](../images/ch4/ide25.png)
2. 全局变量:全局变量是可以用于所有脚本的自定义变量,如果变量重名则脚本中配置的生效。
2. 全局变量:全局变量是可以用于所有脚本的自定义变量,如果变量重名则脚本中配置的生效。
3. 其他功能:全局历史,资源管理器,常见问题

## 10 右下角弹出框

右下角弹出框点击后是类似于Windows的任务管理器类似的功能,用户可以快速的对任务管,引擎,队列资源进行查看和管理:
右下角弹出框点击后是类似于Windows的任务管理器类似的功能,用户可以快速的对任务管,引擎,队列资源进行查看和管理:
![ide24](../images/ch4/ide24.png)

2 changes: 1 addition & 1 deletion src/js/module/resourceSimple/engine.vue
Original file line number Diff line number Diff line change
Expand Up @@ -8,7 +8,7 @@
class="engine-content"
v-if="ideEngineList.length > 0">
<div class="engine-header-bar">
<h3 class="data-type-title">意书</h3>
<h3 class="data-type-title">scriptis</h3>
<div class="classify">
<span>分类</span>
<Select v-model="ideSelectData">
Expand Down
4 changes: 2 additions & 2 deletions src/js/module/resourceSimple/job.vue
Original file line number Diff line number Diff line change
Expand Up @@ -36,7 +36,7 @@
<i
class="job-manager-item-icon"
:class="getIconClass(item)"></i>
<span class="job-manager-item-label">{{ item.fileName || (item.requestApplicationName === 'IDE' ? '未知脚本名称' : '知画脚本') }}</span>
<span class="job-manager-item-label">{{ item.fileName || '未知脚本名称' }}</span>
<span class="job-manager-item-progress-label">{{ item.progress ? (item.progress * 100).toFixed(2) + '%' : '' }}</span>
<Icon
size="16"
Expand Down Expand Up @@ -101,7 +101,7 @@ export default {
status: 'Running,Inited,Scheduled',
}, 'get').then((rst) => {
this.dispatch('Footer:updateRunningJob', rst.tasks.length);
this.jobTypeList = [{ 'en': 'IDE', 'cn': '意书' }, { 'en': 'VanGogh', 'cn': '知画' }];
this.jobTypeList = [{ 'en': 'IDE', 'cn': '开发' }];
rst.tasks.forEach((item, index) => {
const tmpItem = Object.assign({}, item, { isActive: false });
this.jobList.push(tmpItem);
Expand Down
2 changes: 1 addition & 1 deletion src/js/module/setting/setting.vue
Original file line number Diff line number Diff line change
Expand Up @@ -70,7 +70,7 @@ export default {
return {
menuList: [{
name: '2',
title: '意书',
title: 'scriptis',
icon: 'ios-people',
children: [{
name: 'IDE-spark',
Expand Down
2 changes: 1 addition & 1 deletion src/js/module/workbench/container.vue
Original file line number Diff line number Diff line change
Expand Up @@ -148,7 +148,7 @@ export default {
rightTab: 0,
},
isControlBtnShow: false,
tips: '什么是Scriptis(意书)?\n意书是微众银行微数域(WeDataSphere)打造的一站式交互式数据探索分析工具,以任意桥(Linkis)做为内核,提供多种计算存储引擎(如Spark、Hive、TiSpark等)、Hive数据库管理功能、资源(如Yarn资源、服务器资源)管理、应用管理和各种用户资源(如UDF、变量等)管理的能力。\n如何使用Scriptis(意书)?\n1. 选中工作空间的目录,创建文件夹;\n2. 右键某个文件夹 =>新建脚本;\n3. 选择脚本类型,如:SQL、Pyspark、HQL等;\n4. 书写脚本,点击执行,生成结果集。',
tips: '什么是Scriptis?\nScriptis是微众银行微数域(WeDataSphere)打造的一站式交互式数据探索分析工具,以任意桥(Linkis)做为内核,提供多种计算存储引擎(如Spark、Hive、TiSpark等)、Hive数据库管理功能、资源(如Yarn资源、服务器资源)管理、应用管理和各种用户资源(如UDF、变量等)管理的能力。\nScriptis?\n1. 选中工作空间的目录,创建文件夹;\n2. 右键某个文件夹 =>新建脚本;\n3. 选择脚本类型,如:SQL、Pyspark、HQL等;\n4. 书写脚本,点击执行,生成结果集。',
isTopPanelFull: false,
loading: false,
};
Expand Down
3 changes: 0 additions & 3 deletions src/js/module/workbench/modal.js
Original file line number Diff line number Diff line change
Expand Up @@ -10,9 +10,6 @@ let logoList = [
{ rule: /\.r$/i, logo: 'fi-r' },
{ rule: /\.txt$/i, logo: 'fi-txt' },
{ rule: /\.log$/i, logo: 'fi-log' },
{ rule: /意书/, logo: 'fi-data-develop' },
{ rule: /数据交换/, logo: 'fi-data-exchange' },
{ rule: /可视化BI/, logo: 'fi-bi' },
];

/**
Expand Down