update doc

Makefile

@@ -9,7 +9,7 @@
 #
 #===========================================================================
 
-.PHONY : all dev deps output clean help test deb rpm
+.PHONY : all dev deps output clean help test deb rpm doc
 
 all : output
 
@@ -41,6 +41,9 @@ hpipe :
 test : all
 	go test -v
 
+doc :
+	cd docs; make html
+
 clean :
 	rm -rf output
 	rm -rf hpipe

dag/symbol/lexer/acttab.go

@@ -31,11 +31,11 @@ var ActTab = ActionTable{
  		Ignore: "",
  	},
  	ActionRow{ // S3
-		Accept: 0,
+		Accept: 1,
  		Ignore: "",
  	},
  	ActionRow{ // S4
-		Accept: 1,
+		Accept: 0,
  		Ignore: "",
  	},
  	ActionRow{ // S5
@@ -103,11 +103,11 @@ var ActTab = ActionTable{
  		Ignore: "",
  	},
  	ActionRow{ // S21
-		Accept: 13,
+		Accept: 0,
  		Ignore: "",
  	},
  	ActionRow{ // S22
-		Accept: 0,
+		Accept: 13,
  		Ignore: "",
  	},
  	ActionRow{ // S23

dag/symbol/lexer/lexer.go

@@ -150,8 +150,8 @@ Lexer symbols:
 8: ':'
 9: '-'
 10: '_'
-11: '"'
-12: '"'
+11: '''
+12: '''
 13: ';'
 14: '$'
 15: '='

dag/symbol/lexer/transitiontable.go

@@ -23,9 +23,9 @@ var TransTab = TransitionTable{
 				return 1
 			case r == 32 : // [' ',' ']
 				return 2
-			case r == 34 : // ['"','"']
-				return 3
 			case r == 36 : // ['$','$']
+				return 3
+			case r == 39 : // [''',''']
 				return 4
 			case r == 40 : // ['(','(']
 				return 5
@@ -134,18 +134,8 @@ var TransTab = TransitionTable{
 		// S3
 		func(r rune) int {
 			switch {
-			case r == 34 : // ['"','"']
+			case r == 123 : // ['{','{']
 				return 21
-			case r == 46 : // ['.','.']
-				return 22
-			case 48 <= r && r <= 57 : // ['0','9']
-				return 23
-			case 65 <= r && r <= 90 : // ['A','Z']
-				return 24
-			case r == 95 : // ['_','_']
-				return 22
-			case 97 <= r && r <= 122 : // ['a','z']
-				return 24
 
 
 
@@ -157,7 +147,17 @@ var TransTab = TransitionTable{
 		// S4
 		func(r rune) int {
 			switch {
-			case r == 123 : // ['{','{']
+			case r == 39 : // [''',''']
+				return 22
+			case r == 46 : // ['.','.']
+				return 23
+			case 48 <= r && r <= 57 : // ['0','9']
+				return 24
+			case 65 <= r && r <= 90 : // ['A','Z']
+				return 25
+			case r == 95 : // ['_','_']
+				return 23
+			case 97 <= r && r <= 122 : // ['a','z']
 				return 25
 
 
@@ -472,6 +472,10 @@ var TransTab = TransitionTable{
 		// S21
 		func(r rune) int {
 			switch {
+			case r == 100 : // ['d','d']
+				return 30
+			case r == 101 : // ['e','e']
+				return 31
 
 
 
@@ -483,18 +487,6 @@ var TransTab = TransitionTable{
 		// S22
 		func(r rune) int {
 			switch {
-			case r == 34 : // ['"','"']
-				return 21
-			case r == 46 : // ['.','.']
-				return 22
-			case 48 <= r && r <= 57 : // ['0','9']
-				return 23
-			case 65 <= r && r <= 90 : // ['A','Z']
-				return 24
-			case r == 95 : // ['_','_']
-				return 22
-			case 97 <= r && r <= 122 : // ['a','z']
-				return 24
 
 
 
@@ -506,18 +498,18 @@ var TransTab = TransitionTable{
 		// S23
 		func(r rune) int {
 			switch {
-			case r == 34 : // ['"','"']
-				return 21
-			case r == 46 : // ['.','.']
+			case r == 39 : // [''',''']
 				return 22
-			case 48 <= r && r <= 57 : // ['0','9']
+			case r == 46 : // ['.','.']
 				return 23
-			case 65 <= r && r <= 90 : // ['A','Z']
+			case 48 <= r && r <= 57 : // ['0','9']
 				return 24
+			case 65 <= r && r <= 90 : // ['A','Z']
+				return 25
 			case r == 95 : // ['_','_']
-				return 22
+				return 23
 			case 97 <= r && r <= 122 : // ['a','z']
-				return 24
+				return 25
 
 
 
@@ -529,18 +521,18 @@ var TransTab = TransitionTable{
 		// S24
 		func(r rune) int {
 			switch {
-			case r == 34 : // ['"','"']
-				return 21
-			case r == 46 : // ['.','.']
+			case r == 39 : // [''',''']
 				return 22
-			case 48 <= r && r <= 57 : // ['0','9']
+			case r == 46 : // ['.','.']
 				return 23
-			case 65 <= r && r <= 90 : // ['A','Z']
+			case 48 <= r && r <= 57 : // ['0','9']
 				return 24
+			case 65 <= r && r <= 90 : // ['A','Z']
+				return 25
 			case r == 95 : // ['_','_']
-				return 22
+				return 23
 			case 97 <= r && r <= 122 : // ['a','z']
-				return 24
+				return 25
 
 
 
@@ -552,10 +544,18 @@ var TransTab = TransitionTable{
 		// S25
 		func(r rune) int {
 			switch {
-			case r == 100 : // ['d','d']
-				return 30
-			case r == 101 : // ['e','e']
-				return 31
+			case r == 39 : // [''',''']
+				return 22
+			case r == 46 : // ['.','.']
+				return 23
+			case 48 <= r && r <= 57 : // ['0','9']
+				return 24
+			case 65 <= r && r <= 90 : // ['A','Z']
+				return 25
+			case r == 95 : // ['_','_']
+				return 23
+			case 97 <= r && r <= 122 : // ['a','z']
+				return 25
 
 
 

dag/symbol/symbol.bnf

@@ -14,7 +14,7 @@ date : { 'Y' | 'M' | 'D' | 'h' | 'm' | 's' | ' ' | ':' | '-' };
 
 id : { _letter | '_' } { _idchar } ;
 
-string : '"' { _idchar } '"' ;
+string : '\'' { _idchar } '\'' ;
 
 !whitespace : ' ' | '\t' | '\n' | '\r' ;
 

docs/configuration.rst

@@ -1,18 +1,121 @@
 .. _configuration:
 
+========
 配置文件
 ========
 
-内置变量
+
+任务节点配置
+============
+
+公共配置
 --------
 
+name
+^^^^
+
+节点名。
+
+type
+^^^^
+
+节点类型。
+
+output
+^^^^^^
+
+节点输出路径。可以使用变量，例如：``output="/tmp/example/${bizdate}/"``。
+
+vars
+^^^^
+
+定义变量。语法如下：
+
+* 分号分割的若干赋值语句
+
+* 左值
+
+  $开头的变量名
+
+* 右值
+
+  * int整数
+
+  * 字符串
+
+    单引号扩起来的字符串：``$name='test'``
+
+  * 其它变量
+
+    $号开头的变量名：``$date=$bizdate``
+
+  * 时间变量扩展
+
+    按照格式获取时间：``$date=${date:YYYYMMDD}``
+
+nonstrict
+^^^^^^^^^
+
+不要求前置条件全成功。例如：``nonstrict="true"``。
+
+节点类型
+--------
+
+* hadoop
+* hive
+* script
+
+hadoop
+^^^^^^
+
+hive
+^^^^
+
+hql
+"""
+
+HiveQL命令。
+
+script
+""""""
+
+HiveQL文件。
+
+option
+""""""
+
+Hive选项，例如：``hive.exec.dynamic.partition.mode=nonstrict``。
+
+script
+^^^^^^
+
+interpreter
+"""""""""""
+
+解释器，例如：``perl``，``bash``。可以只写出在系统变量``$PATH``内命令，也可以写完整的路径。
+
+script
+""""""
+
+Script文件。
+
+内置变量
+========
+
 日期时间
-^^^^^^^^
-
-===========  ====
-变量名        含义
-===========  ====
-gmtdate      脚本运行当前的日期
-bizdate      脚本运行前一天的日期
-job_report   所有任务运行报告
-===========  ====
+--------
+
+gmtdate
+^^^^^^^
+
+脚本运行当前的日期。
+
+bizdate
+^^^^^^^
+
+脚本运行前一天的日期。可以在启动hpipe的时候用``--bizdate``指定日期，这个选项会同时更新``gmtdate``。
+
+job_report
+^^^^^^^^^^
+
+所有任务运行报告。