insert to db, add delimiter, fix opId

uwescience · Aug 10, 2015 · 6cf871f · 6cf871f
1 parent 4a0a988
commit 6cf871f
Show file tree

Hide file tree

Showing 6 changed files with 36 additions and 32 deletions.
diff --git a/jsonQueries/connected_components_jwang/connected_components.json b/jsonQueries/connected_components_jwang/connected_components.json
@@ -1,20 +1,6 @@
 {
 	"fragments": 
 	[
-		{
-			"operators": 
-			[
-			{
-			  "opId" : 1,
-			  "opType" : "CollectConsumer",
-			  "argOperatorId" : 9
-			}
-			],
-			"overrideWorkers": 
-			[
-				0
-			]
-		},
 		{
 			"operators": 
 			[
@@ -111,8 +97,8 @@
 				"argIterationInput" : 16,
 				"argState" : {
 					"type" : "KeepMinValue",
-					"keyColIndices" : ["0"],
-					"valueColIndex" : 1
+					"keyColIndices" : [0],
+					"valueColIndices" : [1]
 				},
 				"argEosControllerInput" : 15
 			},
@@ -180,9 +166,15 @@
                 }]
 			},
 			{
+				"argChild": 8,
+				"argOverwriteTable": true,
 				"opId" : 9,
-				"opType" : "CollectProducer",
-				"argChild" : 8
+				"opType": "DbInsert",
+				"relationKey": {
+					"programName": "connected_components",
+					"relationName": "result",
+					"userName": "jwang"
+				}
 			}
 			]
 		}

diff --git a/jsonQueries/connected_components_jwang/ingest_c.json b/jsonQueries/connected_components_jwang/ingest_c.json
@@ -11,5 +11,6 @@
   "source" : {
     "dataType" : "Bytes",
     "bytes" : "MCAwCjEgMQoyIDIKMyAzCjQgNAo1IDUKNiA2CjcgNwo4IDgKOSA5CjEwIDEwCjExIDExCjEyIDEyCjEzIDEzCjE0IDE0CjE1IDE1CjE2IDE2CjE3IDE3CjE4IDE4CjE5IDE5CjIwIDIwCjIxIDIxCjIyIDIyCjIzIDIzCjI0IDI0CjI1IDI1CjI2IDI2CjI3IDI3CjI4IDI4CjI5IDI5CjMwIDMwCjMxIDMxCjMyIDMyCjMzIDMzCjM0IDM0CjM1IDM1CjM2IDM2CjM3IDM3CjM4IDM4CjM5IDM5CjQwIDQwCjQxIDQxCjQyIDQyCjQzIDQzCjQ0IDQ0CjQ1IDQ1CjQ2IDQ2CjQ3IDQ3CjQ4IDQ4CjQ5IDQ5CjUwIDUwCjUxIDUxCjUyIDUyCjUzIDUzCjU0IDU0CjU1IDU1CjU2IDU2CjU3IDU3CjU4IDU4CjU5IDU5CjYwIDYwCjYxIDYxCjYyIDYyCjYzIDYzCjY0IDY0CjY1IDY1CjY2IDY2CjY3IDY3CjY4IDY4CjY5IDY5CjcwIDcwCjcxIDcxCjcyIDcyCjczIDczCjc0IDc0Cjc1IDc1Cjc2IDc2Cjc3IDc3Cjc4IDc4Cjc5IDc5CjgwIDgwCjgxIDgxCjgyIDgyCjgzIDgzCjg0IDg0Cjg1IDg1Cjg2IDg2Cjg3IDg3Cjg4IDg4Cjg5IDg5CjkwIDkwCjkxIDkxCjkyIDkyCjkzIDkzCjk0IDk0Cjk1IDk1Cjk2IDk2Cjk3IDk3Cjk4IDk4Cjk5IDk5Cg=="
-  }
+  },
+  "delimiter": " "
 }
diff --git a/jsonQueries/connected_components_jwang/ingest_g.json b/jsonQueries/connected_components_jwang/ingest_g.json
@@ -11,5 +11,6 @@
   "source" : {
     "dataType" : "Bytes",
      "bytes" : "MjIgNjUKNjUgMjIKODYgOAo4IDg2CjIzIDM0CjM0IDIzCjgzIDcxCjcxIDgzCjg0IDU5CjU5IDg0CjgyIDg0Cjg0IDgyCjg1IDE0CjE0IDg1Cjg4IDg2Cjg2IDg4CjY5IDIwCjIwIDY5CjE1IDMwCjMwIDE1CjU3IDcKNyA1Nwo1MyA2MAo2MCA1Mwo3MyAzMAozMCA3MwoxOSAzNwozNyAxOQoyNCAzCjMgMjQKNTIgNDYKNDYgNTIKNjkgMzgKMzggNjkKNTQgOTIKOTIgNTQKNzIgODkKODkgNzIKMTUgNTYKNTYgMTUKMCA0OQo0OSAwCjkyIDg1Cjg1IDkyCjYzIDMyCjMyIDYzCjI0IDMzCjMzIDI0CjUzIDM5CjM5IDUzCjE1IDYyCjYyIDE1Cjk5IDY4CjY4IDk5CjIyIDI0CjI0IDIyCjk5IDk0Cjk0IDk5CjYxIDc1Cjc1IDYxCjk3IDY1CjY1IDk3CjIxIDE4CjE4IDIxCjU1IDI3CjI3IDU1CjExIDgwCjgwIDExCjY4IDc4Cjc4IDY4Cjg4IDY4CjY4IDg4CjI4IDgxCjgxIDI4CjUzIDQzCjQzIDUzCjY1IDI5CjI5IDY1CjI4IDE4CjE4IDI4CjIxIDQ0CjQ0IDIxCjMyIDIwCjIwIDMyCjEyIDU1CjU1IDEyCjQ0IDYzCjYzIDQ0CjEgNTcKNTcgMQozOCA1MAo1MCAzOAo3NSAxMQoxMSA3NQo2OSAzMAozMCA2OQo5MCAzMgozMiA5MAoxMCA1OAo1OCAxMAoxMCA1MQo1MSAxMAoyNiA5MAo5MCAyNgo4NCAzMgozMiA4NAozNCA0OQo0OSAzNAo2MSA2Mgo2MiA2MQoyMCA4Mgo4MiAyMAo1OCA1Mgo1MiA1OAo1NCA3MQo3MSA1NAo1OSA1MAo1MCA1OQozNCA2MAo2MCAzNAo2MCAyNQoyNSA2MAo2MyAzNQozNSA2MwozNiAzMgozMiAzNgo2NSAyNwoyNyA2NQo2NCAyOAoyOCA2NAo4NSAyNgoyNiA4NQo3OSA2NAo2NCA3OQoxNyAxNQoxNSAxNwo5NiAzCjMgOTYKNjQgOQo5IDY0CjE3IDg0Cjg0IDE3CjQ0IDc2Cjc2IDQ0CjM3IDk4Cjk4IDM3CjQ3IDk2Cjk2IDQ3CjEgMzMKMzMgMQo5IDYxCjYxIDkKNTggNzIKNzIgNTgKOTYgOTUKOTUgOTYKNCAxMwoxMyA0Cjc0IDIwCjIwIDc0CjkzIDExCjExIDkzCjk4IDI0CjI0IDk4Cjc1IDY3CjY3IDc1CjM5IDIzCjIzIDM5CjcwIDU2CjU2IDcwCjMzIDg4Cjg4IDMzCjQwIDc3Cjc3IDQwCjY0IDc3Cjc3IDY0CjI3IDYzCjYzIDI3CjI2IDI4CjI4IDI2Cjk2IDM1CjM1IDk2CjQxIDU1CjU1IDQxCjU5IDg5Cjg5IDU5CjIgNjMKNjMgMgo1NSA3Ngo3NiA1NQozNSAwCjAgMzUKMzkgODUKODUgMzkKMjUgMTUKMTUgMjUKNTMgMTYKMTYgNTMKMzggNzUKNzUgMzgK"
-  }
+  },
+  "delimiter": " "
 }
diff --git a/jsonQueries/sample_queries/single_join.json b/jsonQueries/sample_queries/single_join.json
@@ -39,7 +39,7 @@
                         "index": 1,
                         "type": "SingleFieldHash"
                     },
-                    "opId": 6,
+                    "opId": 7,
                     "opType": "ShuffleProducer"
                 }
             ]
@@ -52,7 +52,7 @@
                     "opType": "ShuffleConsumer"
                 },
                 {
-                    "argOperatorId": 6,
+                    "argOperatorId": 7,
                     "opId": 3,
                     "opType": "ShuffleConsumer"
                 },

diff --git a/jsonQueries/transitive_closure_jwang/ingest_g.json b/jsonQueries/transitive_closure_jwang/ingest_g.json
@@ -1,12 +1,16 @@
 {
-  "relation_key" : {
-    "user_name" : "jwang",
-    "program_name" : "transitive_closure",
-    "relation_name" : "g"
+  "relationKey" : {
+    "userName" : "jwang",
+    "programName" : "transitive_closure",
+    "relationName" : "g"
   },
   "schema" : {
-    "column_types" : ["LONG_TYPE", "LONG_TYPE"],
-    "column_names" : ["node_id_1", "node_id_2"]
+    "columnTypes" : ["LONG_TYPE", "LONG_TYPE"],
+    "columnNames" : ["node_id_1", "node_id_2"]
   },
-   "data" : "MjIgNjUKNjUgMjIKODYgOAo4IDg2CjIzIDM0CjM0IDIzCjgzIDcxCjcxIDgzCjg0IDU5CjU5IDg0CjgyIDg0Cjg0IDgyCjg1IDE0CjE0IDg1Cjg4IDg2Cjg2IDg4CjY5IDIwCjIwIDY5CjE1IDMwCjMwIDE1CjU3IDcKNyA1Nwo1MyA2MAo2MCA1Mwo3MyAzMAozMCA3MwoxOSAzNwozNyAxOQoyNCAzCjMgMjQKNTIgNDYKNDYgNTIKNjkgMzgKMzggNjkKNTQgOTIKOTIgNTQKNzIgODkKODkgNzIKMTUgNTYKNTYgMTUKMCA0OQo0OSAwCjkyIDg1Cjg1IDkyCjYzIDMyCjMyIDYzCjI0IDMzCjMzIDI0CjUzIDM5CjM5IDUzCjE1IDYyCjYyIDE1Cjk5IDY4CjY4IDk5CjIyIDI0CjI0IDIyCjk5IDk0Cjk0IDk5CjYxIDc1Cjc1IDYxCjk3IDY1CjY1IDk3CjIxIDE4CjE4IDIxCjU1IDI3CjI3IDU1CjExIDgwCjgwIDExCjY4IDc4Cjc4IDY4Cjg4IDY4CjY4IDg4CjI4IDgxCjgxIDI4CjUzIDQzCjQzIDUzCjY1IDI5CjI5IDY1CjI4IDE4CjE4IDI4CjIxIDQ0CjQ0IDIxCjMyIDIwCjIwIDMyCjEyIDU1CjU1IDEyCjQ0IDYzCjYzIDQ0CjEgNTcKNTcgMQozOCA1MAo1MCAzOAo3NSAxMQoxMSA3NQo2OSAzMAozMCA2OQo5MCAzMgozMiA5MAoxMCA1OAo1OCAxMAoxMCA1MQo1MSAxMAoyNiA5MAo5MCAyNgo4NCAzMgozMiA4NAozNCA0OQo0OSAzNAo2MSA2Mgo2MiA2MQoyMCA4Mgo4MiAyMAo1OCA1Mgo1MiA1OAo1NCA3MQo3MSA1NAo1OSA1MAo1MCA1OQozNCA2MAo2MCAzNAo2MCAyNQoyNSA2MAo2MyAzNQozNSA2MwozNiAzMgozMiAzNgo2NSAyNwoyNyA2NQo2NCAyOAoyOCA2NAo4NSAyNgoyNiA4NQo3OSA2NAo2NCA3OQoxNyAxNQoxNSAxNwo5NiAzCjMgOTYKNjQgOQo5IDY0CjE3IDg0Cjg0IDE3CjQ0IDc2Cjc2IDQ0CjM3IDk4Cjk4IDM3CjQ3IDk2Cjk2IDQ3CjEgMzMKMzMgMQo5IDYxCjYxIDkKNTggNzIKNzIgNTgKOTYgOTUKOTUgOTYKNCAxMwoxMyA0Cjc0IDIwCjIwIDc0CjkzIDExCjExIDkzCjk4IDI0CjI0IDk4Cjc1IDY3CjY3IDc1CjM5IDIzCjIzIDM5CjcwIDU2CjU2IDcwCjMzIDg4Cjg4IDMzCjQwIDc3Cjc3IDQwCjY0IDc3Cjc3IDY0CjI3IDYzCjYzIDI3CjI2IDI4CjI4IDI2Cjk2IDM1CjM1IDk2CjQxIDU1CjU1IDQxCjU5IDg5Cjg5IDU5CjIgNjMKNjMgMgo1NSA3Ngo3NiA1NQozNSAwCjAgMzUKMzkgODUKODUgMzkKMjUgMTUKMTUgMjUKNTMgMTYKMTYgNTMKMzggNzUKNzUgMzgK"
+  "source" : {
+    "dataType" : "Bytes",
+    "bytes" :  "MjIgNjUKNjUgMjIKODYgOAo4IDg2CjIzIDM0CjM0IDIzCjgzIDcxCjcxIDgzCjg0IDU5CjU5IDg0CjgyIDg0Cjg0IDgyCjg1IDE0CjE0IDg1Cjg4IDg2Cjg2IDg4CjY5IDIwCjIwIDY5CjE1IDMwCjMwIDE1CjU3IDcKNyA1Nwo1MyA2MAo2MCA1Mwo3MyAzMAozMCA3MwoxOSAzNwozNyAxOQoyNCAzCjMgMjQKNTIgNDYKNDYgNTIKNjkgMzgKMzggNjkKNTQgOTIKOTIgNTQKNzIgODkKODkgNzIKMTUgNTYKNTYgMTUKMCA0OQo0OSAwCjkyIDg1Cjg1IDkyCjYzIDMyCjMyIDYzCjI0IDMzCjMzIDI0CjUzIDM5CjM5IDUzCjE1IDYyCjYyIDE1Cjk5IDY4CjY4IDk5CjIyIDI0CjI0IDIyCjk5IDk0Cjk0IDk5CjYxIDc1Cjc1IDYxCjk3IDY1CjY1IDk3CjIxIDE4CjE4IDIxCjU1IDI3CjI3IDU1CjExIDgwCjgwIDExCjY4IDc4Cjc4IDY4Cjg4IDY4CjY4IDg4CjI4IDgxCjgxIDI4CjUzIDQzCjQzIDUzCjY1IDI5CjI5IDY1CjI4IDE4CjE4IDI4CjIxIDQ0CjQ0IDIxCjMyIDIwCjIwIDMyCjEyIDU1CjU1IDEyCjQ0IDYzCjYzIDQ0CjEgNTcKNTcgMQozOCA1MAo1MCAzOAo3NSAxMQoxMSA3NQo2OSAzMAozMCA2OQo5MCAzMgozMiA5MAoxMCA1OAo1OCAxMAoxMCA1MQo1MSAxMAoyNiA5MAo5MCAyNgo4NCAzMgozMiA4NAozNCA0OQo0OSAzNAo2MSA2Mgo2MiA2MQoyMCA4Mgo4MiAyMAo1OCA1Mgo1MiA1OAo1NCA3MQo3MSA1NAo1OSA1MAo1MCA1OQozNCA2MAo2MCAzNAo2MCAyNQoyNSA2MAo2MyAzNQozNSA2MwozNiAzMgozMiAzNgo2NSAyNwoyNyA2NQo2NCAyOAoyOCA2NAo4NSAyNgoyNiA4NQo3OSA2NAo2NCA3OQoxNyAxNQoxNSAxNwo5NiAzCjMgOTYKNjQgOQo5IDY0CjE3IDg0Cjg0IDE3CjQ0IDc2Cjc2IDQ0CjM3IDk4Cjk4IDM3CjQ3IDk2Cjk2IDQ3CjEgMzMKMzMgMQo5IDYxCjYxIDkKNTggNzIKNzIgNTgKOTYgOTUKOTUgOTYKNCAxMwoxMyA0Cjc0IDIwCjIwIDc0CjkzIDExCjExIDkzCjk4IDI0CjI0IDk4Cjc1IDY3CjY3IDc1CjM5IDIzCjIzIDM5CjcwIDU2CjU2IDcwCjMzIDg4Cjg4IDMzCjQwIDc3Cjc3IDQwCjY0IDc3Cjc3IDY0CjI3IDYzCjYzIDI3CjI2IDI4CjI4IDI2Cjk2IDM1CjM1IDk2CjQxIDU1CjU1IDQxCjU5IDg5Cjg5IDU5CjIgNjMKNjMgMgo1NSA3Ngo3NiA1NQozNSAwCjAgMzUKMzkgODUKODUgMzkKMjUgMTUKMTUgMjUKNTMgMTYKMTYgNTMKMzggNzUKNzUgMzgK"
+  },
+  "delimiter": " "
 }
diff --git a/jsonQueries/transitive_closure_jwang/transitive_closure.json b/jsonQueries/transitive_closure_jwang/transitive_closure.json
@@ -153,9 +153,15 @@
 				"argOperatorId" : 10
 			},
 			{
-				"opId" : 13,
-				"opType" : "SinkRoot",
-				"argChild" : 14
+				"argChild": 14,
+				"argOverwriteTable": true,
+				"opId": 25,
+				"opType": "DbInsert",
+				"relationKey": {
+					"programName": "transitive_closure",
+					"relationName": "result",
+					"userName": "jwang"
+				}
 			}
 			]
 		}