fix CI failure in Py3 for multi-bytes case

aliyun · Dec 4, 2018 · d329672 · d329672
1 parent b0e4d0b
commit d329672
Showing 1 changed file with 28 additions and 10 deletions.
diff --git a/tests/etl_test/test_case.py b/tests/etl_test/test_case.py
@@ -7,6 +7,7 @@
 import os
 from time import time
 from random import randint
+import six
 
 t = transform
 
@@ -451,20 +452,37 @@ def test_kv():
     assert t(("data", KV))(d2) == {'i': 'c2', 'k2': 'v 2', 'k1': 'v 1', 'k3': '~!@#=`;.>', 'data': 'i=c2, k1=" v 1 ", k2="v 2" k3="~!@#=`;.>"'}
 
     # multi-bytes check
-    d3 = {"data": u'i=c3, k1=你好 k2=他们'.encode('utf8')}
-    assert t(("data", KV))(d3) == {'i': 'c3', 'k2': u'他们'.encode('utf8'), 'k1': u'你好'.encode('utf8'), "data": u'i=c3, k1=你好 k2=他们'.encode('utf8')}
+    if six.PY2:
+        d3 = {"data": u'i=c3, k1=你好 k2=他们'.encode('utf8')}
+        assert t(("data", KV))(d3) == {'i': 'c3', 'k2': u'他们'.encode('utf8'), 'k1': u'你好'.encode('utf8'), "data": u'i=c3, k1=你好 k2=他们'.encode('utf8')}
 
-    d4 = {"data": u'i=c4, 姓名=小明 年龄=中文 '.encode('utf8')}
-    assert t(("data", KV))(d4) == {'i': 'c4', u'姓名'.encode('utf8'): u'小明'.encode('utf8'), u'年龄'.encode('utf8'): u'中文'.encode('utf8'), "data": u'i=c4, 姓名=小明 年龄=中文 '.encode('utf8')}
+        d4 = {"data": u'i=c4, 姓名=小明 年龄=中文 '.encode('utf8')}
+        assert t(("data", KV))(d4) == {'i': 'c4', u'姓名'.encode('utf8'): u'小明'.encode('utf8'), u'年龄'.encode('utf8'): u'中文'.encode('utf8'), "data": u'i=c4, 姓名=小明 年龄=中文 '.encode('utf8')}
 
-    d5 = {"data": u'i=c5, 姓名="小明" 年龄="中文" '.encode('utf8')}
-    assert t(("data", KV))(d5) == {'i': 'c5', u'姓名'.encode('utf8'): u'小明'.encode('utf8'), u'年龄'.encode('utf8'): u'中文'.encode('utf8'), "data": u'i=c5, 姓名="小明" 年龄="中文" '.encode('utf8')}
+        d5 = {"data": u'i=c5, 姓名="小明" 年龄="中文" '.encode('utf8')}
+        assert t(("data", KV))(d5) == {'i': 'c5', u'姓名'.encode('utf8'): u'小明'.encode('utf8'), u'年龄'.encode('utf8'): u'中文'.encode('utf8'), "data": u'i=c5, 姓名="小明" 年龄="中文" '.encode('utf8')}
 
-    d6 = {"data": u'i=c6, 姓名=小明 年龄=中文'}
-    assert t(("data", KV))(d6) == {'i': 'c6', u'姓名'.encode('utf8'): u'小明'.encode('utf8'), u'年龄'.encode('utf8'): u'中文'.encode('utf8'), "data": u'i=c6, 姓名=小明 年龄=中文'}
+        d6 = {"data": u'i=c6, 姓名=小明 年龄=中文'}
+        assert t(("data", KV))(d6) == {'i': 'c6', u'姓名'.encode('utf8'): u'小明'.encode('utf8'), u'年龄'.encode('utf8'): u'中文'.encode('utf8'), "data": u'i=c6, 姓名=小明 年龄=中文'}
+
+        d7 = {"data": u'i=c7, 姓名="小明" 年龄=中文 '}
+        assert t(("data", KV))(d7) == {'i': 'c7', u'姓名'.encode('utf8'): u'小明'.encode('utf8'), u'年龄'.encode('utf8'): u'中文'.encode('utf8'), "data": u'i=c7, 姓名="小明" 年龄=中文 '}
+    else:
+        d3 = {"data": u'i=c3, k1=你好 k2=他们'.encode('utf8')}
+        assert t(("data", KV))(d3) == {'i': 'c3', 'k2': u'他们', 'k1': u'你好', "data": u'i=c3, k1=你好 k2=他们'.encode('utf8')}
+
+        d4 = {"data": u'i=c4, 姓名=小明 年龄=中文 '.encode('utf8')}
+        assert t(("data", KV))(d4) == {'i': 'c4', u'姓名': u'小明', u'年龄': u'中文', "data": u'i=c4, 姓名=小明 年龄=中文 '.encode('utf8')}
+
+        d5 = {"data": u'i=c5, 姓名="小明" 年龄="中文" '.encode('utf8')}
+        assert t(("data", KV))(d5) == {'i': 'c5', u'姓名': u'小明', u'年龄': u'中文', "data": u'i=c5, 姓名="小明" 年龄="中文" '.encode('utf8')}
+
+        d6 = {"data": u'i=c6, 姓名=小明 年龄=中文'}
+        assert t(("data", KV))(d6) == {'i': 'c6', u'姓名': u'小明', u'年龄': u'中文', "data": u'i=c6, 姓名=小明 年龄=中文'}
+
+        d7 = {"data": u'i=c7, 姓名="小明" 年龄=中文 '}
+        assert t(("data", KV))(d7) == {'i': 'c7', u'姓名': u'小明', u'年龄': u'中文', "data": u'i=c7, 姓名="小明" 年龄=中文 '}
 
-    d7 = {"data": u'i=c7, 姓名="小明" 年龄=中文 '}
-    assert t(("data", KV))(d7) == {'i': 'c7', u'姓名'.encode('utf8'): u'小明'.encode('utf8'), u'年龄'.encode('utf8'): u'中文'.encode('utf8'), "data": u'i=c7, 姓名="小明" 年龄=中文 '}
 
     # new line in value
     d8 = {"data": """i=c8, k1="hello