Skip to content
Browse files

renewed cchardet.detect().

  • Loading branch information...
1 parent 4b07638 commit 8588d1fd1edeed3c42d1a4b7ce26fdde195eda2b @PyYoshi committed Jul 7, 2012
Showing with 48 additions and 61 deletions.
  1. +0 −2 readme.md
  2. +1 −12 src/cchardet/__init__.py
  3. +47 −47 test/tests.py
View
2 readme.md
@@ -69,8 +69,6 @@ import cchardet
msg = file(r"test/testdata/wikipediaJa_One_Thousand_and_One_Nights_SJIS.txt").read()
result = cchardet.detect(msg)
print(result)
-result2 = cchardet.detect_with_confidence(msg)
-print(result2)
```
# Test
View
13 src/cchardet/__init__.py
@@ -8,20 +8,9 @@ def detect(msg):
Args:
msg: str
Returns:
- charset: str
- Warnings:
- UserWarning
- """
- return _cchardet.detect(msg)
-
-def detect_with_confidence(msg):
- """
- Args:
- msg: str
- Returns:
{
"encoding": str,
"confidence": float
}
"""
- return _cchardet.detect_with_confidence(msg)
+ return _cchardet.detect_with_confidence(msg)
View
94 test/tests.py
@@ -48,367 +48,367 @@ def test_detect_bg_iso88595(self):
encoding = "ISO-8859-5"
path = r"testdata/bg/ISO-8859-5/wikitop_bg_ISO-8859-5.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_bg_utf8(self):
encoding = "UTF-8"
path = r"testdata/bg/UTF-8/wikitop_bg_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_bg_windows1251(self):
encoding = "WINDOWS-1251"
path = r"testdata/bg/WINDOWS-1251/wikitop_bg_WINDOWS-1251.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_cz_iso88592(self):
encoding = "ISO-8859-2"
path = r"testdata/cz/ISO-8859-2/wikitop_cz_ISO-8859-2.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_cz_utf8(self):
encoding = "UTF-8"
path = r"testdata/cz/UTF-8/wikitop_cz_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_de_utf8(self):
encoding = "UTF-8"
path = r"testdata/de/UTF-8/wikitop_de_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_de_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/de/WINDOWS-1252/wikitop_de_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_dk_utf8(self):
encoding = "UTF-8"
path = r"testdata/dk/UTF-8/wikitop_dk_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_dk_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/dk/WINDOWS-1252/wikitop_dk_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_el_iso88597(self):
encoding = "ISO-8859-7"
path = r"testdata/el/ISO-8859-7/wikitop_el_ISO-8859-7.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_el_utf8(self):
encoding = "UTF-8"
path = r"testdata/el/UTF-8/wikitop_el_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_en_utf8(self):
encoding = "UTF-8"
path = r"testdata/en/UTF-8/wikitop_en_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_en_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/en/WINDOWS-1252/wikitop_en_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_es_utf8(self):
encoding = "UTF-8"
path = r"testdata/es/UTF-8/wikitop_es_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_es_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/es/WINDOWS-1252/wikitop_es_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_fi_utf8(self):
encoding = "UTF-8"
path = r"testdata/fi/UTF-8/wikitop_fi_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_fi_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/fi/WINDOWS-1252/wikitop_fi_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_fr_utf8(self):
encoding = "UTF-8"
path = r"testdata/fr/UTF-8/wikitop_fr_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_fr_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/fr/WINDOWS-1252/wikitop_fr_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_he_utf8(self):
encoding = "UTF-8"
path = r"testdata/he/UTF-8/wikitop_he_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_he_windows1255(self):
encoding = "WINDOWS-1255"
path = r"testdata/he/WINDOWS-1255/wikitop_he_WINDOWS-1255.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_hu_utf8(self):
encoding = "UTF-8"
path = r"testdata/hu/UTF-8/wikitop_hu_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_hu_iso55892(self):
encoding = "ISO-8859-2"
path = r"testdata/hu/ISO-8859-2/wikitop_hu_ISO-8859-2.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_it_utf8(self):
encoding = "UTF-8"
path = r"testdata/it/UTF-8/wikitop_it_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_it_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/it/WINDOWS-1252/wikitop_it_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_nl_utf8(self):
encoding = "UTF-8"
path = r"testdata/nl/UTF-8/wikitop_nl_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_nl_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/nl/WINDOWS-1252/wikitop_nl_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_no_utf8(self):
encoding = "UTF-8"
path = r"testdata/no/UTF-8/wikitop_no_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_no_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/no/WINDOWS-1252/wikitop_no_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_pl_utf8(self):
encoding = "UTF-8"
path = r"testdata/pl/UTF-8/wikitop_pl_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_pl_iso88592(self):
encoding = "ISO-8859-2"
path = r"testdata/pl/ISO-8859-2/wikitop_pl_ISO-8859-2.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_pt_utf8(self):
encoding = "UTF-8"
path = r"testdata/pt/UTF-8/wikitop_pt_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_pt_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/pt/WINDOWS-1252/wikitop_pt_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_ru_utf8(self):
encoding = "UTF-8"
path = r"testdata/ru/UTF-8/wikitop_ru_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_ru_windows1251(self):
encoding = "WINDOWS-1251"
path = r"testdata/ru/WINDOWS-1251/wikitop_ru_WINDOWS-1251.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_ru_ibm855(self):
encoding = "IBM855"
path = r"testdata/ru/IBM855/wikitop_ru_IBM855.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_ru_koi8r(self):
encoding = "KOI8-R"
path = r"testdata/ru/KOI8-R/wikitop_ru_KOI8-R.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_se_utf8(self):
encoding = "UTF-8"
path = r"testdata/se/UTF-8/wikitop_se_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_se_windows1252(self):
encoding = "WINDOWS-1252"
path = r"testdata/se/WINDOWS-1252/wikitop_se_WINDOWS-1252.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_th_utf8(self):
encoding = "UTF-8"
path = r"testdata/th/UTF-8/wikitop_th_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_th_tis620_1(self):
encoding = "TIS-620"
path = r"testdata/th/TIS-620/utffool_th_TIS-620.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_th_tis620_2(self):
encoding = "TIS-620"
path = r"testdata/th/TIS-620/wikitop_th_TIS-620.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_tr_utf8(self):
encoding = "UTF-8"
path = r"testdata/tr/UTF-8/wikitop_tr_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_tr_iso88599(self):
encoding = "ISO-8859-9"
path = r"testdata/tr/ISO-8859-9/wikitop_tr_ISO-8859-9.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_zh_utf8(self):
encoding = "UTF-8"
path = r"testdata/zh/UTF-8/wikitop_zh_UTF-8.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
def test_detect_zh_gb18030(self):
encoding = "GB18030"
path = r"testdata/zh/GB18030/wikitop_zh_GB18030.txt"
msg =file(path).read()
- detected_encoding = cchardet.detect_with_confidence(msg)
+ detected_encoding = cchardet.detect(msg)
print(detected_encoding)
eq_(encoding.lower(),detected_encoding['encoding'].lower())
@@ -424,7 +424,7 @@ def test_speed(self):
end_chardet = time.time()
# Test cchardet
start_cchardet = time.time()
- detected_encoding_cchardet = cchardet.detect_with_confidence(msg)
+ detected_encoding_cchardet = cchardet.detect(msg)
end_cchardet = time.time()
# print result
result_chardet = end_chardet - start_chardet

0 comments on commit 8588d1f

Please sign in to comment.
Something went wrong with that request. Please try again.