-
Notifications
You must be signed in to change notification settings - Fork 3
/
test_padic.py
65 lines (49 loc) · 2.1 KB
/
test_padic.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
from langid.langid import LanguageIdentifier, model
arabic_dialect_model4 = open('Padic_model_4_grams/model').read()
identifier4 = LanguageIdentifier.from_modelstring(arabic_dialect_model4, norm_probs=True)
print('#################################')
print('test 4-grams model')
print(identifier4.classify("كيفك شو اخبارك انا منيح"))
# ('', )
print(identifier4.classify("من وين انت جاي؟"))
# ('', )
print(identifier4.classify("دخيل قلبك شو مهضوم"))
# ('', )
print(identifier4.classify("أين تقع المدرسة"))
# ('', )
print('#################################')
print('test 5-grams model')
arabic_dialect_model5 = open('Padic_model_5_grams/model').read()
identifier5 = LanguageIdentifier.from_modelstring(arabic_dialect_model5, norm_probs=True)
print(identifier4.classify("كيفك شو اخبارك انا منيح"))
# ('', )
print(identifier4.classify("من وين انت جاي؟"))
# ('', )
print(identifier4.classify("دخيل قلبك شو مهضوم"))
# ('', )
print(identifier4.classify("أين تقع المدرسة"))
# ('', )
print('#################################')
print('test 6 -grams model')
arabic_dialect_model6 = open('Padic_model_6_grams/model').read()
identifier6 = LanguageIdentifier.from_modelstring(arabic_dialect_model6, norm_probs=True)
print(identifier4.classify("كيفك شو اخبارك انا منيح"))
# ('', )
print(identifier4.classify("من وين انت جاي؟"))
# ('', )
print(identifier4.classify("دخيل قلبك شو مهضوم"))
# ('', )
print(identifier4.classify("أين تقع المدرسة"))
# ('', )
print('#################################')
print('test 7 -grams model')
arabic_dialect_model7 = open('Padic_model_7_grams/model').read()
identifier7 = LanguageIdentifier.from_modelstring(arabic_dialect_model7, norm_probs=True)
print(identifier4.classify("كيفك شو اخبارك انا منيح"))
# ('', )
print(identifier4.classify("من وين انت جاي؟"))
# ('', )
print(identifier4.classify("دخيل قلبك شو مهضوم"))
# ('', )
print(identifier4.classify("أين تقع المدرسة"))
# ('', )