From 791fb359f18bddbb5a9b58a906f981b08632ed81 Mon Sep 17 00:00:00 2001
From: omidp <omidpourhadi@gmail.com>
Date: Sun, 15 Jun 2014 15:31:19 +0430
Subject: [PATCH] add persian/farsi language detection

---
 .../resources/org/apache/tika/language/fa.ngp | 1001 +++++++++++++++++
 .../tika/language/tika.language.properties    |    3 +-
 2 files changed, 1003 insertions(+), 1 deletion(-)
 create mode 100644 tika-core/src/main/resources/org/apache/tika/language/fa.ngp

diff --git a/tika-core/src/main/resources/org/apache/tika/language/fa.ngp b/tika-core/src/main/resources/org/apache/tika/language/fa.ngp
new file mode 100644
index 00000000000..e86e27e4eee
--- /dev/null
+++ b/tika-core/src/main/resources/org/apache/tika/language/fa.ngp
@@ -0,0 +1,1001 @@
+# NgramProfile generated at Sun Jun 15 15:17:44 IRDT 2014 for Apache Tika Language Identification
+ان_ 34459
+ند_ 15773
+نی_ 12790
+ری_ 12406
+_با 11822
+ین_ 11501
+های 11147
+انی 10770
+ای_ 10340
+ران 10094
+است 9846
+مان 9238
+_ال 9163
+ها_ 8765
+_بر 8513
+_کا 8460
+ید_ 8306
+یم_ 8287
+ار_ 8283
+ون_ 8244
+یان 8215
+ده_ 8205
+اری 7849
+یی_ 7834
+_در 7787
+_اس 7775
+ایی 7489
+_ما 7405
+ست_ 7374
+نه_ 7180
+اند 7113
+دار 7111
+تی_ 7097
+دی_ 6826
+کار 6646
+شان 6424
+رها 6258
+لی_ 6098
+_نا 6066
+_فر 6059
+ات_ 6000
+_سا 5901
+تان 5833
+_دا 5738
+وان 5616
+_پر 5565
+_خو 5537
+ستا 5387
+دان 5346
+ارا 5333
+_رو 5290
+انه 5223
+_ای 5222
+_می 5145
+ور_ 5145
+_ان 5134
+_مو 4986
+_سر 4836
+_دو 4813
+ال_ 4755
+_پا 4738
+_را 4721
+_وا 4659
+_بی 4653
+می_ 4589
+الی 4532
+یه_ 4488
+_کو 4476
+رد_ 4389
+_تا 4291
+وری 4233
+ردا 4167
+_سی 4144
+ندا 4126
+یست 4086
+_او 4080
+رای 4050
+خوا 4041
+یت_ 4039
+_تو 3989
+ارد 3964
+اد_ 3960
+ره_ 3931
+_نو 3882
+_نی 3874
+الا 3845
+_پی 3818
+نى_ 3813
+وار 3808
+رى_ 3743
+_دی 3737
+ام_ 3689
+یک_ 3689
+_بو 3673
+_سو 3637
+امی 3604
+یا_ 3533
+_گر 3529
+_ام 3528
+یرا 3512
+رین 3483
+ته_ 3466
+ورد 3462
+این 3460
+_مر 3446
+یر_ 3430
+نیا 3371
+اره 3336
+انت 3332
+ورا 3302
+ونی 3301
+ریا 3288
+بار 3286
+باز 3271
+گرا 3258
+تری 3242
+وی_ 3241
+زی_ 3238
+کی_ 3230
+مار 3226
+سی_ 3224
+_تر 3218
+بان 3196
+تر_ 3195
+را_ 3185
+دن_ 3181
+_ها 3156
+_کر 3151
+دها 3148
+_از 3144
+ود_ 3138
+_مت 3108
+نده 3089
+ندی 3089
+گی_ 3071
+ادی 3068
+ستی 3065
+ینی 3063
+له_ 3060
+ارت 3049
+_من 3034
+ولی 3012
+گان 3001
+برا 2969
+سان 2967
+بی_ 2950
+_مح 2939
+_ار 2903
+ازی 2896
+غیر 2883
+رند 2879
+رما 2864
+دید 2852
+یون 2848
+_مس 2818
+_غی 2810
+اتی 2795
+زار 2792
+نند 2778
+_پو 2775
+نگ_ 2774
+مای 2753
+یش_ 2753
+اور 2750
+اه_ 2737
+نها 2737
+ارو 2721
+_مع 2690
+انو 2681
+اها 2664
+تور 2662
+وس_ 2649
+انگ 2639
+_شا 2631
+_هم 2628
+فرا 2617
+ترا 2616
+انش 2605
+ایش 2605
+لان 2602
+میر 2594
+انس 2570
+_یا 2560
+مین 2556
+یل_ 2548
+دند 2522
+داد 2520
+انا 2515
+_لا 2514
+نا_ 2513
+_کن 2507
+اسی 2499
+یار 2496
+لا_ 2493
+کان 2491
+مه_ 2488
+از_ 2471
+_وی 2468
+یس_ 2448
+نان 2445
+رات 2434
+یری 2433
+راس 2430
+_کل 2422
+تار 2415
+سال 2415
+تى_ 2408
+_گو 2401
+نام 2401
+اما 2395
+وست 2389
+وند 2387
+گاه 2376
+ردی 2354
+رون 2336
+رم_ 2327
+یلی 2327
+ولا 2324
+نما 2322
+روز 2318
+اده 2275
+به_ 2274
+ساز 2271
+ستر 2253
+مون 2243
+دم_ 2239
+یند 2238
+ارن 2233
+_جا 2230
+یما 2223
+رو_ 2215
+یى_ 2206
+کرد 2196
+اس_ 2195
+گیر 2193
+_خا 2191
+گرد 2182
+_اب 2162
+اخت 2159
+ناس 2154
+اشت 2142
+هان 2142
+_ری 2140
+الم 2134
+خود 2134
+روی 2133
+اى_ 2126
+ربا 2117
+شی_ 2117
+تا_ 2115
+هار 2112
+انى 2106
+تون 2100
+رام 2091
+خان 2090
+گار 2089
+ول_ 2084
+_آن 2083
+_جو 2083
+یدا 2083
+_شو 2080
+در_ 2078
+_آر 2069
+اتو 2067
+رید 2057
+ینا 2049
+ابی 2048
+رت_ 2041
+لین 2032
+ما_ 2024
+ادا 2017
+_زی 2015
+مند 2015
+_اف 2006
+اب_ 2005
+رسا 2000
+پور 1998
+_بن 1995
+وال 1995
+بال 1988
+ادر 1982
+دى_ 1982
+شنا 1972
+_لو 1970
+تند 1964
+نش_ 1963
+اید 1962
+بود 1950
+_بل 1944
+راد 1943
+_لی 1931
+سیا 1926
+روا 1921
+درا 1914
+ابر 1912
+_شی 1911
+رست 1908
+وم_ 1907
+بیا 1904
+ینگ 1901
+_هو 1899
+یکا 1898
+_کی 1889
+یرو 1889
+_گا 1884
+ولو 1860
+دین 1856
+سید 1855
+ایت 1851
+_آم 1849
+رسی 1838
+زاد 1838
+یده 1836
+ارم 1827
+ابا 1825
+ایا 1825
+مور 1821
+_فا 1816
+اهی 1810
+سین 1800
+بین 1784
+نم_ 1784
+_مه 1782
+یدن 1782
+بری 1777
+تن_ 1777
+ردن 1776
+_به 1775
+ایى 1774
+یدی 1773
+ارک 1770
+وها 1769
+هی_ 1768
+ریم 1767
+_بد 1764
+زان 1764
+دال 1755
+نگی 1753
+_شه 1750
+ایر 1745
+ریک 1742
+_فی 1741
+فرو 1738
+لى_ 1733
+شهر 1728
+من_ 1728
+تها 1721
+ویی 1720
+_مد 1714
+ارس 1714
+ارش 1711
+ـــ 1710
+ورت 1709
+لیس 1704
+لیا 1700
+واه 1700
+نگا 1693
+اسا 1692
+لات 1687
+تما 1684
+رده 1682
+رفت 1682
+ودی 1679
+ترو 1678
+خور 1676
+رال 1676
+گری 1675
+باد 1673
+رش_ 1670
+حمد 1669
+لام 1664
+گر_ 1664
+دری 1663
+دگا 1656
+ورو 1652
+روس 1648
+نور 1647
+دور 1646
+لو_ 1646
+پار 1646
+ریس 1644
+یو_ 1642
+لای 1640
+مال 1637
+ایم 1634
+فری 1633
+سم_ 1632
+ندگ 1628
+زند 1624
+دا_ 1620
+وره 1619
+دست 1613
+ازا 1608
+انم 1607
+افت 1606
+یز_ 1605
+ندر 1604
+دای 1603
+رود 1603
+_کش 1595
+راب 1593
+تاب 1589
+تم_ 1574
+بای 1568
+_هی 1564
+وسی 1562
+بند 1561
+ستو 1561
+نگر 1560
+نوا 1554
+وای 1554
+تین 1550
+جان 1550
+ارگ 1549
+_هر 1548
+شور 1547
+رگر 1545
+_مش 1544
+مات 1544
+_آل 1542
+راه 1542
+یرم 1540
+بور 1534
+یای 1531
+الو 1529
+توا 1527
+شت_ 1524
+_یو 1512
+امو 1505
+درو 1505
+فی_ 1501
+_خر 1500
+ندو 1499
+نو_ 1496
+یها 1495
+_نم 1489
+_گل 1488
+یات 1483
+ورن 1475
+وما 1475
+نت_ 1470
+_ور 1465
+ماد 1464
+ونا 1464
+نوی 1463
+سون 1462
+_دل 1452
+کور 1451
+پرو 1445
+دیم 1444
+یشا 1444
+رار 1440
+اوی 1438
+نیم 1438
+برگ 1435
+_قا 1434
+مرد 1434
+راف 1430
+وا_ 1430
+_تی 1429
+یتا 1427
+_گی 1426
+یلا 1418
+نیک 1415
+ابو 1411
+شید 1400
+اک_ 1398
+مید 1398
+کرا 1395
+وز_ 1394
+برو 1390
+ستن 1390
+نیس 1390
+یاد 1389
+روش 1387
+فت_ 1386
+لار 1386
+نید 1386
+_نگ 1380
+انن 1377
+ومی 1377
+نای 1376
+وین 1375
+یسم 1373
+که_ 1372
+قی_ 1371
+_تن 1369
+داش 1363
+برد 1361
+میل 1357
+باش 1355
+محم 1352
+دو_ 1351
+کلا 1351
+ویا 1347
+_فو 1336
+الت 1336
+تو_ 1333
+نشا 1333
+_مج 1328
+نار 1328
+وزی 1328
+_اش 1325
+مدا 1323
+زه_ 1317
+اتر 1312
+کا_ 1310
+انک 1306
+_بخ 1304
+اله 1299
+بها 1298
+_سن 1296
+اسک 1296
+ائی 1295
+مى_ 1294
+دیا 1292
+ویس 1291
+گذا 1288
+نتی 1284
+راک 1280
+بر_ 1278
+کام 1277
+رور 1275
+وف_ 1272
+زیر 1266
+_و_ 1265
+واس 1264
+لند 1262
+یگر 1261
+ودا 1259
+راز 1258
+_اک 1257
+یلو 1255
+آور 1254
+تاد 1254
+تش_ 1254
+رتر 1254
+_اع 1252
+اکا 1251
+دام 1247
+_چا 1244
+پرس 1243
+_مق 1242
+کو_ 1242
+مرا 1238
+امه 1237
+داز 1237
+لیو 1237
+ارى 1235
+_آب 1232
+_مل 1231
+بدا 1228
+رنا 1228
+ماه 1226
+مست 1220
+نجا 1220
+دگی 1218
+سرا 1218
+برن 1217
+تای 1214
+یتی 1214
+وش_ 1211
+_ات 1205
+دون 1204
+یاب 1204
+تیک 1199
+ریز 1196
+ونه 1196
+_بگ 1194
+زها 1193
+تیا 1192
+عی_ 1190
+وشی 1190
+یزی 1185
+_زا 1184
+اوا 1184
+وت_ 1184
+_نش 1183
+هرا 1180
+با_ 1173
+ینو 1173
+اگر 1172
+میا 1172
+ورم 1172
+کال 1172
+ادو 1171
+سیو 1171
+_شر 1169
+دیو 1166
+_کم 1165
+سای 1165
+ارب 1163
+یسی 1156
+روم 1155
+_قر 1153
+اعت 1153
+ریو 1153
+_هن 1150
+رکا 1149
+وکا 1148
+تیم 1147
+شیر 1147
+_اح 1145
+یور 1145
+_رس 1144
+اشی 1143
+الد 1142
+امر 1142
+لاس 1142
+هم_ 1141
+یکو 1141
+کری 1140
+ازم 1139
+یاس 1139
+لما 1138
+نیو 1137
+یمی 1137
+تال 1134
+علی 1132
+_دس 1131
+رمی 1126
+رتو 1125
+الب 1124
+_ند 1123
+اکو 1122
+گوی 1120
+یوا 1118
+متر 1117
+رزا 1115
+نین 1115
+کند 1115
+_حا 1114
+سکو 1108
+پای 1108
+اکس 1107
+مدی 1104
+ندن 1103
+فتا 1100
+بات 1097
+_بس 1096
+رخو 1096
+پیر 1095
+اول 1092
+شد_ 1086
+کس_ 1086
+_عل 1085
+ذار 1081
+ربی 1081
+هر_ 1080
+هاى 1078
+_زن 1077
+رنگ 1077
+ویر 1076
+_تع 1073
+_شک 1073
+ردو 1071
+شین 1070
+نتر 1069
+هاس 1068
+نس_ 1067
+هند 1066
+یچ_ 1066
+_عا 1064
+الک 1059
+رتی 1058
+ازن 1057
+جوا 1056
+رتا 1055
+وید 1054
+مری 1052
+_آو 1050
+مسا 1047
+رشا 1045
+لیت 1045
+ینه 1043
+افی 1042
+نتا 1040
+_شن 1039
+_فل 1039
+افر 1039
+_جن 1038
+کنن 1037
+_اد 1035
+_پس 1035
+وى_ 1035
+نات 1032
+واد 1031
+وبا 1029
+فیل 1028
+وتو 1028
+دنی 1026
+دیر 1025
+_ول 1023
+ازد 1023
+باب 1021
+شاه 1020
+گون 1018
+واب 1017
+وبی 1016
+رنی 1014
+سار 1014
+واز 1014
+یره 1014
+لوی 1013
+کنی 1013
+کول 1013
+اتا 1011
+اهر 1011
+یال 1011
+یام 1011
+ودن 1010
+رگ_ 1009
+یزا 1009
+_اخ 1007
+رمن 1007
+ریت 1000
+ریه 999
+مت_ 999
+کرو 999
+یبا 998
+سى_ 997
+اسپ 996
+یرن 996
+_ده 995
+_سل 995
+_عم 995
+_صد 992
+تول 990
+زای 990
+اش_ 989
+اون 988
+وئی 987
+ماس 986
+_مخ 984
+ایس 984
+ایل 984
+ربر 983
+_عب 982
+سته 982
+نون 982
+پول 982
+_تم 981
+_شم 981
+یدم 976
+سکی 973
+شار 973
+پیش 970
+وتی 964
+لت_ 963
+دوس 959
+کلی 959
+منا 958
+سن_ 957
+لم_ 957
+بیر 955
+کاس 953
+وزا 951
+وه_ 950
+دش_ 949
+_نف 948
+رک_ 947
+_بش 945
+کات 945
+ستم 944
+هاد 944
+رس_ 943
+روب 943
+ودر 943
+وسا 943
+ویل 943
+نتو 938
+سلا 937
+_ضد 936
+_نب 935
+کتر 934
+درس 931
+جی_ 930
+فر_ 930
+ارز 929
+یف_ 929
+بى_ 928
+ونت 928
+باس 927
+_چن 926
+شما 925
+گى_ 923
+_م_ 918
+امت 917
+_تک 915
+اف_ 913
+داو 913
+زما 912
+نفر 909
+اکی 907
+درم 907
+خت_ 906
+ناب 906
+هام 906
+سه_ 903
+موز 903
+رن_ 902
+_پل 901
+روت 901
+سند 901
+_آی 900
+لوا 900
+ذیر 898
+دیگ 896
+سیم 896
+شه_ 895
+کى_ 894
+نست 893
+هزا 893
+پان 892
+دما 891
+ورس 890
+دود 888
+شتی 888
+_وم 887
+_بز 886
+هما 886
+ائو 884
+میز 883
+_پن 882
+_چی 882
+ونو 882
+کین 882
+پرد 879
+زى_ 878
+یوس 877
+تشا 876
+چه_ 876
+ایو 875
+رگا 874
+اسم 871
+راو 870
+پذی 870
+یب_ 870
+_آس 868
+قرا 868
+نیت 868
+فور 867
+اهد 866
+بلا 865
+ردم 864
+_اص 863
+پرا 860
+آمد 859
+ادگ 857
+وده 856
+گفت 856
+شکا 855
+لید 854
+ازه 853
+یگا 851
+هری 850
+ابه 847
+رز_ 847
+زین 847
+قه_ 847
+لور 847
+چی_ 847
+_بب 846
+ویت 846
+یکی 846
+اق_ 844
+شای 844
+الع 843
+دول 843
+شون 843
+فرم 842
+وجو 842
+مول 840
+_خی 835
+خدا 833
+زد_ 833
+مهر 833
+لون 832
+مام 830
+وتا 829
+جار 828
+مد_ 828
+ینت 828
+_اق 826
+وتر 826
+_آز 825
+سرو 823
+میت 823
+سیر 822
+آبا 819
+اشا 815
+درب 815
+رخا 815
+ناه 814
+تبا 813
+سوا 813
+ملا 812
+_مک 809
+وک_ 808
+کتا 808
+رضا 807
+سور 807
+ناک 807
+دوا 806
+پری 806
+ادم 805
+رسو 805
+ورز 804
+موا 801
+نال 801
+وب_ 801
+وشا 800
+_خد 799
+امب 798
+مود 798
+رمو 797
+امل 795
+مشا 795
+الح 793
+همی 793
+بست 792
+لیم 791
+ونگ 791
+توم 790
+فان 790
+_نظ 789
+بید 789
+داس 789
+قان 788
+کشو 788
+_گذ 785
+کر_ 785
+_ون 784
+عه_ 782
+کای 782
+یرد 782
+هنگ 780
+ورش 780
+ورک 780
+اکر 779
+نظر 779
+یدر 778
+_بک 777
+_شد 776
+چند 776
+تقا 773
+نبا 773
+_وس 772
+رکو 772
+لد_ 772
+مها 772
+کن_ 772
+الن 771
+ردر 771
+موس 770
+نیز 770
+یاز 769
+_ه_ 767
+مش_ 767
+یتو 767
+زیا 765
+کسی 764
+اپی 763
+شتر 763
+نوش 763
+هست 763
+_چر 761
+_مب 760
+ستگ 760
+_ا_ 759
+ابل 759
+_تق 758
+لوم 758
+ناد 758
+یمو 758
+_جی 757
+وکو 756
+_تح 755
+امپ 754
+_رف 753
+بخش 753
+برت 753
+_زو 752
+شود 752
+نسی 752
+امد 748
+دگر 748
+_یک 747
+اجر 747
+او_ 746
+فار 746
+_مص 745
+توس 745
+_چه 744
+اسل 744
+هور 744
+هوا 742
+الس 741
+اکت 741
+یوی 741
diff --git a/tika-core/src/main/resources/org/apache/tika/language/tika.language.properties b/tika-core/src/main/resources/org/apache/tika/language/tika.language.properties
index bb73ff55ba7..c6b1880052e 100644
--- a/tika-core/src/main/resources/org/apache/tika/language/tika.language.properties
+++ b/tika-core/src/main/resources/org/apache/tika/language/tika.language.properties
@@ -23,7 +23,7 @@
 # If there exists an ISO 639-1 2-letter code it should be used
 # If not, you can choose an ISO 639-2 3-letter code
 # See http://www.loc.gov/standards/iso639-2/php/code_list.php
-languages=be,ca,da,de,eo,et,el,en,es,fi,fr,gl,hu,is,it,lt,nl,no,pl,pt,ro,ru,sk,sl,sv,th,uk
+languages=be,ca,da,de,eo,et,el,en,es,fi,fr,fa,gl,hu,is,it,lt,nl,no,pl,pt,ro,ru,sk,sl,sv,th,uk
 
 # List of language names in english
 name.be=Belarusian
@@ -37,6 +37,7 @@ name.en=English
 name.es=Spanish
 name.fi=Finnish
 name.fr=French
+name.fa=Persian
 name.gl=Galician
 name.hu=Hungarian
 name.is=Icelandic