Merge pull request #145 from diyclassics/master

Update Latin tokenizer to handle 'neque'
cltk · Feb 25, 2016 · 1586286 · 1586286
2 parents edcc16a + 5ab276f
commit 1586286
Show file tree

Hide file tree

Showing 2 changed files with 6 additions and 3 deletions.
diff --git a/cltk/tests/test_tokenize.py b/cltk/tests/test_tokenize.py
@@ -60,10 +60,12 @@ def test_latin_word_tokenizer(self):
         # - V. Aen. 1.1
         # - Prop. 2.5.1-2
         # - Ov. Am. 1.8.65-66
+        # - Cic. Phillip. 13.14
 
         tests = ['Arma virumque cano, Troiae qui primus ab oris.',
                     'Hoc verumst, tota te ferri, Cynthia, Roma, et non ignota vivere nequitia?',
-                    'Nec te decipiant veteres circum atria cerae. Tolle tuos tecum, pauper amator, avos!']
+                    'Nec te decipiant veteres circum atria cerae. Tolle tuos tecum, pauper amator, avos!',
+                    'Neque enim, quod quisque potest, id ei licet, nec, si non obstatur, propterea etiam permittitur.']
 
         results = []
 
@@ -73,7 +75,8 @@ def test_latin_word_tokenizer(self):
 
         target = [['Arma', 'que', 'virum', 'cano', ',', 'Troiae', 'qui', 'primus', 'ab', 'oris.'],
                     ['Hoc', 'verum', 'est', ',', 'tota', 'te', 'ferri', ',', 'Cynthia', ',', 'Roma', ',', 'et', 'non', 'ignota', 'vivere', 'nequitia', '?'],
-                    ['Nec', 'te', 'decipiant', 'veteres', 'circum', 'atria', 'cerae.', 'Tolle', 'tuos', 'cum', 'te', ',', 'pauper', 'amator', ',', 'avos', '!']]
+                    ['Nec', 'te', 'decipiant', 'veteres', 'circum', 'atria', 'cerae.', 'Tolle', 'tuos', 'cum', 'te', ',', 'pauper', 'amator', ',', 'avos', '!'],
+                    ['que', 'Ne', 'enim', ',', 'quod', 'quisque', 'potest', ',', 'id', 'ei', 'licet', ',', 'nec', ',', 'si', 'non', 'obstatur', ',', 'propterea', 'etiam', 'permittitur.']]
 
         self.assertEqual(results, target)
 

diff --git a/cltk/tokenize/word.py b/cltk/tokenize/word.py
@@ -72,7 +72,7 @@ def __init__(self, language):
             que_exceptions += ['absque', 'abusque', 'adaeque', 'adusque', 'aeque', 'antique', 'atque',
                                'circumundique', 'conseque', 'cumque', 'cunque', 'denique', 'deque',
                                'donique', 'hucusque', 'inique', 'inseque', 'itaque', 'longinque',
-                               'namque', 'neque', 'oblique', 'peraeque', 'praecoque', 'propinque',
+                               'namque', 'oblique', 'peraeque', 'praecoque', 'propinque',
                                'qualiscumque', 'quandocumque', 'quandoque', 'quantuluscumque',
                                'quantumcumque', 'quantuscumque', 'quinque', 'quocumque',
                                'quomodocumque', 'quomque', 'quotacumque', 'quotcumque',