Displaying a list of sentences, there are a total of 19522 sentences!
>>> import lingatagger.sentence as sents
>>> sentences = sents.drawlist()
>>> sentences[:3]
['विश्व भर में करोड़ों टीवी दर्शकों की उत्सुकता भरी निगाह के बीच मिस ऑस्ट्रेलिया जेनिफर हॉकिंस को मिस यूनिवर्स-२००४ का ताज पहनाया गया।', 'करीब दो घंटे चले कार्यक्रम में विभिन्न देशों की ८० सुंदरियों के बीच २० वर्षीय हॉकिंस को सर्वश्रेष्ठ आंका गया।', 'मिस अमेरिका शैंडी फिनेजी को प्रथम उप विजेता और मिस प्यूरेटो रिको अल्बा रेइज द्वितीय उप विजेता चुनी गई।']Displaying a list of words with their respective genders. There are a total of 21460 such instances!
>>> import lingatagger.genderlist as gndr
>>> genders = gndr.drawlist()
>>> genders = [string.split("\t") for string in genders]
>>> genders[:5]
[['विश्व', 'm'], ['भर', 'm', 'any'], ['में', 'any'], ['करोड़ों', 'm', 'any'], ['टीवी', 'm']]Hindi tokenizer of three kinds simple, word, and sentence tokenizer!
>>> import lingatagger.sentence as sents
>>> import lingatagger.tokenizer as tokenizer
>>> sentences = " ".join(sents.drawlist()[:5])
>>> tokenizer.tokenize(sentences)
['विश्व', 'भर', 'में', 'करोड़ों', 'टीवी', 'दर्शकों', 'की', 'उत्सुकता', 'भरी', 'निगाह', 'के', 'बीच', 'मिस', 'ऑस्ट्रेलिया', 'जेनिफर', 'हॉकिंस', 'को', 'मिस', 'यूनिवर्स', '-', '२००४', 'का', 'ताज', 'पहनाया', 'गया।', 'करीब', 'दो', 'घंटे', 'चले', 'कार्यक्रम', 'में', 'विभिन्न', 'देशों', 'की', '८०', 'सुंदरियों', 'के', 'बीच', '२०', 'वर्षीय', 'हॉकिंस', 'को', 'सर्वश्रेष्ठ', 'आंका', 'गया।', 'मिस', 'अमेरिका', 'शैंडी', 'फिनेजी', 'को', 'प्रथम', 'उप', 'विजेता', 'और', 'मिस', 'प्यूरेटो', 'रिको', 'अल्बा', 'रेइज', 'द्वितीय', 'उप', 'विजेता', 'चुनी', 'गई।', 'भारत', 'की', 'तनुश्री', 'दत्ता', 'अंतिम', '१०', 'प्रतिभागियों', 'में', 'ही', 'स्थान', 'बना', 'पाई।', 'हॉकिंस', 'ने', 'कहा', 'कि', 'जीत', 'के', 'बारे', 'में', 'उसने', 'सपने', 'में', 'भी', 'नहीं', 'सोचा', 'था।']
>>> tokenizer.wordtokenize(sentences)
['विश्व', 'भर', 'में', 'करोड़ों', 'टीवी', 'दर्शकों', 'की', 'उत्सुकता', 'भरी', 'निगाह', 'के', 'बीच', 'मिस', 'ऑस्ट्रेलिया', 'जेनिफर', 'हॉकिंस', 'को', 'मिस', 'यूनिवर्स-२००४', 'का', 'ताज', 'पहनाया', 'गया', 'करीब', 'दो', 'घंटे', 'चले', 'कार्यक्रम', 'में', 'विभिन्न', 'देशों', 'की', '८०', 'सुंदरियों', 'के', 'बीच', '२०', 'वर्षीय', 'हॉकिंस', 'को', 'सर्वश्रेष्ठ', 'आंका', 'गया', 'मिस', 'अमेरिका', 'शैंडी', 'फिनेजी', 'को', 'प्रथम', 'उप', 'विजेता', 'और', 'मिस', 'प्यूरेटो', 'रिको', 'अल्बा', 'रेइज', 'द्वितीय', 'उप', 'विजेता', 'चुनी', 'गई', 'भारत', 'की', 'तनुश्री', 'दत्ता', 'अंतिम', '१०', 'प्रतिभागियों', 'में', 'ही', 'स्थान', 'बना', 'पाई', 'हॉकिंस', 'ने', 'कहा', 'कि', 'जीत', 'के', 'बारे', 'में', 'उसने', 'सपने', 'में', 'भी', 'नहीं', 'सोचा', 'था']
>>> tokenizer.sentencetokenize(sentences)
['विश्व भर में करोड़ों टीवी दर्शकों की उत्सुकता भरी निगाह के बीच मिस ऑस्ट्रेलिया जेनिफर हॉकिंस को मिस यूनिवर्स-२००४ का ताज पहनाया गया। ', 'करीब दो घंटे चले कार्यक्रम में विभिन्न देशों की ८० सुंदरियों के बीच २० वर्षीय हॉकिंस को सर्वश्रेष्ठ आंका गया। ', 'मिस अमेरिका शैंडी फिनेजी को प्रथम उप विजेता और मिस प्यूरेटो रिको अल्बा रेइज द्वितीय उप विजेता चुनी गई। ', 'भारत की तनुश्री दत्ता अंतिम १० प्रतिभागियों में ही स्थान बना पाई। ', 'हॉकिंस ने कहा कि जीत के बारे में उसने सपने में भी नहीं सोचा था।']>>> import lingatagger.sentence as sents
>>> import lingatagger.tagger as tagger
>>> sentence = " ".join(sents.drawlist()[:2])
>>> sentence
'विश्व भर में करोड़ों टीवी दर्शकों की उत्सुकता भरी निगाह के बीच मिस ऑस्ट्रेलिया जेनिफर हॉकिंस को मिस यूनिवर्स-२००४ का ताज पहनाया गया। करीब दो घंटे चले कार्यक्रम में विभिन्न देशों की ८० सुंदरियों के बीच २० वर्षीय हॉकिंस को सर्वश्रेष्ठ आंका गया।'
>>> gender = tagger.Tagger(sentence)
>>> gender
[('विश्व', 'm'), ('भर', 'any'), ('में', 'any'), ('करोड़ों', 'any'), ('टीवी', 'm'), ('दर्शकों', 'm'), ('की', 'any'), ('उत्सुकता', 'f'), ('भरी', 'f'), ('निगाह', 'f'), ('के', 'any'), ('बीच', 'any'), ('मिस', 'any'), ('ऑस्ट्रेलिया', 'm'), ('जेनिफर', 'f'), ('हॉकिंस', 'f'), ('को', 'any'), ('मिस', 'any'), ('यूनिवर्स', 'm'), ('-', 'any'), ('any', 'num'), ('का', 'any'), ('ताज', 'm'), ('पहनाया', 'm'), ('गया।', 'any'), ('करीब', 'any'), ('दो', 'any'), ('घंटे', 'm'), ('चले', 'any'), ('कार्यक्रम', 'm'), ('में', 'any'), ('विभिन्न', 'any'), ('देशों', 'm'), ('की', 'any'), ('any', 'num'), ('सुंदरियों', 'f'), ('के', 'any'), ('बीच', 'any'), ('any', 'num'), ('वर्षीय', 'any'), ('हॉकिंस', 'f'), ('को', 'any'), ('सर्वश्रेष्ठ', 'any'), ('आंका', 'any'), ('गया।', 'any')]Lingatagger uses 1D convolutions to classify the gender of a word by taking it's sequence of characters as input. The accuracy of this neural tagger is 83.74% on the training set and