Add multiple language stopwords with customizable stop word paths

classifier-reborn.gemspec

@@ -18,7 +18,7 @@ Gem::Specification.new do |s|
   s.homepage         = 'https://github.com/jekyll/classifier-reborn'
 
   all_files          = `git ls-files -z`.split("\x0")
-  s.files            = all_files.grep(%r{^(bin|lib)/})
+  s.files            = all_files.grep(%r{^(bin|lib|data)/})
   s.executables      = all_files.grep(%r{^bin/}) { |f| File.basename(f) }
   s.require_paths    = ["lib"]
 

data/stopwords/ca

@@ -0,0 +1,126 @@
+de
+es
+i
+a
+o
+un
+una
+unes
+uns
+un
+tot
+també
+altre
+algun
+alguna
+alguns
+algunes
+ser
+és
+soc
+ets
+som
+estic
+està
+estem
+esteu
+estan
+com
+en
+per
+perquè
+per que
+estat
+estava
+ans
+abans
+éssent
+ambdós
+però
+per
+poder
+potser
+puc
+podem
+podeu
+poden
+vaig
+va
+van
+fer
+faig
+fa
+fem
+feu
+fan
+cada
+fi
+inclòs
+primer
+des de
+conseguir
+consegueixo
+consigueix
+consigueixes
+conseguim
+consigueixen
+anar
+haver
+tenir
+tinc
+te
+tenim
+teniu
+tene
+el
+la
+les
+els
+seu
+aquí
+meu
+teu
+ells
+elles
+ens
+nosaltres
+vosaltres
+si
+dins
+sols
+solament
+saber
+saps
+sap
+sabem
+sabeu
+saben
+últim
+llarg
+bastant
+fas
+molts
+aquells
+aquelles
+seus
+llavors
+sota
+dalt
+ús
+molt
+era
+eres
+erem
+eren
+mode
+bé
+quant
+quan
+on
+mentre
+qui
+amb
+entre
+sense
+jo
+aquell

data/stopwords/cs

@@ -0,0 +1,138 @@
+dnes
+cz
+timto
+budes
+budem
+byli
+jses
+muj
+svym
+ta
+tomto
+tohle
+tuto
+tyto
+jej
+zda
+proc
+mate
+tato
+kam
+tohoto
+kdo
+kteri
+mi
+nam
+tom
+tomuto
+mit
+nic
+proto
+kterou
+byla
+toho
+protoze
+asi
+ho
+nasi
+napiste
+re
+coz
+tim
+takze
+svych
+jeji
+svymi
+jste
+aj
+tu
+tedy
+teto
+bylo
+kde
+ke
+prave
+ji
+nad
+nejsou
+ci
+pod
+tema
+mezi
+pres
+ty
+pak
+vam
+ani
+kdyz
+vsak
+ne
+jsem
+tento
+clanku
+clanky
+aby
+jsme
+pred
+pta
+jejich
+byl
+jeste
+az
+bez
+take
+pouze
+prvni
+vase
+ktera
+nas
+novy
+tipy
+pokud
+muze
+design
+strana
+jeho
+sve
+jine
+zpravy
+nove
+neni
+vas
+jen
+podle
+zde
+clanek
+uz
+email
+byt
+vice
+bude
+jiz
+nez
+ktery
+by
+ktere
+co
+nebo
+ten
+tak
+ma
+pri
+od
+po
+jsou
+jak
+dalsi
+ale
+si
+ve
+to
+jako
+za
+zpet
+ze
+do
+pro
+je
+na

data/stopwords/da

@@ -0,0 +1,101 @@
+af
+alle
+andet
+andre
+at
+begge
+da
+de
+den
+denne
+der
+deres
+det
+dette
+dig
+din
+dog
+du
+ej
+eller
+en
+end
+ene
+eneste
+enhver
+et
+fem
+fire
+flere
+fleste
+for
+fordi
+forrige
+fra
+få
+før
+god
+han
+hans
+har
+hendes
+her
+hun
+hvad
+hvem
+hver
+hvilken
+hvis
+hvor
+hvordan
+hvorfor
+hvornår
+i
+ikke
+ind
+ingen
+intet
+jeg
+jeres
+kan
+kom
+kommer
+lav
+lidt
+lille
+man
+mand
+mange
+med
+meget
+men
+mens
+mere
+mig
+ned
+ni
+nogen
+noget
+ny
+nyt
+nær
+næste
+næsten
+og
+op
+otte
+over
+på
+se
+seks
+ses
+som
+stor
+store
+syv
+ti
+til
+to
+tre
+ud
+var