Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Update stopwords_ukr.js #329

Merged
merged 1 commit into from
Dec 3, 2024
Merged

Update stopwords_ukr.js #329

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
91 changes: 86 additions & 5 deletions src/stopwords_ukr.js
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -21,22 +21,30 @@ OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE. */

const ukr = [
'а',
'авжеж',
'адже',
'аж',
'але',
'ані',
'б',
'без',
'би',
'бо',
'був',
'була',
'були',
'було',
'бути',
'більш',
'в',
'вам',
'вас',
'весь',
'вже',
'вздовж',
'ви',
'від',
'вниз',
'внизу',
'вона',
Expand All @@ -51,48 +59,121 @@ const ukr = [
'давай',
'давати',
'де',
'десь',
'дещо',
'для',
'до',
'є',
'ж',
'же',
'з',
'за',
'завжди',
'замість',
'і',
'із',
'інших',
'її',
'їй',
'їм',
'їх',
'й',
'його',
'йому',
'коли',
'ледве',
'лиш',
'майже',
'мене',
'мені',
'ми',
'між',
'мій',
'мною',
'мов',
'моєї',
'моє',
'може',
'мої',
'моїх',
'моя',
'на',
'над',
'навколо',
'навіть',
'нам',
'нами',
'нас',
'наче',
'наш',
'не',
'неї',
'нема',
'немов',
'неначе',
'нею',
'ним',
'ними',
'них',
'ні',
'ніби',
'ніщо',
'нього',
'о',
'ось',
'от',
'отже',
'отож',
'під',
'по',
'поза',
'про',
'під',
'сам',
'свій',
'свої',
'своя',
'свою',
'себе',
'собі',
'та',
'там',
'так',
'такий',
'також',
'твій',
'твої',
'твоя',
'те',
'тебе',
'ти',
'ті',
'тільки',
'то',
'тобою',
'тобто',
'тоді',
'тож',
'той',
'тощо',
'тут',
'у',
'хіба',
'хоч',
'хоча',
'це',
'цей',
'ці',
'ця',
'чи',
'чого',
'ще',
'що',
'щоб',
'щось',
'я',
'як',
'який',
'якої',
'є',
'із',
'інших',
'їх',
'її'
]
export { ukr }
2 changes: 0 additions & 2 deletions test/test.cjs.js
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -2397,7 +2397,6 @@ test('remove ukrainian stopwords', t => {
'росія',
'відкрито',
'напала',
'на',
'україну',
'військова',
'кампанія',
Expand All @@ -2423,7 +2422,6 @@ test('remove ukrainian stopwords', t => {
'неприховане',
'перекидання',
'військ',
'на',
'окуповані',
'території',
'донбасу'
Expand Down
2 changes: 1 addition & 1 deletion test/test.esm.mjs
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -507,7 +507,7 @@ test('remove ukrainian stopwords', (t) => {
t.plan(1)
const oldString = '24 лютого 2022 року Росія відкрито напала на Україну. Військова кампанія почалася після тривалого військового нарощування, визнання Росією терористичних квазідержав «ДНР» та «ЛНР» як державних утворень 21 лютого. Практично одночасно ЗС РФ почали неприховане перекидання військ на окуповані території Донбасу.'
const newString = removeStopwords(extract(oldString, { regex: [words], toLowercase: true }), ukr)
t.deepEqual(newString, ['лютого', 'року', 'росія', 'відкрито', 'напала', 'на', 'україну', 'військова', 'кампанія', 'почалася', 'після', 'тривалого', 'військового', 'нарощування', 'визнання', 'росією', 'терористичних', 'квазідержав', 'днр', 'лнр', 'державних', 'утворень', 'лютого', 'практично', 'одночасно', 'зс', 'рф', 'почали', 'неприховане', 'перекидання', 'військ', 'на', 'окуповані', 'території', 'донбасу'])
t.deepEqual(newString, ['лютого', 'року', 'росія', 'відкрито', 'напала', 'україну', 'військова', 'кампанія', 'почалася', 'після', 'тривалого', 'військового', 'нарощування', 'визнання', 'росією', 'терористичних', 'квазідержав', 'днр', 'лнр', 'державних', 'утворень', 'лютого', 'практично', 'одночасно', 'зс', 'рф', 'почали', 'неприховане', 'перекидання', 'військ', 'окуповані', 'території', 'донбасу'])
})

test('remove lithuanian stopwords', (t) => {
Expand Down
Loading