اصلاح برچسب‌های اجزای سخن

[nournia]

برچسب‌های پیکره بیجن‌خان متفاوت هست با برچسب‌های دادگان و ما می‌خوایم یک سری برچسب داشته باشیم. من فکر می‌کنم این مجموعه برچسب عمومی که در زبان‌های مختلف تست شده، گزینه مناسبی هست:

NOUN
VERB
ADJ
ADV
PRON
DET
ADP
NUM
CONJ
PRT
.
X

همه برچسب‌های پیکره بیجن‌خان:

ADJ
ADJ_CMPR
ADJ_INO
ADJ_ORD
ADJ_SIM
ADJ_SUP
ADV
ADV_EXM
ADV_I
ADV_NEGG
ADV_NI
ADV_TIME
AR
CON
DEFAULT
DELM
DET
IF
INT
MORP
MQUA
MS
N_PL
N_SING
NN
NP
OH
OHH
P
PP
PRO
PS
QUA
SPEC
V_AUX
V_IMP
V_PA
V_PRE
V_PRS
V_SUB

برچسب‌های درشت پیکره دادگان:

ADJ
ADR
ADV
CONJ
IDEN
N
PART
POSNUM
POSTP
PR
PREM
PRENUM
PREP
PSUS
PUNC
V
SUBR

[nournia]

لطفا نگاه کنید @mrs818

[fatemehniknezhad]

از کجا متوجه بشیم که هر برچسب نشان دهنده چه نقشی است؟
من از postagger استفاده کردم و لیست برچسب ها حدود 23 تا بود توی دیتاست من، اما بعضی هاش نمیدونم به معنای چه نقشی هستند. از کجا لیست نقش هارو پیدا کنم؟
'n', 'ne', 'p', 'v', 'conj', 'punc', 'aj', 'pro', 'aje', 'det', 'pe', 'num', 'adv', 'postp', 'dete', 'nume', 'res', 'cl', 'adve', 'rese', 'proe', 'conje', 'int'

[ayub-kokabi]

حرف e در انتهای برچسب‌ها (مثل ne یا aje) مخفف Ezafe است. این یعنی آن کلمه در انتهای خود «کسره اضافه» دارد که آن را به کلمه بعد متصل می‌کند.

لیست معانی برچسب‌های به شرح زیر است:
n / ne: اسم (Noun)
v: فعل (Verb)
aj / aje: صفت (Adjective)
pro / proe: ضمیر (Pronoun)
adv / adve: قید (Adverb)
det / dete: صفت اشاره / تعیین‌کننده (Determiner)
p / pe: حرف اضافه (Preposition)
postp: حرف اضافه پسین (مثل «را»)
num / nume: عدد (Number)
conj / conje: حرف ربط (Conjunction)
punc: علائم نگارشی (Punctuation)
res / rese: باقیمانده / واژگان خارجی (Residual)
cl: واحد شمارش (Classifier)
int: شبه‌جمله / صوت (Interjection)

اگر به سورس‌کد پروژه در فایل hazm/corpus_readers/peykare_reader.py (متدهای coarse_pos_e و coarse_pos_u) مراجعه کنید، منطق تبدیل این تگ‌ها را مشاهده خواهید کرد.

اگر ترجیح می‌دهید از برچسب‌های استاندارد جهانی (مثل NOUN, VERB, ADJ) استفاده کنید، می‌توانید هنگام ساخت شیء تگر، پارامتر universal_tag را فعال کنید

tagger = POSTagger(model="...", universal_tag=True)