ราชาศัพท์ - word segmentation

[leky40]

มีใครเคยทำ word segmentation ของราชาศัพท์และชื่อราชวงศ์ไหมคะ ตัดแบบเป็นคำ ไม่ใช่พยางค์นะคะ เวลาตัด มีเกณฑ์ยังไงคะ เกณฑ์เชิง linguistics ที่จะเอาไปวิเคราะห์ทางภาษาใช้ในประโยคโครงสร้างไทยและเอามา POS tag มากกว่าเชิง NLP ตัดตามพจนานุกรม? เพราะบางคำในคำยาว ๆ ก็ไม่มีในพจนานุกรม

เช่น พระบรมราชโองการ -- คำนี้จะรวมเป็นคำหนึ่ง หรือแยกกคำ?

ถ้ารวม ไม่มีในพจนานุกรม แต่ถ้าแยก จะได้ พระ บรม ราชโองการ แบบนี้คือตามพจนานุกรม แต่ละคำมีความหมายและ POS

แต่ปัญหาคือ เวลา annotate syntactically ไม่แน่ใจจะรวมสามคำนี้เป็นคำใหญ่คำเดียวโดย tag เป็น NOUN โดยไม่มี internal syntax ระหว่างคำ หรือแยกคำตามพจนานุกรมแล้ว tag ตามพจนานุกรม แล้วรวมเป็น compound noun

ยิ่งชื่อราชวงศ์ยาว ๆ ไม่แน่ใจเลยว่า ควร segment ดีไหม ตรงไหนคือชื่อจริง ๆ

คือเรากำลังทำ thesis เกี่ยวกับ treebank ค่ะ

[wannaphong]

โดยทั่วไปใช้ตามเกณฑ์ตัดคำของ BEST2009 ครับ https://lexitron.nectec.or.th/KM_HL5001/file_HL5001/Document/krrn_14625.doc

การตัดคำภาษาไทย : ตัดคำอย่างไร

[leky40]

@wannaphong ขอบคุณค่ะ มี Link งานนี้ไหมคะ เวลา cite ถึงจะได้ใส่ลงไป เท่าที่ดูผ่าน ๆ คิดว่า น่าจะเอามาอ่านและใช้เป็นแนว annotation guideline ของไทยได้ เขียนเป็น paper หรือเปล่าคะ

[wannaphong]

BEST 2009: Thai word segmentation software contest https://ieeexplore.ieee.org/document/5340941