pythainlp.word_tokenize ปัญหาตัดคำประโยคที่ยาวต่อเนื่องโดยไม่มี space [newmm]

[espressofx]

Describe the bug
มีปัญหา execute ใช้เวลานานมาก กับประโยคที่ยาวต่อเนื่องโดยไม่มี space แบ่ง
เช่น ประโยค

ด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้า

แต่ถ้ามีการแบ่งประโยคโดยมี space จะไม่มีปัญหา เช่น

ด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้า ด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้า ด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้า ด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้า ด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้า ด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้า ด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้า ด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้า ด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้าด้านหน้า

Desktop (please complete the following information):

• OS: ubuntu 18.04
• Python 3.6
• Pythainlp 2.0.5

[espressofx]

จาก notebook ต้อง interrupt kernel

[bact]

May need some rule to stop generating word graphs when reaching a threshold.

คิดว่าในโค้ดที่พยายามสร้างทางที่เป็นไปได้ที่จะตัดคำ น่าจะต้องมีกำหนดไว้ ว่าจะทำถึงแค่ไหน เกินนี้จะบังคับหยุด ไม่งั้นมันจะสร้างไปเรื่อยๆ จนช้ามากๆ

[wannaphong]

Colab : https://colab.research.google.com/drive/1MOZ7GZ9x_P75wUQtz0C2Fl52GPRhJO4g

[p16i]

I guess this result comes from newmm? Should we label the issue with newmm?

[bact]

Proposal for the fix:

• break the input text into smaller chunks (100±25)
  • chunking strategy should take into account the invalid token separation point (this can be either word or syllable)
• tokenizes each chunks and combine tokens together

See code in pythainlp/tokenize/newmm.py here #302

Warn that this may make the tokenization slower.

Current chunk size is 100
(Have tried 400, too slow).

Current window to scan possible break points between chunks is 25+25 = 50
(the longest word in dictionary is 70 chars)

Please comment

[bact]

A new segmentation "engine" has been proposed for this, one can now use newmm-safe engine to avoid the problem of waiting too long for text like one in the example above. Now available in fix-newmm-longtext branch and will soon in dev branch.

ต่อไปจะมี engine ใหม่ชื่อ newmm-safe เพื่อแก้ปัญหานี้ครับ

pythainlp.tokenzie.word_tokenize("ด้านหน้าด้านหน้าด้านหน้า", engine="newmm-safe")

[bact]

แก้ไขแล้วนะครับ จะสามารถใช้ได้ในรุ่น 2.1dev8 ครับ

Fixed with #302 - will be available in 2.1dev8 release.