New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Peningkatan kecepatan #7

Open
ceefour opened this Issue Sep 22, 2017 · 5 comments

Comments

Projects
None yet
7 participants
@ceefour

ceefour commented Sep 22, 2017

Untuk melakukan stemming 87000 paragraf di i7, membutuhkan waktu ~ 24 jam.
Kecepatannya sekitar 500-1000 ms per paragraf.

Sepertinya ada potensi untuk optimisasi, tapi saya sendiri belum tahu. :D

@prasastoadi

This comment has been minimized.

Contributor

prasastoadi commented Oct 19, 2017

@ceefour Kalau tidak salah dulu saya pernah liat ada baris source code PySastrawi menggunaan list yang seharusnya menggunakan set. Coba nanti kita cek lagi bareng".

@har07 har07 added the enhancement label Oct 28, 2017

@rangga-rizky

This comment has been minimized.

rangga-rizky commented Dec 11, 2017

kenapa kecepatanya lambat ya. saya coba stemmer 200an kalimat butuh waktu 1 menitan. tetapi menggunakan yang versi php tidak sampai 2 detik

@fdedraco

This comment has been minimized.

fdedraco commented Jan 28, 2018

improve performa tidak harus di sisi pysastrawi, anda bisa simpan hasil kerja pysastrawi di suatu dict lalu ambil data disitu. Jika query anda sangat besar apalagi menggunakan processor high-end dengan banyak core, bisa pakai modul multiprocessing untuk memanfaatkan core yang tidak terpakai.

also cachedstemmer belum dilanjutin. itu harusnya bisa solve performance issue untuk query gede

@sanspa

This comment has been minimized.

Contributor

sanspa commented Sep 22, 2018

Saya kirimkan perubahan untuk ArrayDictionarynya. Peningkatan performa sangat terasa, sekarang bisa digunakan untuk ribuan kalaimat dalam beberapa menit

@wisnukurniawan

This comment has been minimized.

wisnukurniawan commented Oct 20, 2018

Mungkin untuk replacement kata perlu menggunakan lib yang dibahas di artikel ini https://medium.freecodecamp.org/regex-was-taking-5-days-flashtext-does-it-in-15-minutes-55f04411025f

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment