Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Peningkatan kecepatan #7

Open
ceefour opened this issue Sep 22, 2017 · 5 comments
Open

Peningkatan kecepatan #7

ceefour opened this issue Sep 22, 2017 · 5 comments

Comments

@ceefour
Copy link

@ceefour ceefour commented Sep 22, 2017

Untuk melakukan stemming 87000 paragraf di i7, membutuhkan waktu ~ 24 jam.
Kecepatannya sekitar 500-1000 ms per paragraf.

Sepertinya ada potensi untuk optimisasi, tapi saya sendiri belum tahu. :D

@prasastoadi
Copy link
Contributor

@prasastoadi prasastoadi commented Oct 19, 2017

@ceefour Kalau tidak salah dulu saya pernah liat ada baris source code PySastrawi menggunaan list yang seharusnya menggunakan set. Coba nanti kita cek lagi bareng".

@rangga-rizky
Copy link

@rangga-rizky rangga-rizky commented Dec 11, 2017

kenapa kecepatanya lambat ya. saya coba stemmer 200an kalimat butuh waktu 1 menitan. tetapi menggunakan yang versi php tidak sampai 2 detik

@fdedraco
Copy link

@fdedraco fdedraco commented Jan 28, 2018

improve performa tidak harus di sisi pysastrawi, anda bisa simpan hasil kerja pysastrawi di suatu dict lalu ambil data disitu. Jika query anda sangat besar apalagi menggunakan processor high-end dengan banyak core, bisa pakai modul multiprocessing untuk memanfaatkan core yang tidak terpakai.

also cachedstemmer belum dilanjutin. itu harusnya bisa solve performance issue untuk query gede

@sanspa
Copy link
Contributor

@sanspa sanspa commented Sep 22, 2018

Saya kirimkan perubahan untuk ArrayDictionarynya. Peningkatan performa sangat terasa, sekarang bisa digunakan untuk ribuan kalaimat dalam beberapa menit

@wisnukurniawan
Copy link

@wisnukurniawan wisnukurniawan commented Oct 20, 2018

Mungkin untuk replacement kata perlu menggunakan lib yang dibahas di artikel ini https://medium.freecodecamp.org/regex-was-taking-5-days-flashtext-does-it-in-15-minutes-55f04411025f

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Linked pull requests

Successfully merging a pull request may close this issue.

None yet
7 participants