Дикие просадки от объема данных

[Maks-gaming]

Либа не справляется с объемом в 600к строк и кастом валидатором на проверку "test" in phrase, подскажи, что можно сделать, спасибо заранее

[jieggii]

Алгоритм довольно прожорливый, поэтому, скорее всего, он не будет нормально работать на таком большом массиве данных. Вот несколько советов (не особо полезных в данном случае), что можно сделать, чтобы он работал максимально быстро (насколько это возможно):

1. Уменьшить order генератора (минимальное значение = 1):

import mc

generator = mc.PhraseGenerator(
    samples=[...],
    order=1  # (https://en.wikipedia.org/wiki/Variable-order_Markov_model)
)

2. Отказаться от любых валидаторов (если возможно).
3. Отказаться от такого большого объема данных.

Думаю, всё...)

Как вариант, переписать либу на Cython или на другой более шустрый ЯП, но это запарно и влом!