Results

Субтитры

• Много предлогоподобных слов - нужны хорошо продуманные фильтры
• По мере уменьшения частоты, сильно проявляется квантование (слов по 50 может держаться частота в 5, например). Возможно могут помочь фильтры и больший объем статистических данных. Но если темы рознятся, то это будет размывать индекс. Как вариант - увеличить число нод. Из этой проблемы следует, что после фильтрации дисперсия будет больной(относительная, относительно число слов), а так же будет тяжело отсечь хвосты распределения - в них будет полезная информация. Еще это значит, что незнакомых слов много, но встречаются каждое из них редко.
• Как быть со словоформами. Как их хранить и, что важно, фильтровать (по основе или по исходной форме?)
• В субтитрых много знакомых слов. После фильтрации останутся только хвост, с недостатками, указанными выше.
• Хотя некоторые вещи выкристаллизовываются

https://gist.github.com/zaqwes8811/5228336#file-first_results

Other

Английские книжки по IT