Оптимизация для чтения объемного текстового потока

[inner-whisper]

• Вынести функционал фильтрации текстового потока в отдельный класс
• Изменить способ чтения из файла на способ без выгрузки всего файла в память через .read
• Изменить алгоритм фильтрации потока на O(N) по пространству (массив максимум размера N)
• Поискать оптимальные способы сортировки рабочего массива на лету
• Оптимизировать алгоритм по времени выполнения на объемном файле
  • Реализовать чтение с ограничением по буферу (например, 1000 байт) - IO.foreach(path, 1000) { |line| puts line }
  • В рамках прочитанного используем тот же алгоритм
  • Если последний байт в строке - число, то в новом куске начинать чтение будем с уже наполненной цифрами промежуточной строчки
  • Проверить, что будет, если последний символ в отрезанном куске - половина двубайтного символа (например, буква из кириллицы)
• Прогнать тест на примере (каком-нибудь логе), сравнить с master-веткой - time bash -c 'cat example.log | bundle exec exe/nmax 1000'
• Сгенерировать 20-30 Гб файл и сравнить производительность скриптов на нем (кроме самого быстрого)