Проверка и мерж csv файлов в один (быстро и удобно)
В общем была задача проверить файлы CSV на корректность и смержить(обьединить) их все в один.
Файлы берутся из папки и один файл служит как базовый - отправная точка для проверок (по первой строке - заголовку). Этот файл должен указывать пользователь. При проверке учитываются все строчки во всех файлах. Файлы не исправляются, а просто выводится список ошибок, из-за которых идеального мержа(обьединения) может не быть. (Человек сам решает что с этим делать и как править)
На данный момент в коде содержаться бенчмарки для оценки времени и кол-во потребляемой оперативки. На данный момент было протестировано на папке с 333 файлами, каждый по 10 мб, средняя скорость проверок и создания смерженного файла занимает 20 секунд в 5 потоках.