Skip to content

vikkanaev/task-one

Repository files navigation

Задание №1

В файле task-1.rb находится ruby-программа, которая выполняет обработку данных из файла.

В файл встроен тест, который показывает, как программа должна работать.

С помощью этой программы нужно обработать файл данных data_large.txt.

Проблема в том, что это происходит слишком долго, дождаться пока никому не удавалось.

Задача

  • Оптимизировать эту программу, выстроив процесс согласно "общему фреймворку оптимизации" из первой лекции;
  • Профилировать программу с помощью инструментов, с которыми мы познакомились в первой лекции;
  • Добиться того, чтобы программа корректно обработала файл data_large.txt;
  • Написать кейс-стади о вашей оптимизации по шаблону case-study-template.md.

Сдача задания

Для сдачи задания нужно сделать PR в этот репозиторий.

В PR

  • должны быть внесены оптимизации в task-1.rb;
  • должен быть файл case-study.md с описанием проделанной оптимизации;

Комментарии

Какую пользу нужно получить от этого задания

Задание моделирует такую ситуацию: вы получили неффективную систему, в которой код и производительность оставляет желать лучшего. При этом актуальной проблемой является именно производительность. Вам нужно оптимизировать эту систему.

С какими искушениями вы сталкиваететь:

  • вы “с ходу” видите проблемы в коде и у вас возникает импульс потратить время на их рефакторинг;
  • вы “с ходу” замечаете какие-то непроизводительные идиомы, и у вас возникает соблазн их сразу исправить;

Эти искушения типичны и часто возникают в моделируемой ситуации.

Их риски:

  • перед рефакторингом “очевидных” косяков не написать тестов и незаметно внести регрессию;
  • потратить время на рефакторинг, хотя время было только на оптимизацию;
  • исправить все очевидные на глаз проблемы производительности, не получить заметного результата, решить что наверное просто Ruby слишком медленный для этой задачи

Советы

  • Найдите объём данных, на которых программа отрабатывает достаточно быстро - это позволит вам выстроить фидбек-луп; если улучшите метрику для части данных, то улучшите и для полного объёма данных;
  • Попробуйте прикинуть ассимтотику роста времени работы в зависимости от объёма входных данных (попробуйте объём x, 2x, 4x, 8x)
  • Оцените, как долго программа будет обрабатывать полный обём данных
  • Оцените, сколько времени занимает работа GC

Возможно, что оптимизаций только памяти вам не хватит, чтобы довести производительность системы до приемлемой.

Если вы придёте к такому выводу, то возможны такие варианты:

  • попробуйте использовать какой-нибудь из рассмотренных нами профилировщиков в режиме профилирования CPU (wall), найти точки роста и оптимизировать их;
  • подойдёт и вариант, если вы с помощью профилирования найдёте несколько главных точек роста, оптимизируете их, покажете, что дальнейшие оптимизации только памяти не приведут к желаемому результату, и опишете это в case-study.

Что можно делать

  • рефакторить код
  • рефакторить/дописывать тесты
  • разбивать скрипт на несколько файлов

Что нужно делать

  • исследовать предложенную вам на рассмотрение систему
  • построить фидбек-луп, который позволит вам быстро тестировать гипотезы и измерять их эффект
  • применить инструменты профилирования памяти, интроспекции GC, чтобы найти самые горячие проблемы по памяти, оценить кол-во времени которое уходит на сборку мусора
  • выписывать в case-study несколько пунктов: каким профилировщиком вы нашли точку роста, как её оптимизировали, какой получили прирост метрики;

Что не нужно делать

  • переписывать с нуля
  • забивать на выстраивание фидбек-лупа
  • вносить оптимизации по наитию, без профилировщика и без оценки эффективности

Основная польза задания

Главная польза этого задания - попрактиковаться в применении грамотного подхода к оптимизации, почуствовать этот процесс:

  • как взяли незнакомую систему и исследовали её
  • как выстроили фидбек луп
  • как с помощью профилировщиков нашли что именно даст вам наибольший эффект
  • как быстро протестировали гипотезу, получили измеримый результат и зафиксировали его
  • как в итоге написали небольшой отчёт об успешных шагах этого процесса

PS

Обсудим с Виталием, возможно уделю время на 2й лекции разбору подобной ситуации, а заданием 2й недели будет дооптимизировать эту программу, уже используя инструментарий оптимизации CPU.

PPS

Делайте задание, изучайте предложенную систему, смотрите на неё под разными углами с помощью разных инстурментов. Оптимизируйте. Попрактикуйтесь в этой работе