Значительный разброс результатов одного решения в разное время суток

[e-zhydzetski]

Нужно разобраться в причинах сильного (более 300%) разброса в результатах рейтингового прогона одного и того же решения в разное время суток.
Решение id=8462 (827.985893)
Решение id=9026 (237.529905)
Tarantool/Lua

[Afinogen]

id=8467 и id=9209 разница в 30 сек штрафа, но в последней версии была пересборка контейнера (дом (8467) -> работа (9209)), код остался прежним за исключением добавления комментариев.
Да и время загрузки данных в бд ночью 126.76 сек, днем 87.14

[wizzardo]

Сделал 8 тестовых прогонов одного и того же кода, total колеблется в пределах 40% на третьей фазе

[oioki]

Результаты одного и того же решения сильно отличаются:
https://highloadcup.ru/solution/13839/ - 18623.903097
https://highloadcup.ru/solution/14128/ - 68.589747
https://highloadcup.ru/solution/14648/ - 2568.5573
https://highloadcup.ru/solution/14796/ - 68.948272

[anarsultanov]

Решение id=15669 (402.664921)
Решение id=15621 (102.634949)

[yakud]

https://highloadcup.ru/solution/16228/ - 90.74874
https://highloadcup.ru/solution/16246/ - 47.453333

[zuko3d]

Локально запускаю контейнер - отрабатывает за 9 секунд (~8к rps).
https://highloadcup.ru/solution/18666/ - 423.92
https://highloadcup.ru/solution/19614/ - 58011.4

[Oreshnik]

https://highloadcup.ru/solution/18943/ - 146.333606
https://highloadcup.ru/solution/19955/ - 60.950935
Во втором прогоне добавился подсчет и вывод времени. А разница более чем в два раза :(

[1buran]

Это реально путает, у меня тоже наблюдается, хоть и не так сильно:

https://highloadcup.ru/solution/30212/ - 608464.010693
https://highloadcup.ru/solution/28675/ - 513321.271067

Но это вводит в заблуждение: когда приходится бороться за каждую секунду и ты думаешь,
что сделал "супер оптимизацию" и локально тестируя, действительно видишь что стало лучше,
пушишь, запускаешь рейтинговый обстрел, а стало - хуже, а попыток всего 2 (((

Вот я сейчас перед фиксом, запустил прошлое вчерашнее решение и теперь я не могу быть уверен, что мой фикс что-то дал и я получу какой-то прирост в очках ...

[1buran]

@sat2707

Если проблема с ресурсами, выделяемыми под запуск рейтингового обстрела, и поэтому даётся всего 2 попытки, то может стоило сделать не так? А, например так: система сама запускает раз в сутки рейтинговые обстрелы распределяя очередь равномерно, например ночью и перестраивает лидерборд?

[SannikovDmitry]

Диагностировали. В 2019 году будем полностью исправлять.