Улучшение библиотеки

[kv-gits]

Читал Ваш пост в телеграмме про намерение написать библиотеку по улучшению backtrader. Не нашел иного источника связи с Вами, поэтому напишу сюда свои мысли по этой теме. Сам занят чем-то похожим.

1. Numpy-pandas. Они хоть и написаны на си, но к сожалению не предназначены, для realtime, где нужно часто добавлять данных в конце массива. Хотя, конечно, можно найти обходные пути - например иметь отдельный датафрейм для тела массива и его хвоста и обновление бара реализовывать на хвосте, и при необходимости дополнять тело. Это приемлемый алгоритм для одного инструмента. Но если используются много инструментов, то могут быть тормоза.
   Далее про различие между numpy и pandas. Тут тоже не все просто. Numpy пошустрее и numpy можно очень сильно оптимизировать с помощью jit-компилятора numba. Но зато в pandas есть индексация по столбцу, однако, часто индикаторы нужно пересчитывать по барам, и индексация в таких алгоритмах может быть и не нужна вообще. И обновлять крайнее значение при приходе нового тика на датафрейме с индексом может быть неоптимально (о чем выше написал).

Можно еще глянуть на что-то типа того https://github.com/modin-project/modin

Я довольно долго обдумывал способы как построить свой торговый движок вокруг numpy-pandas и пришел к тому, что ни то не другое не предназначены для этого. Но и то и другое вполне приемлемо, если использовать их в отдельных сценариях, нежели чем в монолитной системе, что я у себя и делаю.

Для универсального же движка типа backtrader стоит присмотреться к cython. Возможно, c помощью cython даже есть смысл сам backtrader переделать. Хотя лично мне его архитектура не дает той свободы, которой хотелось бы, и там слишком много "метамагии" в коде движка. Но тем не менее, backtrader это самый продуманный из всех имеющихся движков на python, который "оброс" неплохими плагинами. Cython мог бы его очень хорошо ускорить, но объем работы мне сложно оценить.

2. Про графику. Хочу обратить внимание на finplot. Она поинтереснее чем то, что на bokeh написано. Но она к сожалению - не про realtime. Про realtime - implot/dearpygui.

[cia76]

Благодарю за дельные советы!

Извиняюсь за долгий ответ, только вернулся из разъездов. Пока я только присматриваюсь к возможности доработки BT, никаких резких изменений делать не планирую. Ваши идеи также проработаю.