IndexError: index 1 is out of bounds for axis 0 with size 0 #92

ErQrYfkrju · 2022-01-09T21:21:46Z

Здравствуйте!
Тоже решил познакомится с вашим решением.
Собрал ваше приложение в контейнере и запустил evolve
Загрузку дивидентов прошла успешно. А дальше вылезло вот это....
Корректность работы pyppeteer проверил.

python3.9 -m poptimizer evolve
  File "/usr/lib/python3.9/runpy.py", line 197, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "/usr/lib/python3.9/runpy.py", line 87, in _run_code
    exec(code, run_globals)
  File "/opt/app/poptimizer/__main__.py", line 46, in <module>
    app(prog_name="poptimizer")
  File "/usr/local/lib/python3.9/dist-packages/typer/main.py", line 214, in __call__
    return get_command(self)(*args, **kwargs)
  File "/usr/local/lib/python3.9/dist-packages/click/core.py", line 1128, in __call__
    return self.main(*args, **kwargs)
  File "/usr/local/lib/python3.9/dist-packages/click/core.py", line 1053, in main
    rv = self.invoke(ctx)
  File "/usr/local/lib/python3.9/dist-packages/click/core.py", line 1659, in invoke
    return _process_result(sub_ctx.command.invoke(sub_ctx))
  File "/usr/local/lib/python3.9/dist-packages/click/core.py", line 1395, in invoke
    return ctx.invoke(self.callback, **ctx.params)
  File "/usr/local/lib/python3.9/dist-packages/click/core.py", line 754, in invoke
    return __callback(*args, **kwargs)
  File "/usr/local/lib/python3.9/dist-packages/typer/main.py", line 500, in wrapper
    return callback(**use_params)  # type: ignore
  File "/opt/app/poptimizer/__main__.py", line 17, in evolve
    ev.evolve()
  File "/opt/app/poptimizer/evolve/evolve.py", line 54, in evolve
    step, current = self._step_setup(step, current)
  File "/opt/app/poptimizer/evolve/evolve.py", line 85, in _step_setup
    self._end = dates[1]
  File "/usr/local/lib/python3.9/dist-packages/pandas/core/indexes/extension.py", line 279, in __getitem__
    result = self._data[key]
  File "/usr/local/lib/python3.9/dist-packages/pandas/core/arrays/datetimelike.py", line 322, in __getitem__
    result = super().__getitem__(key)
  File "/usr/local/lib/python3.9/dist-packages/pandas/core/arrays/_mixins.py", line 194, in __getitem__
    result = self._ndarray[key]
IndexError: index 1 is out of bounds for axis 0 with size 0

The text was updated successfully, but these errors were encountered:

WLM1ke · 2022-01-10T03:48:24Z

Попробуйте скачать последнюю версию - в пятницу был необычный день, когда торговались только иностранные бумаги. В последней версии по идее должно работать корректно.

ErQrYfkrju · 2022-01-10T03:59:45Z

загрузил из master
результат тот же, если вывести на экран len(dates) он нулевой....

0 DatetimeIndex([], dtype='datetime64[ns]', freq=None)

я сделал самый простой setup.py для установки пакета

from setuptools import setup, find_packages
setup(
    name="poptimizer",
    version="1.0",
    packages=find_packages(),
    entry_points={
        'console_scripts': ['app=app.app:main', ]    
    },
)

может накосячил где...

WLM1ke · 2022-01-10T04:17:23Z

Вы загрузили из мастера после моего ответа и перестояли свои контейнеры? Я просто докинул немного коммитов после вашего сообщения об ошибке.

ErQrYfkrju · 2022-01-10T04:21:04Z

Да из master выкачал и пересобрал

commit 18756e8bdbfcac3ebd7ba241f86b25bcb27cc22f (HEAD -> master, origin/master, origin/HEAD)
Author: WLM1ke <wlmike@gmail.com>
Date:   Sun Jan 9 13:53:06 2022 +0300

    feat: правило рассылки регулярного сообщения

WLM1ke · 2022-01-10T04:30:28Z

Сложно понять дистанционно в чем проблема. Я попробовал запустить с нуля - у меня ошибка не выпадает, но я запускаю без контейнеров и setup.py.

Может вам тоже попытаться для начала запустить локально напрямую. Выкачать в папочку проекта, создать виртуальное окружение в корне проекта и простой файлик для запука:

from poptimizer import __main__

if __name__ == "__main__":
    __main__.evolve()

ErQrYfkrju · 2022-01-10T17:21:09Z

Сейчас буду пробовать

ErQrYfkrju · 2022-01-10T17:47:27Z

Да всё тоже самоё....

python3.9 -m venv .venv
source .venv/bin/activate
pip3.9 install -r requirements.txt
python3.9 -m poptimizer evolve

Загружаются данные и вылетает в том же самом месте

2022-01-10 17:48:15.264589 | INFO | Config | config.py | line#46 | pid#329243 | {'P_VALUE': 0.05, 'FORECAST_DAYS': 21, 'HISTORY_DAYS_MIN': 63, 'START_EVOLVE_HOUR': 1, 'STOP_EVOLVE_HOUR': 1, 'COSTS': 0.025, 'TRADING_INTERVAL': 1, 'OPTIMIZER': 'resample'}
2022-01-10 17:48:15.580378 | INFO | EventBus | thread.py | line#58 | pid#329243 | DateCheckRequired(timestamp=datetime.datetime(2022, 1, 10, 17, 48, 15, 579410))
2022-01-10 17:48:15.919126 | INFO | EventBus | thread.py | line#58 | pid#329243 | DateCheckRequired(timestamp=datetime.datetime(2022, 1, 10, 17, 48, 15, 918466))

from poptimizer import __main__
__main__.evolve()
DateCheckRequired(timestamp=datetime.datetime(2022, 1, 10, 17, 50, 16, 481782))
/home/alexey/workspace/poptimizer/portfolio/base.yaml
{'RUR': 10000, 'USD': 0, 'positions': {'FXRU': 35, 'GAZP': 104, 'SBER': 145}}
{'FXRU': 35, 'GAZP': 104, 'SBER': 145}
/home/alexey/workspace/poptimizer/portfolio/base.yaml
{'RUR': 10000, 'USD': 0, 'positions': {'FXRU': 35, 'GAZP': 104, 'SBER': 145}}
{'FXRU': 35, 'GAZP': 104, 'SBER': 145}
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/alexey/workspace/poptimizer/poptimizer/__main__.py", line 17, in evolve
    ev.evolve()
  File "/home/alexey/workspace/poptimizer/poptimizer/evolve/evolve.py", line 54, in evolve
    step, current = self._step_setup(step, current)
  File "/home/alexey/workspace/poptimizer/poptimizer/evolve/evolve.py", line 85, in _step_setup
    self._end = dates[1]
  File "/home/alexey/workspace/poptimizer/.venv/lib/python3.9/site-packages/pandas/core/indexes/extension.py", line 279, in __getitem__
    result = self._data[key]
  File "/home/alexey/workspace/poptimizer/.venv/lib/python3.9/site-packages/pandas/core/arrays/datetimelike.py", line 322, in __getitem__
    result = super().__getitem__(key)
  File "/home/alexey/workspace/poptimizer/.venv/lib/python3.9/site-packages/pandas/core/arrays/_mixins.py", line 194, in __getitem__
    result = self._ndarray[key]
IndexError: index 1 is out of bounds for axis 0 with size 0

WLM1ke · 2022-01-10T18:31:35Z

Хорошо, что про портфель написали. Во-первых, это все бессмысленно на трех бумагах - не достаточно данных для обучения сетей. Во-вторых, при таком наборе бумаг вылезает редкий баг - не уверен, что его имеет смысл править, но в общем нужна хотя бы одна иностранная бумага из-за кривого торгового дня в пятницу или ждать завтрашнего дня когда появятся котировки за понедельник.

ErQrYfkrju · 2022-01-11T00:35:42Z

Ну я сначала на base.yml из master запускал, но он с нулями не знаю имеет это значение или нет...
Можно ли как то в mongodb загрузить историю за последние 3-5 лет, чтобы потом её как то просмотреть?
После ваших комментариев запустилось обучение как в контейнере так и на голой системе!

WLM1ke · 2022-01-11T04:16:37Z

Ну я сначала на base.yml из master запускал, но он с нулями не знаю имеет это значение или нет...

Для эволюции количество отдельных бумаг не имеет значения - важен их перечень, на котором будет идти обучение.

Можно ли как то в mongodb загрузить историю за последние 3-5 лет, чтобы потом её как то просмотреть?

Грузится вся история до последнего полного тортового дня включительно, а используется история с 2015 года. Котировки хранятся в базе data в коллекции quotes.

PS: Утром оказалось, что баг более серьезный, чем я думал, поэтому буду править.

ErQrYfkrju · 2022-01-11T04:27:30Z

плохо что серьезный, хорошо что локализовался. пока запустил обучение...
можно как то из имеющихся данных в базе получить df как у yfinance для перечня тикеров?

WLM1ke · 2022-01-11T04:31:23Z

Я не знаю, как там у yfinance. Есть функци для получения перечня всех бумаг по которым скачиваются котировки

poptimizer/poptimizer/data/views/listing.py

Line 44 in 18756e8

def securities(viewer: viewers.Viewer = bootstrap.VIEWER) -> pd.Index:

В файле все бумаги, по которым я обновляю дивиденды https://github.com/WLM1ke/poptimizer/blob/master/portfolio/base.yaml

ErQrYfkrju · 2022-01-11T04:39:41Z

https://habr.com/ru/post/561980/
вот по этой статье пробовал строить тестовый портфель, там данные скачиваются с yahoo finance каждый раз. у вас скачаны данные и уже локально доступны для тестовых запросов к ним

WLM1ke · 2022-01-11T04:42:21Z

Если каждый раз дергать MOEX и качать котировки по 1000 бумаг, то вас быстро заблокируют.
Данные скачиваются полностью при первом запуске и инкрементальной обновляются 1 раз каждый день после 00:45, когда обновляются все данные на MOEX ISS.

ErQrYfkrju · 2022-01-11T04:54:55Z

я немного про другое,как с помощью имеющихся уже данных собрать входные данные для указанных в статье методов. там скачивание исторических данных идёт с yahoo, для moex добавляя .ME к тикеру.

WLM1ke · 2022-01-11T04:58:54Z

Для получения цен

poptimizer/poptimizer/data/views/quotes.py

Line 38 in 18756e8

    
           def all_prices(tickers: tuple[str, ...], price_type: col.PriceType = col.CLOSE) -> pd.DataFrame:

Для получения цен и дивидендов

poptimizer/poptimizer/data/views/quotes.py

Line 87 in 18756e8

def div_and_prices(

ErQrYfkrju · 2022-01-11T05:04:49Z

вечером посмотрю и сравню результаты...

ErQrYfkrju · 2022-01-11T18:53:42Z

#93
Поставил на обучение

WLM1ke closed this as completed in c4f6fa9 Jan 11, 2022

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

IndexError: index 1 is out of bounds for axis 0 with size 0 #92

IndexError: index 1 is out of bounds for axis 0 with size 0 #92

ErQrYfkrju commented Jan 9, 2022 •

edited

Loading

WLM1ke commented Jan 10, 2022

ErQrYfkrju commented Jan 10, 2022 •

edited

Loading

WLM1ke commented Jan 10, 2022

ErQrYfkrju commented Jan 10, 2022

WLM1ke commented Jan 10, 2022 •

edited

Loading

ErQrYfkrju commented Jan 10, 2022

ErQrYfkrju commented Jan 10, 2022 •

edited

Loading

WLM1ke commented Jan 10, 2022

ErQrYfkrju commented Jan 11, 2022 •

edited

Loading

WLM1ke commented Jan 11, 2022 •

edited

Loading

ErQrYfkrju commented Jan 11, 2022

WLM1ke commented Jan 11, 2022

ErQrYfkrju commented Jan 11, 2022

WLM1ke commented Jan 11, 2022 •

edited

Loading

ErQrYfkrju commented Jan 11, 2022

WLM1ke commented Jan 11, 2022

ErQrYfkrju commented Jan 11, 2022

ErQrYfkrju commented Jan 11, 2022

IndexError: index 1 is out of bounds for axis 0 with size 0 #92

IndexError: index 1 is out of bounds for axis 0 with size 0 #92

Comments

ErQrYfkrju commented Jan 9, 2022 • edited Loading

WLM1ke commented Jan 10, 2022

ErQrYfkrju commented Jan 10, 2022 • edited Loading

WLM1ke commented Jan 10, 2022

ErQrYfkrju commented Jan 10, 2022

WLM1ke commented Jan 10, 2022 • edited Loading

ErQrYfkrju commented Jan 10, 2022

ErQrYfkrju commented Jan 10, 2022 • edited Loading

WLM1ke commented Jan 10, 2022

ErQrYfkrju commented Jan 11, 2022 • edited Loading

WLM1ke commented Jan 11, 2022 • edited Loading

ErQrYfkrju commented Jan 11, 2022

WLM1ke commented Jan 11, 2022

ErQrYfkrju commented Jan 11, 2022

WLM1ke commented Jan 11, 2022 • edited Loading

ErQrYfkrju commented Jan 11, 2022

WLM1ke commented Jan 11, 2022

ErQrYfkrju commented Jan 11, 2022

ErQrYfkrju commented Jan 11, 2022

ErQrYfkrju commented Jan 9, 2022 •

edited

Loading

ErQrYfkrju commented Jan 10, 2022 •

edited

Loading

WLM1ke commented Jan 10, 2022 •

edited

Loading

ErQrYfkrju commented Jan 10, 2022 •

edited

Loading

ErQrYfkrju commented Jan 11, 2022 •

edited

Loading

WLM1ke commented Jan 11, 2022 •

edited

Loading

WLM1ke commented Jan 11, 2022 •

edited

Loading