Selecting Framework Architecture

It is time to make some wise design choices...

Option 1) Everything is one object
Option 2) Standard modular structure
Option 3) Yanush Version

Option 2:

DQN (no target)

DQN

НЕДОСТАТКИ:

• очень громоздкая конструкция ради всего лишь таргет-сетки. Проблема в том, что это придётся прописывать в инициализации.
• блок трейнера, разветвляюдего на два трейнера. Можно чтобы раннер запускал сразу несколько тренеров, но пользователь (!) должен убедиться, что они "независимые" - это плохо.

Rainbow

НЕДОСТАТКИ:

• тройное наследование Noisy Dueling Categorical. Но это неизлечимая проблема, не связанная с выбором архитектуры... Здесь скорее всего так или иначе появятся фабрики классов.

Twin DQN (shared backbone)

Twin DQN

ПРОБЛЕМА:

• в реплей буффер внезапно попадает сразу две копии каждого трашнзишна!..

A2C

ПРОБЛЕМА:

• лоссы не обмениваются информацией. То есть Policy Gradient Loss придётся заново прогонять сеть-критика, а энтропийному лоссу - заново прогонять политику.

QAC

ПРОБЛЕМА:

• внезапно требует ОСОБОГО трейнера, работающего сразу с двумя буфферами. Как приоритизрованный реплей тогда сюда пихать?

Curiosity with A2C

НЕДОСТАТКИ:

• повторное сэмплирование батча из реплей буффера для обновления сетки для любопытства.
• и наследование всех проблем от предыдущих пунктов.