SCQLアルゴリズムの追加

[sql-hkr]

SACアルゴリズムの損失関数に以下のペナルティー項を追加する．

$$
\mathcal{L}Q(\theta_i)
\triangleq
\mathbb{E}{(s,a,s')\sim \mathcal{D},a'\sim \pi_\phi(\cdot \mid s')}
\left[
\frac{1}{2}
\left(
y-Q_{\theta_i}(s,a)
\right)^2\right]
+
\mathbb{E}{s\sim \mathcal{D},a\sim \pi\phi(\cdot \mid s)}
\left[
Q_{\theta_i}(s,a)
\right]
$$

ただし， $y$ は

$$ y \triangleq r(s,a)+\gamma \min_{j=1,2}Q_{\theta_j'}(s',a')-\alpha \log \pi_\phi(a'\mid s') $$

である．

[sql-hkr]

wandb.log()に関しても一部修正

wandb.log(
    {
        "q1_pred": q1_pred.mean(),
        "q2_pred": q2_pred.mean(),
        "q_target": q_target.mean(),
        "actor_q": q_new_actions.mean(),
        "alpha": alpha,
        "loss/q1": qf1_loss,
        "loss/q2": qf2_loss,
        "loss/alpha": alpha_loss,
        "loss/policy": policy_loss,
    },
    step=self._current_epoch,
)