Finetune qlib_test.py生成信号的问题

[bbfrog]

代码如下，有两个疑惑：还请解答，多谢！

1. 生成的信号是preds里的close price和last_day_close直接相减，而不是再除以last_day_close得到return。虽然x和preds里的close price都是在当前序列上做了normalize之后的，但相减并不是return。Paper附录关于Signal and Backtest里（15页）提到用的是return。请问这是by design还是bug？也想知道paper里CSI300/CSI800上的回测结果（17页图9），用的是return还是跟如下代码一样的信号？

2. preds里也包含了x：x的shape是[batch_size, lookback_window, 6]，preds的shape是[batch_size, lookback_window+predict_window, 6]。这样构建的mean/max/min是从输入x和预测y里一起算。直观感觉应该只用predictions来当信号？

265-280 lines:
with torch.no_grad():
for x, x_stamp, y_stamp, symbols, timestamps in tqdm(loader, desc="Inference"):
preds = auto_regressive_inference(
tokenizer, model, x.to(device), x_stamp.to(device), y_stamp.to(device),
max_context=config['max_context'], pred_len=config['pred_len'], clip=config['clip'],
T=config['T'], top_k=config['top_k'], top_p=config['top_p'], sample_count=config['sample_count']
)

        # The 'close' price is at index 3 in `feature_list`
        last_day_close = x[:, -1, 3].numpy()
        signals = {
            'last': preds[:, -1, 3] - last_day_close,
            'mean': np.mean(preds[:, :, 3], axis=1) - last_day_close,
            'max': np.max(preds[:, :, 3], axis=1) - last_day_close,
            'min': np.min(preds[:, :, 3], axis=1) - last_day_close,
        }

[shiyu-coder]

你好，

1. 这个虽然不是return，但是截面排序跟return是一致的，加上后续的回测只会利用排序信息，所以不影响结果。这里主要是担心计算return带来的精度误差等问题，算是一个design，跟return并不完全一致。
2. 这个确实是finetune代码的一个bug，感谢你发现了这个问题，稍后我们会对代码进行更新

[bbfrog]

多谢。请问paper里CSI300/CSI800上的回测（17页图9）用的方法是否跟上述描述一致？比如我如果将qlib_test.py里run_config的tokenizer_path和model_path改成开源的small或者base模型（sample_count也改成10），是否能复现paper里的结果？我试了下csi300，感觉还有不少差距。

[shiyu-coder]

嗯嗯是一致的，但是部分设定不同，例如代码中的sample_count更小，是第二天开盘交易（paper中是当日收盘交易），交易成本也更大（千2.5，paper中由于是收盘，所以设置的千1.5）