使用拟合好的模型，使用alpha158数据集仅进行预测时最少需要加载多长的历史数据集？

[qengli]

❓ 例如我使用以下配置加载数据预测2023-06-07的score, test的起止日期设置多少合适？

因为加载处理数据比较费时，如果我只做预测，希望加载的数据集越小越好，理论上来说如果预测2023-06-07的值，test的起止日期段最短可以设置为多少？ 谢谢！

dataset_conf = {
    "class": "DatasetH",
    "module_path": "qlib.data.dataset",
    "kwargs": {
        "handler": hd,
        "segments": {
            #"train": ("2008-01-01", "2014-12-31"),
            #"valid": ("2015-01-01", "2016-12-31"),
            "test": ("2023-03-05", "2023-06-06"),
        },
    },
}

[qianyun210603]

你都用默认的话，test包含2023-06-06就行了。如果你实际是要7日执行策略的话，那你需要的是用6日的因子输入模型后出来的预测值，注意在pred_score里面的时间是6日，但你用提供的策略，会在7日根据这个打分执行操作。
但是你handler里面的数据必须是包含6日的。注意handler不会自动读取Dataset的Segment。具体的DataLoader里面的start_date，end_date那些设成你实际需要的区间就行。Qlib的DataLoader会自动处理向前向后引用（例如"Ref("$close", 3))这样的，它会自动再把$close多读3天。实际实现是有些冗余的，但不影响结果。

[qengli]

感谢您的答疑解惑，我大概理解了，但还有一些疑问，在准备这个dataset前，我先要准备handler, 例如下面这样的

handler_kwargs = {
    "start_time": START_DATE,
    "end_time": END_DATE,
    "instruments": MARKET,
}
handler_conf = {
    "class": "Alpha158",
    "module_path": "qlib.contrib.data.handler",
    "kwargs": handler_kwargs,
}
from qlib.utils import init_instance_by_config
hd = init_instance_by_config(handler_conf) 

我发现不管start_time和end_time设定范围多大，加载的时间都很长，比如把start_time设置成2023-06-03 end_time设置成2023-06-13, 在我的机器上加载也要43秒左右，这和把start_time设置成2018-06-03 end_time设置成2023-06-13的加载时间一样，难道handler是不管时间范围把所有因子都计算一遍的吗？有什么办法可以根据设定时间范围来加载并计算因子数据，因为模型拟合好后我仅作预测的话是不需要太多历史数据的。再次感谢您的答复！

[qianyun210603]

它执行数据读取是并行的，建立进程，各种数据类之类的overhead会用一些时间和数据长短无关。但你说的

start_time设置成2023-06-03 end_time设置成2023-06-13, 在我的机器上加载也要43秒左右，这和把start_time设置成2018-06-03 end_time设置成2023-06-13的加载时间一样

这个就有点夸张了。在我的机器上是有明显区别的。
你可以profile一下qlib\qlib\data\dataset\loader.py

    def load_group_df(
        self,
        instruments,
        exprs: list,
        names: list,
        start_time: Union[str, pd.Timestamp] = None,
        end_time: Union[str, pd.Timestamp] = None,
        gp_name: str = None,
    ) -> pd.DataFrame:

[github-actions]

This issue is stale because it has been open for three months with no activity. Remove the stale label or comment on the issue otherwise this will be closed in 5 days