常见问题FAQ

1. 问题Q1：训练集、验证集和测试集的差别

• 回答A1：训练集：这是训练模型的数据集部分。验证集：也称为保持、开发集或开发集，用于评估先前训练模型的性能。测试集：一旦选择了模型，它就会在训练+验证集上进行训练，并在看不见的测试集上进行测试。假设您正在训练一个模型，其性能取决于一组超参数。在神经网络的情况下，这些参数可以是例如学习率或训练迭代次数。给定超参数值的选择，您可以使用训练集来训练模型。但是，如何设置超参数的值？这就是验证集的用途。您可以使用它来评估模型在不同超参数值组合下的性能（例如，通过网格搜索过程）并保留最佳训练模型。但是，您选择的模型与其他不同的模型相比如何？您的神经网络是否比使用相同训练/测试数据组合训练的随机森林表现更好？您不能根据验证集进行比较，因为该验证集是模型拟合的一部分。你用它来选择超参数值！测试集允许您以无偏见的方式比较不同的模型，方法是将您的比较建立在未在训练/超参数选择过程的任何部分中使用的数据中。