分类实验结果无法复现

[myflash163]

分类实验中，分别跑了下面几个模型，算出ACC平均值如下，与论文实验结果不符：

TimesNet 平均值 0.726112379
Informer 平均值 0.698233222
Autoformer 平均值 0.595744996
iTransformer 平均值 0.699916293

模型	数据集	accuracy
TimesNet	EthanolConcentration	0.326996198
TimesNet	FaceDetection	0.6861521
TimesNet	Handwriting	0.328235294
TimesNet	Heartbeat	0.756097561
TimesNet	JapaneseVowels	0.972972973
TimesNet	PEMS-SF	0.895953757
TimesNet	SelfRegulationSCP1	0.877133106
TimesNet	SelfRegulationSCP2	0.561111111
TimesNet	SpokenArabicDigits	0.987721692
TimesNet	UWaveGestureLibrary	0.86875
TimesNet	平均值	0.726112379

模型	数据集	accuracy
Informer	EthanolConcentration	0.292775665
Informer	FaceDetection	0.675652667
Informer	Handwriting	0.284705882
Informer	Heartbeat	0.741463415
Informer	JapaneseVowels	0.967567568
Informer	PEMS-SF	0.832369942
Informer	SelfRegulationSCP1	0.873720137
Informer	SelfRegulationSCP2	0.527777778
Informer	SpokenArabicDigits	0.98317417
Informer	UWaveGestureLibrary	0.803125
Informer	平均值	0.698233222

模型	数据集	accuracy
Autoformer	EthanolConcentration	0.296577947
Autoformer	FaceDetection	0.539727582
Autoformer	Handwriting	0.14
Autoformer	Heartbeat	0.682926829
Autoformer	JapaneseVowels	0.956756757
Autoformer	PEMS-SF	0.820809249
Autoformer	SelfRegulationSCP1	0.546075085
Autoformer	SelfRegulationSCP2	0.533333333
Autoformer	SpokenArabicDigits	0.984993179
Autoformer	UWaveGestureLibrary	0.45625
Autoformer	平均值	0.595744996

模型	数据集	accuracy
iTransformer	EthanolConcentration	0.25095057
iTransformer	FaceDetection	0.678490352
iTransformer	Handwriting	0.230588235
iTransformer	Heartbeat	0.751219512
iTransformer	JapaneseVowels	0.964864865
iTransformer	PEMS-SF	0.832369942
iTransformer	SelfRegulationSCP1	0.921501706
iTransformer	SelfRegulationSCP2	0.533333333
iTransformer	SpokenArabicDigits	0.982719418
iTransformer	UWaveGestureLibrary	0.853125
iTransformer	平均值	0.699916293

比如下面执行命令：

classification

bash ./scripts/classification/iTransformer.sh

显卡: RTX 2080 Ti CPU: Xeon(R) Platinum 8255C CPU @ 2.50GHz

[wuhaixu2016]

您好，感谢关注，UEA这个数据集一些子集的数据量很小，比如EthanolConcentration，训练数据集只有261条数据，所以可能会波动比较大。另外需要确认pytorch版本，是不是1.7.1，因为fft的改版也可能会造成效果波动。

[myflash163]

pytorch版本是1.7.1，完全按照示例跑的，其他baseline的跑分也完全达不到论文的情况

[666-will]

哥们，你知道时序分类数据集的格式是啥不，一般都是TS 文件么

[myflash163]

github 上 提供了论文测试数据集下载的链接， 再找找 ---- 回复的原邮件 ---- ***@***.***>发送日期2024年5月22日 ***@***.***>***@***.***>, ***@***.***>主题Re: [thuml/Time-Series-Library] 分类实验结果无法复现 (Issue #321) 哥们，你知道时序分类数据集的格式是啥不，一般都是TS 文件么 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>