Adding_Scheduler

[tridelt]

PyTorchWord2Vec/train.ipynb

Line 76 in 8e89d89

"scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=len(trainingLoader), eta_min=0, last_epoch=-1)\n",

Hab den Cosine-Scheduler so implementiert wie du es mir gesagt hast und es funktioniert! Danke dir.

Ich habe die anfängliche LR von 0.001 auf 0.1 geändert und das Modell lernt nun in 5 Epochen wofür ich vorher 600 Epochen gebraucht habe. Leider senkt der Scheduler die LR nicht schnell genug, sodass wenn der validate-Error stagniert das Minimum mit einer kleineren LR vorsichtiger erkundet werden kann.

Wäre es nicht sinnvoll einen Scheduler zu wählen welchem man für jedem Step auch den Validate-Loss senden müsste damit der Scheduler weiss ob er jetzt schon eine kleinere LR wählen soll oder habe ich den Cosine-Scheduler falsch eingestellt? Dieser verringert bei mir nämlich viel zu langsam die LR.