FESOM2 data not fully reproducible on ollie

[patrickscholz]

#146

Problem:

• FESOM2.0 simulations on AWI ollie HPC were not always reproducible. Runs with identical namelists, init-conditions ... could lead to sligthly different results. The bias produced by ollie looked like...
  
• shows sst bias on ollie with core2 after 1 month of simulation
• i was able to track down this bias to problems with the exponential funktion on ollie

Solution from Natalja Rakowsky:

• exchange compiler flag -fast-transcendentals against -no-fast-transcendentals (slower not vectorizable) or better -fimf-use-svml (should be faster is vectorizeable)

What happens from Natalja Rakowsky:
1.) IEEE legt sich bei transzendenten Funktionen nicht fest.

2.) Vektor-, Skalar- und alternativ etwas ungenauere, schnellere Implementierungen (mit -no-fast-transcendentals erlaubt) können drei verschiedene Ergebnisse liefern. In heutigen Systemen offenbar: Es ist nicht deterministisch, welcher Weg beschritten wird.

3.) Mit "-no-fast-transcendentials" legt man fest, dass immer die skalare Implementierung benutzt wird. Damit sind Schleifen mit exp, sin, cos,... nicht vektorisierbar und damit teils deutlich langsamer.
Intel hat seit Version 18 darum alternativ im Angebot, mit "-fimf-use-svml" exp + co immer deterministisch durch die Vektor-Implementierung zu ziehen. Das ist skalar kaum langsam, vektorisiert deutlich schneller, und sollte bitte, bitte auch deterministische Ergebnisse liefern.

[dchirila]

The issue is explained here: https://techdecoded.intel.io/resources/floating-point-reproducibility-in-intel-software-tools/

[chrisdane]

Should this also get changed in fesom1?

[patrickscholz]

@chrisdane i think this also could be changed in FESOM1.4, although i never checked FESOM1.4 on ollie with respect to that issue but also there the exp() funktion should kick in. But also keep in mind that it was an ollie specific problem, neither mistral or hlrn showed this behaviour, maybe they hid this option somewhere in the background.

[koldunovn]

Fixed in #146