Skip to content

System Latency OS 4.18.0 25 lowlatency

Olivier Guyon edited this page Jul 17, 2019 · 1 revision

Tools

Latency tests use rt-tests' cyclictest to depoy as many threads as there are cores. Stress tests (heavy load) use stress-ng. Test script is in bin directory:

runtestrt XXXX Y
# XXXX: test index. Output fies will containt this index
# Y stress mode. 0: no stress. 1: stress

Note that this is an extreme test case where all cores are occupied and there is no "idle" compute resource where pthreads can go. Typical performance for a cacao setup should be significanty better.

Kernel 4.18.0-25-lowlatency

Setting

uname -a
#> Linux scexaortc 4.18.0-25-lowlatency #26-Ubuntu SMP PREEMPT Mon Jun 24 10:17:48 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
SpeedStep (Pstates) -> Enabled
Boost perf mode -> Max perf
Energy efficient turbo -> Enabled
Turbo mode -> Enabled
CPU flex Ratio Override -> Enabled
CPU core Flex Ratio -> 37

No load

alt text

Heavy load

alt text

No load, CPU setting performance

sudo cpupower frequency-set --governor performance

alt text

Heavy load, CPU setting performance

sudo cpupower frequency-set --governor performance

alt text

No load, + setlatency 0

sudo cpupower frequency-set --governor performance
setlatency 0

alt text

Heavy load, + setlatency 0

sudo cpupower frequency-set --governor performance
setlatency 0

alt text

Setting

SpeedStep (Pstates) -> Disabled
Boost perf mode -> Max perf
Energy efficient turbo -> Disabled
CPU flex Ratio Override -> Disabled
CPU core Flex Ratio -> 37

Cannot run :

sudo cpupower frequency-set --governor performance
Setting cpu: 0
Error setting new values. Common errors:
- Do you have proper administration rights? (super-user?)
- Is the governor you requested available and modprobed?
- Trying to set an invalid policy?
- Trying to set a specific frequency, but userspace governor is not available,
   for example because of hardware which cannot be set to a specific frequency
   or because the userspace governor isn't loaded?

Idle state (no testing)

scexao@scexaortc:~/tmp$ sudo cpupower monitor -m 'Mperf'
              | Mperf              
 PKG|CORE| CPU| C0   | Cx   | Freq  
   0|   0|   0|  0.24| 99.76|  1568
   0|   1|   1|  0.03| 99.97|  1539
   0|   2|   2|  0.02| 99.98|  2120
   0|   3|   3|  0.05| 99.95|  2052
   0|   4|   4|  0.12| 99.88|  2056
   0|   8|   5|  0.27| 99.73|  1312
   0|   9|   6|  0.13| 99.87|  1306
   0|  10|   7|  0.08| 99.92|  1713
   0|  11|   8|  0.02| 99.98|  1525
   0|  16|   9|  0.03| 99.97|  1889
   0|  17|  10|  0.11| 99.89|  1975
   0|  18|  11|  0.07| 99.93|  1139
   0|  19|  12|  0.02| 99.98|  1787
   0|  20|  13|  0.29| 99.71|  2056
   0|  24|  14|  5.52| 94.48|  2278
   0|  25|  15|  0.02| 99.98|  1703
   0|  26|  16|  0.10| 99.90|  1061
   0|  27|  17|  0.01| 99.99|  1293
   1|   0|  18|  0.02| 99.98|  1879
   1|   1|  19|  0.03| 99.97|  1441
   1|   2|  20|  0.01| 99.99|  1556
   1|   3|  21|  0.02| 99.98|  1962
   1|   4|  22|  0.03| 99.97|  2128
   1|   8|  23|  0.08| 99.92|  1204
   1|   9|  24|  0.02| 99.98|  1679
   1|  10|  25|  0.02| 99.98|  1715
   1|  11|  26|  0.10| 99.90|  1312
   1|  16|  27|  0.08| 99.92|  1499
   1|  17|  28|  0.05| 99.95|  1425
   1|  18|  29|  0.05| 99.95|  1261
   1|  19|  30|  0.20| 99.80|  1407
   1|  20|  31|  0.73| 99.27|  2171
   1|  24|  32|  0.24| 99.76|  1509
   1|  25|  33|  0.23| 99.77|  1785
   1|  26|  34|  0.08| 99.92|  1549
   1|  27|  35|  0.03| 99.97|  1619

No load

sudo cpupower monitor -m 'Mperf'
              | Mperf              
 PKG|CORE| CPU| C0   | Cx   | Freq  
   0|   0|   0| 99.93|  0.07|  2293
   0|   1|   1| 99.93|  0.07|  2294
   0|   2|   2| 99.93|  0.07|  2294
   0|   3|   3| 99.93|  0.07|  2294
   0|   4|   4| 99.93|  0.07|  2294
   0|   8|   5| 99.93|  0.07|  2293
   0|   9|   6| 99.93|  0.07|  2294
   0|  10|   7| 99.93|  0.07|  2294
   0|  11|   8| 99.93|  0.07|  2294
   0|  16|   9| 99.93|  0.07|  2294
   0|  17|  10| 99.93|  0.07|  2294
   0|  18|  11| 99.93|  0.07|  2294
   0|  19|  12| 99.93|  0.07|  2293
   0|  20|  13| 99.93|  0.07|  2294
   0|  24|  14| 99.93|  0.07|  2293
   0|  25|  15| 99.93|  0.07|  2294
   0|  26|  16| 99.93|  0.07|  2294
   0|  27|  17| 99.93|  0.07|  2293
   1|   0|  18| 99.93|  0.07|  2294
   1|   1|  19| 99.93|  0.07|  2293
   1|   2|  20| 99.93|  0.07|  2294
   1|   3|  21| 99.93|  0.07|  2294
   1|   4|  22| 99.93|  0.07|  2293
   1|   8|  23| 99.93|  0.07|  2293
   1|   9|  24| 99.93|  0.07|  2293
   1|  10|  25| 99.93|  0.07|  2293
   1|  11|  26| 99.93|  0.07|  2294
   1|  16|  27| 99.93|  0.07|  2293
   1|  17|  28| 99.93|  0.07|  2294
   1|  18|  29| 99.93|  0.07|  2294
   1|  19|  30| 99.93|  0.07|  2294
   1|  20|  31| 99.93|  0.07|  2293
   1|  24|  32| 99.93|  0.07|  2294
   1|  25|  33| 99.93|  0.07|  2294
   1|  26|  34| 99.93|  0.07|  2293
   1|  27|  35| 99.93|  0.07|  2294

alt text

Heavy load

sudo cpupower monitor -m 'Mperf'
              | Mperf              
 PKG|CORE| CPU| C0   | Cx   | Freq  
   0|   0|   0| 99.93|  0.07|  2293
   0|   1|   1| 99.93|  0.07|  2294
   0|   2|   2| 99.93|  0.07|  2294
   0|   3|   3| 99.93|  0.07|  2294
   0|   4|   4| 99.93|  0.07|  2294
   0|   8|   5| 99.93|  0.07|  2293
   0|   9|   6| 99.93|  0.07|  2294
   0|  10|   7| 99.93|  0.07|  2294
   0|  11|   8| 99.93|  0.07|  2294
   0|  16|   9| 99.93|  0.07|  2294
   0|  17|  10| 99.93|  0.07|  2294
   0|  18|  11| 99.93|  0.07|  2294
   0|  19|  12| 99.93|  0.07|  2293
   0|  20|  13| 99.93|  0.07|  2294
   0|  24|  14| 99.93|  0.07|  2293
   0|  25|  15| 99.93|  0.07|  2294
   0|  26|  16| 99.93|  0.07|  2294
   0|  27|  17| 99.93|  0.07|  2293
   1|   0|  18| 99.93|  0.07|  2294
   1|   1|  19| 99.93|  0.07|  2293
   1|   2|  20| 99.93|  0.07|  2294
   1|   3|  21| 99.93|  0.07|  2294
   1|   4|  22| 99.93|  0.07|  2293
   1|   8|  23| 99.93|  0.07|  2293
   1|   9|  24| 99.93|  0.07|  2293
   1|  10|  25| 99.93|  0.07|  2293
   1|  11|  26| 99.93|  0.07|  2294
   1|  16|  27| 99.93|  0.07|  2293
   1|  17|  28| 99.93|  0.07|  2294
   1|  18|  29| 99.93|  0.07|  2294
   1|  19|  30| 99.93|  0.07|  2294
   1|  20|  31| 99.93|  0.07|  2293
   1|  24|  32| 99.93|  0.07|  2294
   1|  25|  33| 99.93|  0.07|  2294
   1|  26|  34| 99.93|  0.07|  2293
   1|  27|  35| 99.93|  0.07|  2294

alt text

Idle state (no testing) + setlatency 0

CPU is polling, stays in state C0

sudo cpupower monitor 
              | Nehalem                   || Mperf              || Idle_Stats                
 PKG|CORE| CPU| C3   | C6   | PC3  | PC6   || C0   | Cx   | Freq  || POLL | C1   | C1E  | C6    
   0|   0|   0|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.94|  0.00|  0.00|  0.00
   0|   1|   1|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 90.35|  0.00|  0.00|  0.00
   0|   2|   2|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 99.04|  0.00|  0.00|  0.00
   0|   3|   3|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 98.94|  0.00|  0.00|  0.00
   0|   4|   4|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.89|  0.00|  0.00|  0.00
   0|   8|   5|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.98|  0.00|  0.00|  0.00
   0|   9|   6|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 98.90|  0.00|  0.00|  0.00
   0|  10|   7|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.86|  0.00|  0.00|  0.00
   0|  11|   8|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 97.73|  0.00|  0.00|  0.00
   0|  16|   9|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 99.04|  0.00|  0.00|  0.00
   0|  17|  10|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 98.99|  0.00|  0.00|  0.00
   0|  18|  11|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 99.03|  0.00|  0.00|  0.00
   0|  19|  12|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.82|  0.00|  0.00|  0.00
   0|  20|  13|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 98.71|  0.00|  0.00|  0.00
   0|  24|  14|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 91.38|  0.00|  0.00|  0.00
   0|  25|  15|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 91.41|  0.00|  0.00|  0.00
   0|  26|  16|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 90.12|  0.00|  0.00|  0.00
   0|  27|  17|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 98.84|  0.00|  0.00|  0.00
   1|   0|  18|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.86|  0.00|  0.00|  0.00
   1|   1|  19|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.92|  0.00|  0.00|  0.00
   1|   2|  20|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 98.88|  0.00|  0.00|  0.00
   1|   3|  21|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 98.90|  0.00|  0.00|  0.00
   1|   4|  22|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 98.87|  0.00|  0.00|  0.00
   1|   8|  23|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.90|  0.00|  0.00|  0.00
   1|   9|  24|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 98.93|  0.00|  0.00|  0.00
   1|  10|  25|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.94|  0.00|  0.00|  0.00
   1|  11|  26|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.86|  0.00|  0.00|  0.00
   1|  16|  27|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.90|  0.00|  0.00|  0.00
   1|  17|  28|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2293|| 98.92|  0.00|  0.00|  0.00
   1|  18|  29|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.94|  0.00|  0.00|  0.00
   1|  19|  30|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.95|  0.00|  0.00|  0.00
   1|  20|  31|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.94|  0.00|  0.00|  0.00
   1|  24|  32|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.90|  0.00|  0.00|  0.00
   1|  25|  33|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.95|  0.00|  0.00|  0.00
   1|  26|  34|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.92|  0.00|  0.00|  0.00
   1|  27|  35|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2294|| 98.92|  0.00|  0.00|  0.00

No load + setlatency 0

alt text

Setting

SpeedStep (Pstates) -> Disabled
Boost perf mode -> Max perf
Energy efficient turbo -> Disabled
CPU flex Ratio Override -> Enabled
CPU core Flex Ratio -> 37

Idle

sudo cpupower monitor
              | Nehalem                   || Mperf              || Idle_Stats                
 PKG|CORE| CPU| C3   | C6   | PC3  | PC6   || C0   | Cx   | Freq  || POLL | C1   | C1E  | C6    
   0|   0|   0|  0.00| 96.70|  0.00|  0.00||  0.19| 99.81|  1275||  0.00|  0.00|  0.39| 99.35
   0|   1|   1|  0.00| 97.58|  0.00|  0.00||  0.09| 99.91|  1171||  0.00|  0.00|  0.19| 99.66
   0|   2|   2|  0.00| 97.51|  0.00|  0.00||  0.10| 99.90|  1133||  0.00|  0.00|  0.18| 99.74
   0|   3|   3|  0.00| 95.79|  0.00|  0.00||  0.09| 99.91|  1068||  0.00|  0.00|  0.29| 99.56
   0|   4|   4|  0.00| 95.32|  0.00|  0.00||  0.21| 99.79|  1181||  0.00|  0.00|  0.19| 99.54
   0|   8|   5|  0.00| 97.89|  0.00|  0.00||  0.08| 99.92|  1070||  0.00|  0.00|  0.19| 99.59
   0|   9|   6|  0.00| 98.03|  0.00|  0.00||  0.07| 99.93|  1071||  0.00|  0.00|  0.19| 99.61
   0|  10|   7|  0.00| 94.11|  0.00|  0.00||  0.20| 99.80|  1069||  0.00|  0.10|  0.85| 98.73
   0|  11|   8|  0.00| 97.54|  0.00|  0.00||  0.12| 99.88|  1123||  0.00|  0.00|  0.15| 99.67
   0|  16|   9|  0.00| 98.15|  0.00|  0.00||  0.07| 99.93|  1065||  0.00|  0.00|  0.10| 99.72
   0|  17|  10|  0.00| 95.86|  0.00|  0.00||  0.09| 99.91|  1090||  0.00|  0.00|  0.29| 99.51
   0|  18|  11|  0.00| 96.18|  0.00|  0.00||  0.19| 99.81|  1174||  0.00|  0.00|  0.00| 99.76
   0|  19|  12|  0.00| 97.71|  0.00|  0.00||  0.07| 99.93|  1071||  0.00|  0.00|  0.19| 99.65
   0|  20|  13|  0.00| 98.33|  0.00|  0.00||  0.08| 99.92|  1119||  0.00|  0.00|  0.29| 99.55
   0|  24|  14|  0.00| 97.67|  0.00|  0.00||  0.09| 99.91|  1167||  0.00|  0.00|  0.19| 99.63
   0|  25|  15|  0.00| 97.82|  0.00|  0.00||  0.07| 99.93|  1095||  0.00|  0.00|  0.19| 99.67
   0|  26|  16|  0.00| 97.83|  0.00|  0.00||  0.07| 99.93|  1087||  0.00|  0.00|  0.19| 99.67
   0|  27|  17|  0.00| 97.99|  0.00|  0.00||  0.07| 99.93|  1095||  0.00|  0.00|  0.19| 99.68
   1|   0|  18|  0.00| 97.53|  0.00|  0.00||  0.08| 99.92|  1445||  0.00|  0.00|  0.20| 99.67
   1|   1|  19|  0.00| 98.38|  0.00|  0.00||  0.06| 99.94|  1413||  0.00|  0.00|  0.29| 99.68
   1|   2|  20|  0.00| 95.21|  0.00|  0.00||  0.08| 99.92|  1343||  0.00|  0.00|  0.29| 99.59
   1|   3|  21|  0.00| 95.89|  0.00|  0.00||  0.40| 99.60|  2114||  0.00|  0.55|  0.90| 98.21
   1|   4|  22|  0.00| 97.82|  0.00|  0.00||  0.09| 99.91|  1311||  0.00|  0.00|  0.29| 99.58
   1|   8|  23|  0.00| 92.18|  0.00|  0.00||  0.15| 99.85|  1292||  0.00|  0.00|  4.18| 95.65
   1|   9|  24|  0.00| 99.59|  0.00|  0.00||  0.02| 99.98|  1679||  0.00|  0.00|  0.00| 99.98
   1|  10|  25|  0.00| 99.53|  0.00|  0.00||  0.03| 99.97|  1437||  0.00|  0.00|  0.00| 99.98
   1|  11|  26|  0.00| 97.43|  0.00|  0.00||  0.08| 99.92|  1407||  0.00|  0.00|  1.45| 98.49
   1|  16|  27|  0.00| 98.99|  0.00|  0.00||  0.19| 99.81|  1988||  0.00|  0.00|  0.03| 99.80
   1|  17|  28|  0.00| 88.17|  0.00|  0.00||  7.78| 92.22|  2281||  0.00|  0.00|  0.09| 92.14
   1|  18|  29|  0.00| 96.36|  0.00|  0.00||  0.19| 99.81|  1529||  0.00|  0.00|  0.30| 99.52
   1|  19|  30|  0.00| 94.26|  0.00|  0.00||  3.70| 96.30|  2258||  0.00|  0.00|  1.19| 95.10
   1|  20|  31|  0.00| 96.32|  0.00|  0.00||  0.17| 99.83|  1906||  0.00|  0.00|  0.40| 99.48
   1|  24|  32|  0.00| 99.49|  0.00|  0.00||  0.04| 99.96|  1517||  0.00|  0.00|  0.00| 99.99
   1|  25|  33|  0.00| 99.05|  0.00|  0.00||  0.04| 99.96|  1765||  0.00|  0.00|  0.10| 99.87
   1|  26|  34|  0.00| 99.56|  0.00|  0.00||  0.03| 99.97|  1643||  0.00|  0.00|  0.00| 100.0
   1|  27|  35|  0.00| 99.65|  0.00|  0.00||  0.02| 99.98|  1931||  0.00|  0.00|  0.00| 100.0

Heavy load

sudo cpupower monitor
              | Nehalem                   || Mperf              || Idle_Stats                
 PKG|CORE| CPU| C3   | C6   | PC3  | PC6   || C0   | Cx   | Freq  || POLL | C1   | C1E  | C6    
   0|   0|   0|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   0|   1|   1|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   0|   2|   2|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2294||  0.00|  0.00|  0.00|  0.00
   0|   3|   3|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2294||  0.00|  0.00|  0.00|  0.00
   0|   4|   4|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2294||  0.00|  0.00|  0.00|  0.00
   0|   8|   5|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   0|   9|   6|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   0|  10|   7|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2294||  0.56|  0.00|  0.00|  0.00
   0|  11|   8|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2294||  0.00|  0.00|  0.00|  0.00
   0|  16|   9|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.25|  0.00|  0.00|  0.00
   0|  17|  10|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2294||  0.00|  0.00|  0.00|  0.00
   0|  18|  11|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   0|  19|  12|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   0|  20|  13|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   0|  24|  14|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   0|  25|  15|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   0|  26|  16|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   0|  27|  17|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2294||  0.00|  0.00|  0.00|  0.00
   1|   0|  18|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   1|   1|  19|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   1|   2|  20|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2293||  0.00|  0.00|  0.00|  0.00
   1|   3|  21|  0.00|  0.00|  0.00|  0.00|| 99.74|  0.26|  2294||  0.00|  0.00|  0.00|  0.00
   1|   4|  22|  0.00|  0.00|  0.00|  0.00|| 99.75|  0.25|  2293||  0.00|  0.00|  0.00|  0.00
   1|   8|  23|  0.00|  0.00|  0.00|  0.00|| 99.75|  0.25|  2293||  0.00|  0.00|  0.00|  0.00
   1|   9|  24|  0.00|  0.00|  0.00|  0.00|| 99.75|  0.25|  2293||  0.00|  0.00|  0.00|  0.00
   1|  10|  25|  0.00|  0.00|  0.00|  0.00|| 99.75|  0.25|  2293||  0.00|  0.00|  0.00|  0.00
   1|  11|  26|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2293|| 18.66|  0.00|  0.00|  0.00
   1|  16|  27|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2293||  0.00|  0.00|  0.00|  0.00
   1|  17|  28|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2293||  0.00|  0.00|  0.00|  0.00
   1|  18|  29|  0.00|  0.00|  0.00|  0.00|| 99.87|  0.13|  2294||  0.00|  0.00|  0.00|  0.00
   1|  19|  30|  0.00|  0.00|  0.00|  0.00|| 99.87|  0.13|  2294||  0.00|  0.00|  0.00|  0.00
   1|  20|  31|  0.00|  0.00|  0.00|  0.00|| 99.87|  0.13|  2294||  0.00|  0.00|  0.00|  0.00
   1|  24|  32|  0.00|  0.00|  0.00|  0.00|| 99.87|  0.13|  2293||  0.00|  0.00|  0.00|  0.00
   1|  25|  33|  0.00|  0.00|  0.00|  0.00|| 99.93|  0.07|  2293||  0.00|  0.00|  0.00|  0.00
   1|  26|  34|  0.00|  0.00|  0.00|  0.00|| 99.93|  0.07|  2293||  0.00|  0.00|  0.00|  0.00
   1|  27|  35|  0.00|  0.00|  0.00|  0.00|| 99.93|  0.07|  2293||  0.00|  0.00|  0.00|  0.00

Setting

SpeedStep (Pstates) -> Enabled
Boost perf mode -> Max perf
Energy efficient turbo -> Disabled
Turbo Mode -> Enabled
CPU flex Ratio Override -> Enabled
CPU core Flex Ratio -> 37

Idle

sudo cpupower monitor
              | Nehalem                   || Mperf              || Idle_Stats                
 PKG|CORE| CPU| C3   | C6   | PC3  | PC6   || C0   | Cx   | Freq  || POLL | C1   | C1E  | C6    
   0|   0|   0|  0.00| 95.77|  0.00|  0.00||  0.55| 99.45|   999||  0.00|  0.00|  0.00| 98.50
   0|   1|   1|  0.00| 96.35|  0.00|  0.00||  0.35| 99.65|  1018||  0.00|  0.00|  0.00| 98.45
   0|   2|   2|  0.00| 99.33|  0.00|  0.00||  0.07| 99.93|  1056||  0.00|  0.00|  0.00| 98.62
   0|   3|   3|  0.00| 96.59|  0.00|  0.00||  0.31| 99.69|  1016||  0.00|  0.00|  0.04| 98.36
   0|   4|   4|  0.00| 97.98|  0.00|  0.00||  0.19| 99.81|  1050||  0.00|  0.00|  0.04| 98.50
   0|   8|   5|  0.00| 98.28|  0.00|  0.00||  0.16| 99.84|  1033||  0.00|  0.00|  0.00| 98.56
   0|   9|   6|  0.00| 98.40|  0.00|  0.00||  0.13| 99.87|  1024||  0.00|  0.00|  0.00| 98.60
   0|  10|   7|  0.00| 98.30|  0.00|  0.00||  0.14| 99.86|  1021||  0.00|  0.00|  0.08| 98.52
   0|  11|   8|  0.00| 96.59|  0.00|  0.00||  0.30| 99.70|   999||  0.00|  0.00|  0.09| 98.37
   0|  16|   9|  0.00| 96.66|  0.00|  0.00||  0.29| 99.71|  1005||  0.00|  0.00|  0.27| 98.21
   0|  17|  10|  0.00| 96.97|  0.00|  0.00||  0.27| 99.73|  1005||  0.00|  0.00|  0.17| 98.33
   0|  18|  11|  0.00| 96.38|  0.00|  0.00||  0.29| 99.71|   999||  0.00|  0.00|  0.79| 97.69
   0|  19|  12|  0.00| 97.12|  0.00|  0.00||  0.27| 99.73|  1006||  0.00|  0.00|  0.08| 98.44
   0|  20|  13|  0.00| 98.69|  0.00|  0.00||  0.08| 99.92|   986||  0.00|  0.00|  0.08| 98.62
   0|  24|  14|  0.00| 97.10|  0.00|  0.00||  0.26| 99.74|  1001||  0.00|  0.00|  0.08| 98.45
   0|  25|  15|  0.00| 98.04|  0.00|  0.00||  0.17| 99.83|  1009||  0.00|  0.00|  0.09| 98.56
   0|  26|  16|  0.00| 96.99|  0.00|  0.00||  0.28| 99.72|   994||  0.00|  0.00|  0.08| 98.46
   0|  27|  17|  0.00| 98.58|  0.00|  0.00||  0.11| 99.89|   995||  0.00|  0.00|  0.12| 98.59
   1|   0|  18|  0.00| 92.76|  0.00|  0.00||  6.22| 93.78|  2932||  0.00|  0.00|  0.00| 92.55
   1|   1|  19|  0.00| 99.89|  0.00|  0.00||  0.01| 99.99|   993||  0.00|  0.00|  0.00| 98.94
   1|   2|  20|  0.00| 99.88|  0.00|  0.00||  0.01| 99.99|  1096||  0.00|  0.00|  0.00| 98.94
   1|   3|  21|  0.00| 98.73|  0.00|  0.00||  0.10| 99.90|   989||  0.00|  0.00|  0.00| 98.86
   1|   4|  22|  0.00| 98.80|  0.00|  0.00||  0.15| 99.85|  1057||  0.00|  0.00|  0.00| 98.62
   1|   8|  23|  0.00| 95.98|  0.00|  0.00||  0.60| 99.40|  1269||  0.00|  0.22|  2.40| 95.86
   1|   9|  24|  0.00| 99.57|  0.00|  0.00||  0.04| 99.96|   990||  0.00|  0.00|  0.00| 98.93
   1|  10|  25|  0.00| 98.44|  0.00|  0.00||  0.13| 99.87|  1060||  0.00|  0.00|  0.12| 98.53
   1|  11|  26|  0.00| 97.77|  0.00|  0.00||  0.14| 99.86|   997||  0.00|  0.00|  1.40| 97.42
   1|  16|  27|  0.00| 97.84|  0.00|  0.00||  0.44| 99.56|   997||  0.00|  0.23|  0.77| 97.59
   1|  17|  28|  0.00| 95.38|  0.00|  0.00||  0.36| 99.64|   987||  0.00|  0.00|  0.66| 97.85
   1|  18|  29|  0.00| 98.04|  0.00|  0.00||  0.36| 99.64|   998||  0.00|  0.00|  0.08| 98.53
   1|  19|  30|  0.00| 98.81|  0.00|  0.00||  0.41| 99.59|   987||  0.00|  0.00|  0.03| 98.53
   1|  20|  31|  0.00| 97.40|  0.00|  0.00||  0.24| 99.76|   984||  0.00|  0.01|  0.27| 98.34
   1|  24|  32|  0.00| 89.11|  0.00|  0.00||  6.63| 93.37|  2801||  0.00|  0.00|  0.21| 92.04
   1|  25|  33|  0.00| 95.17|  0.00|  0.00||  0.48| 99.52|  1004||  0.00|  0.00|  1.51| 97.00
   1|  26|  34|  0.00| 95.78|  0.00|  0.00||  0.48| 99.52|  1024||  0.00|  0.00|  0.19| 98.21
   1|  27|  35|  0.00| 96.80|  0.00|  0.00||  0.32| 99.68|   993||  0.00|  0.00|  0.00| 98.56
sudo cpupower frequency-set --governor performance
sudo cpupower monitor
              | Nehalem                   || Mperf              || Idle_Stats                
 PKG|CORE| CPU| C3   | C6   | PC3  | PC6   || C0   | Cx   | Freq  || POLL | C1   | C1E  | C6    
   0|   0|   0|  0.00| 99.11|  0.00|  0.00||  0.08| 99.92|  2004||  0.00|  0.00|  0.00| 99.89
   0|   1|   1|  0.00| 99.14|  0.00|  0.00||  0.04| 99.96|  1863||  0.00|  0.00|  0.00| 99.92
   0|   2|   2|  0.00| 99.46|  0.00|  0.00||  0.01| 99.99|  1429||  0.00|  0.00|  0.00| 99.95
   0|   3|   3|  0.00| 99.46|  0.00|  0.00||  0.02| 99.98|  1850||  0.00|  0.00|  0.00| 99.94
   0|   4|   4|  0.00| 99.47|  0.00|  0.00||  0.01| 99.99|  1929||  0.00|  0.00|  0.00| 99.95
   0|   8|   5|  0.00| 99.47|  0.00|  0.00||  0.02| 99.98|  2143||  0.00|  0.00|  0.00| 99.95
   0|   9|   6|  0.00| 99.35|  0.00|  0.00||  0.02| 99.98|  1910||  0.00|  0.00|  0.00| 99.94
   0|  10|   7|  0.00| 99.35|  0.00|  0.00||  0.02| 99.98|  1792||  0.00|  0.00|  0.00| 99.86
   0|  11|   8|  0.00| 99.33|  0.00|  0.00||  0.02| 99.98|  2202||  0.00|  0.00|  0.00| 99.87
   0|  16|   9|  0.00| 99.44|  0.00|  0.00||  0.02| 99.98|  2047||  0.00|  0.00|  0.00| 99.94
   0|  17|  10|  0.00| 97.19|  0.00|  0.00||  0.07| 99.93|  1272||  0.00|  0.00|  0.05| 99.85
   0|  18|  11|  0.00| 99.33|  0.00|  0.00||  0.03| 99.97|  1798||  0.00|  0.00|  0.00| 99.94
   0|  19|  12|  0.00| 99.46|  0.00|  0.00||  0.02| 99.98|  1748||  0.00|  0.00|  0.00| 99.95
   0|  20|  13|  0.00| 99.26|  0.00|  0.00||  0.03| 99.97|  1528||  0.00|  0.00|  0.00| 99.94
   0|  24|  14|  0.00| 99.40|  0.00|  0.00||  0.02| 99.98|  1860||  0.00|  0.00|  0.00| 99.95
   0|  25|  15|  0.00| 99.33|  0.00|  0.00||  0.03| 99.97|  1834||  0.00|  0.00|  0.00| 99.94
   0|  26|  16|  0.00| 99.13|  0.00|  0.00||  0.04| 99.96|  1750||  0.00|  0.00|  0.00| 99.92
   0|  27|  17|  0.00| 99.28|  0.00|  0.00||  0.02| 99.98|  2151||  0.00|  0.00|  0.00| 99.94
   1|   0|  18|  0.00| 99.18|  0.00|  0.00||  0.04| 99.96|  1709||  0.00|  0.00|  0.00| 99.93
   1|   1|  19|  0.00| 98.96|  0.00|  0.00||  0.05| 99.95|  1447||  0.00|  0.00|  0.02| 99.90
   1|   2|  20|  0.00| 96.57|  0.00|  0.00||  0.07| 99.93|  1305||  0.00|  0.00|  0.32| 99.49
   1|   3|  21|  0.00| 93.42|  0.00|  0.00||  0.47| 99.53|  2291||  0.00|  0.27|  2.30| 96.97
   1|   4|  22|  0.00| 95.63|  0.00|  0.00||  0.15| 99.85|  1731||  0.00|  0.00|  0.84| 99.02
   1|   8|  23|  0.00| 97.08|  0.00|  0.00||  0.13| 99.87|  1626||  0.00|  0.00|  0.78| 99.07
   1|   9|  24|  0.00| 96.50|  0.00|  0.00||  0.17| 99.83|  1936||  0.00|  0.00|  0.00| 99.90
   1|  10|  25|  0.00| 97.89|  0.00|  0.00||  0.34| 99.66|  2536||  0.00|  0.00|  0.00| 99.63
   1|  11|  26|  0.00| 96.99|  0.00|  0.00||  0.11| 99.89|  1930||  0.00|  0.00|  1.46| 98.40
   1|  16|  27|  0.00| 97.39|  0.00|  0.00||  0.11| 99.89|  2268||  0.00|  0.00|  0.02| 99.85
   1|  17|  28|  0.00| 96.39|  0.00|  0.00||  0.05| 99.95|  1617||  0.00|  0.00|  0.19| 99.70
   1|  18|  29|  0.00| 97.14|  0.00|  0.00||  0.04| 99.96|  1822||  0.00|  0.00|  0.10| 99.85
   1|  19|  30|  0.00| 99.49|  0.00|  0.00||  0.02| 99.98|  2014||  0.00|  0.00|  0.00| 99.98
   1|  20|  31|  0.00| 99.42|  0.00|  0.00||  0.01| 99.99|  2532||  0.00|  0.00|  0.00| 99.98
   1|  24|  32|  0.00| 99.42|  0.00|  0.00||  0.01| 99.99|  2529||  0.00|  0.00|  0.00| 99.98
   1|  25|  33|  0.00| 99.42|  0.00|  0.00||  0.01| 99.99|  2450||  0.00|  0.00|  0.00| 99.98
   1|  26|  34|  0.00| 99.53|  0.00|  0.00||  0.01| 99.99|  2434||  0.00|  0.00|  0.00| 99.99
   1|  27|  35|  0.00| 99.38|  0.00|  0.00||  0.03| 99.97|  1987||  0.00|  0.00|  0.00| 99.97

No load

alt text

Heavy load

sudo cpupower monitor
              | Nehalem                   || Mperf              || Idle_Stats                
 PKG|CORE| CPU| C3   | C6   | PC3  | PC6   || C0   | Cx   | Freq  || POLL | C1   | C1E  | C6 
   0|   0|   0|  0.00|  0.00|  0.00|  0.00|| 99.90|  0.10|  2992||  2.28|  0.00|  0.00|  0.00
   0|   1|   1|  0.00|  0.00|  0.00|  0.00|| 99.89|  0.11|  2992||  0.72|  0.00|  0.00|  0.00
   0|   2|   2|  0.00|  0.00|  0.00|  0.00|| 99.89|  0.11|  2992||  0.00|  0.00|  0.00|  0.00
   0|   3|   3|  0.00|  0.00|  0.00|  0.00|| 99.89|  0.11|  2992||  0.00|  0.00|  0.00|  0.00
   0|   4|   4|  0.00|  0.00|  0.00|  0.00|| 99.89|  0.11|  2992||  1.66|  0.00|  0.00|  0.00
   0|   8|   5|  0.00|  0.00|  0.00|  0.00|| 99.89|  0.11|  2992||  0.00|  0.00|  0.00|  0.00
   0|   9|   6|  0.00|  0.00|  0.00|  0.00|| 99.89|  0.11|  2992||  0.00|  0.00|  0.00|  0.00
   0|  10|   7|  0.00|  0.00|  0.00|  0.00|| 99.89|  0.11|  2992||  1.89|  0.00|  0.00|  0.00
   0|  11|   8|  0.00|  0.00|  0.00|  0.00|| 99.89|  0.11|  2992||  0.00|  0.00|  0.00|  0.00
   0|  16|   9|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2992||  0.00|  0.00|  0.00|  0.00
   0|  17|  10|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2992||  1.36|  0.00|  0.00|  0.00
   0|  18|  11|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2992||  0.00|  0.00|  0.00|  0.00
   0|  19|  12|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2992||  0.00|  0.00|  0.00|  0.00
   0|  20|  13|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2992||  2.15|  0.00|  0.00|  0.00
   0|  24|  14|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2992||  0.00|  0.00|  0.00|  0.00
   0|  25|  15|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2992||  0.00|  0.00|  0.00|  0.00
   0|  26|  16|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2992||  0.00|  0.00|  0.00|  0.00
   0|  27|  17|  0.00|  0.00|  0.00|  0.00|| 99.88|  0.12|  2992||  2.53|  0.00|  0.00|  0.00
   1|   0|  18|  0.00|  0.00|  0.00|  0.00|| 99.70|  0.30|  2980||  0.00|  0.00|  0.00|  0.00
   1|   1|  19|  0.00|  0.00|  0.00|  0.00|| 99.70|  0.30|  2980||  2.51|  0.00|  0.00|  0.00
   1|   2|  20|  0.00|  0.00|  0.00|  0.00|| 99.70|  0.30|  2980||  0.00|  0.00|  0.00|  0.00
   1|   3|  21|  0.00|  0.00|  0.00|  0.00|| 99.70|  0.30|  2980||  0.00|  0.00|  0.00|  0.00
   1|   4|  22|  0.00|  0.00|  0.00|  0.00|| 99.70|  0.30|  2980||  0.00|  0.00|  0.00|  0.00
   1|   8|  23|  0.00|  0.00|  0.00|  0.00|| 99.71|  0.29|  2980||  0.00|  0.00|  0.00|  0.00
   1|   9|  24|  0.00|  0.00|  0.00|  0.00|| 99.70|  0.30|  2980||  0.00|  0.00|  0.00|  0.00
   1|  10|  25|  0.00|  0.00|  0.00|  0.00|| 99.70|  0.30|  2980||  0.00|  0.00|  0.00|  0.00
   1|  11|  26|  0.00|  0.00|  0.00|  0.00|| 99.71|  0.29|  2980|| 20.62|  0.00|  0.00|  0.00
   1|  16|  27|  0.00|  0.00|  0.00|  0.00|| 99.70|  0.30|  2980||  0.00|  0.00|  0.00|  0.00
   1|  17|  28|  0.00|  0.00|  0.00|  0.00|| 99.69|  0.31|  2980||  0.00|  0.00|  0.00|  0.00
   1|  18|  29|  0.00|  0.00|  0.00|  0.00|| 99.69|  0.31|  2980||  0.00|  0.00|  0.00|  0.00
   1|  19|  30|  0.00|  0.00|  0.00|  0.00|| 99.69|  0.31|  2980||  0.00|  0.00|  0.00|  0.00
   1|  20|  31|  0.00|  0.00|  0.00|  0.00|| 99.69|  0.31|  2980||  0.00|  0.00|  0.00|  0.00
   1|  24|  32|  0.00|  0.00|  0.00|  0.00|| 99.69|  0.31|  2980||  0.00|  0.00|  0.00|  0.00
   1|  25|  33|  0.00|  0.00|  0.00|  0.00|| 99.69|  0.31|  2980||  0.00|  0.00|  0.00|  0.00
   1|  26|  34|  0.00|  0.00|  0.00|  0.00|| 99.68|  0.32|  2980||  0.00|  0.00|  0.00|  0.00
   1|  27|  35|  0.00|  0.00|  0.00|  0.00|| 99.68|  0.32|  2980||  0.00|  0.00|  0.00|  0.00

alt text

Clone this wiki locally