Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[Perf] Changes at 3/9/2021 11:29:00 PM #4226

Open
performanceautofiler bot opened this issue Mar 10, 2021 · 2 comments
Open

[Perf] Changes at 3/9/2021 11:29:00 PM #4226

performanceautofiler bot opened this issue Mar 10, 2021 · 2 comments
Labels
Improvement refs/heads/main ubuntu 18.04 x64

Comments

@performanceautofiler
Copy link

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Text.Json.Document.Tests.Perf_EnumerateObject

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
PropertyIndexer 1.93 μs 1.63 μs 0.85
PropertyIndexer 1.93 μs 1.64 μs 0.85

graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Text.Json.Document.Tests.Perf_EnumerateObject*'

.

Payloads

Baseline
Compare

Histogram

System.Text.Json.Document.Tests.Perf_EnumerateObject.PropertyIndexer(TestCase: NumericProperties)

[1627.473 ; 1665.811) | @@@@@@
[1665.811 ; 1705.599) | 
[1705.599 ; 1745.387) | 
[1745.387 ; 1785.175) | 
[1785.175 ; 1824.963) | 
[1824.963 ; 1864.751) | 
[1864.751 ; 1913.257) | 
[1913.257 ; 1990.875) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1990.875 ; 2049.762) | @@

System.Text.Json.Document.Tests.Perf_EnumerateObject.PropertyIndexer(TestCase: StringProperties)

[1632.198 ; 1670.214) | @@@@@@
[1670.214 ; 1709.001) | 
[1709.001 ; 1747.789) | 
[1747.789 ; 1786.577) | 
[1786.577 ; 1825.365) | 
[1825.365 ; 1864.153) | 
[1864.153 ; 1913.790) | 
[1913.790 ; 1971.632) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1971.632 ; 2020.910) | @@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

### Run Information
Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Collections.Tests.Perf_BitArray

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
BitArraySet 785.74 ns 613.96 ns 0.78
BitArrayNot 10.42 ns 8.49 ns 0.82
BitArraySet 5.84 ns 4.60 ns 0.79

graph
graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Collections.Tests.Perf_BitArray*'

.

Payloads

Baseline
Compare

Histogram

System.Collections.Tests.Perf_BitArray.BitArraySet(Size: 512)

[599.734 ; 628.837) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[628.837 ; 656.518) | 
[656.518 ; 684.199) | 
[684.199 ; 711.881) | 
[711.881 ; 739.562) | 
[739.562 ; 770.634) | 
[770.634 ; 800.202) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

System.Collections.Tests.Perf_BitArray.BitArrayNot(Size: 512)

[ 7.569 ;  7.901) | @@
[ 7.901 ;  8.264) | @@@@@@@@@@@@@@@@@@@@
[ 8.264 ;  8.643) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 8.643 ;  8.999) | @@@@@@@@@@@@@@@@@@
[ 8.999 ;  9.379) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 9.379 ;  9.766) | @@@@@@@@@
[ 9.766 ; 10.165) | @@@@@@@@@@@@@@@@
[10.165 ; 10.553) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[10.553 ; 10.933) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[10.933 ; 11.315) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[11.315 ; 11.578) | @
[11.578 ; 12.005) | @@@@@@@@@@@@@@@@@
[12.005 ; 12.384) | @
[12.384 ; 12.701) | 
[12.701 ; 13.081) | @@@

System.Collections.Tests.Perf_BitArray.BitArraySet(Size: 4)

[4.432 ; 4.642) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[4.642 ; 4.865) | @
[4.865 ; 5.075) | 
[5.075 ; 5.284) | 
[5.284 ; 5.493) | 
[5.493 ; 5.723) | 
[5.723 ; 5.933) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[5.933 ; 6.124) | @

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Collections.CreateAddAndClear<String>

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
ConcurrentBag 14.09 μs 12.90 μs 0.92

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Collections.CreateAddAndClear&lt;String&gt;*'

.

Payloads

Baseline
Compare

Histogram

System.Collections.CreateAddAndClear.ConcurrentBag(Size: 512)

[12808.190 ; 13296.930) | @@@@
[13296.930 ; 13833.963) | @@@
[13833.963 ; 14333.445) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[14333.445 ; 14826.067) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[14826.067 ; 15139.170) | @@@@@@@@@@@@@@@@@@@@@@@
[15139.170 ; 15707.900) | @@@@@@@@@@@@@@@@@@@@@@@@@@@
[15707.900 ; 16186.639) | @@@@
[16186.639 ; 16692.328) | @@
[16692.328 ; 17049.700) | 
[17049.700 ; 17909.271) | @@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Tests.Perf_UInt32

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
TryParseHex 16.98 ns 14.98 ns 0.88
TryParseHex 8.63 ns 7.48 ns 0.87

graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_UInt32*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_UInt32.TryParseHex(value: "FFFFFFFF")

[14.765 ; 15.231) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[15.231 ; 15.811) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[15.811 ; 16.164) | @@@@@@@@@@
[16.164 ; 16.738) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[16.738 ; 17.236) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

System.Tests.Perf_UInt32.TryParseHex(value: "0")

[7.346 ; 7.519) | @@@@@@@@@@@@@@@@@@@@@@
[7.519 ; 7.696) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[7.696 ; 7.871) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[7.871 ; 8.129) | @@@@@@@@@@@@@@@@
[8.129 ; 8.306) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[8.306 ; 8.608) | @@@@@@@@@@@@@@@@@@
[8.608 ; 8.943) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Collections.CreateAddAndClear<Int32>

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
Array 434.90 ns 387.52 ns 0.89

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Collections.CreateAddAndClear&lt;Int32&gt;*'

.

Payloads

Baseline
Compare

Histogram

System.Collections.CreateAddAndClear.Array(Size: 512)

[383.295 ; 396.378) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[396.378 ; 406.516) | @@@@@@@@@@
[406.516 ; 414.728) | @
[414.728 ; 429.771) | 
[429.771 ; 444.728) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Collections.Tests.Add_Remove_SteadyState<String>

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
ConcurrentBag 40.51 ns 34.28 ns 0.85

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Collections.Tests.Add_Remove_SteadyState&lt;String&gt;*'

.

Payloads

Baseline
Compare

Histogram

System.Collections.Tests.Add_Remove_SteadyState.ConcurrentBag(Count: 512)

[34.016 ; 35.157) | @
[35.157 ; 36.054) | @@@
[36.054 ; 37.388) | @
[37.388 ; 38.550) | @@
[38.550 ; 39.384) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[39.384 ; 40.845) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[40.845 ; 41.694) | @@@@@@@@@@@@@@@@@@@@@@@@@@
[41.694 ; 42.816) | @@@@@@@@@@@@@@@
[42.816 ; 44.357) | @@@@@@@@@@@@@
[44.357 ; 45.707) | @@@@@
[45.707 ; 47.210) | @@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Tests.Perf_UInt64

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
TryParseHex 28.62 ns 26.70 ns 0.93

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_UInt64*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_UInt64.TryParseHex(value: "FFFFFFFFFFFFFFFF")

[26.182 ; 26.965) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[26.965 ; 27.804) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[27.804 ; 28.957) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Collections.Concurrent.AddRemoveFromSameThreads<Int32>

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
ConcurrentBag 290.17 ms 265.54 ms 0.92

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Collections.Concurrent.AddRemoveFromSameThreads&lt;Int32&gt;*'

.

Payloads

Baseline
Compare

Histogram

System.Collections.Concurrent.AddRemoveFromSameThreads.ConcurrentBag(Size: 2000000)

[262814449.036 ; 271683894.954) | @@@@
[271683894.954 ; 277509584.484) | @@
[277509584.484 ; 285242177.776) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[285242177.776 ; 300986630.701) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Perf_Convert

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
FromBase64String 96.64 ns 89.27 ns 0.92

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Perf_Convert*'

.

Payloads

Baseline
Compare

Histogram

System.Perf_Convert.FromBase64String

[ 88.634 ;  91.973) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 91.973 ;  94.243) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 94.243 ;  98.019) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 98.019 ; 100.965) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[100.965 ; 104.507) | @@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Collections.Concurrent.IsEmpty<Int32>

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
Bag 11.56 ns 9.55 ns 0.83

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Collections.Concurrent.IsEmpty&lt;Int32&gt;*'

.

Payloads

Baseline
Compare

Histogram

System.Collections.Concurrent.IsEmpty.Bag(Size: 512)

[ 9.453 ;  9.780) | @@@@
[ 9.780 ;  9.993) | 
[ 9.993 ; 10.291) | @@@@@@
[10.291 ; 10.571) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[10.571 ; 10.968) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[10.968 ; 11.238) | @@@@@@@@@@@@@@@@@@@@@@@@
[11.238 ; 11.502) | @@@@@@@@@@@@@@
[11.502 ; 11.960) | @@@@@@@@@@
[11.960 ; 12.231) | @@@@@@
[12.231 ; 12.591) | @
[12.591 ; 13.091) | @

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Buffers.Text.Tests.Utf8FormatterTests

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
FormatterUInt32 12.26 ns 10.45 ns 0.85
FormatterUInt32 7.44 ns 5.74 ns 0.77

graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Buffers.Text.Tests.Utf8FormatterTests*'

.

Payloads

Baseline
Compare

Histogram

System.Buffers.Text.Tests.Utf8FormatterTests.FormatterUInt32(value: 4294967295)

[10.178 ; 10.437) | @@@@@@@@@@@@@@@
[10.437 ; 10.729) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[10.729 ; 11.213) | @@@@@@@@@@@@@@@@@@@@@@@@
[11.213 ; 11.504) | 
[11.504 ; 11.842) | 
[11.842 ; 12.354) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[12.354 ; 12.701) | @@@@@@@

System.Buffers.Text.Tests.Utf8FormatterTests.FormatterUInt32(value: 12345)

[5.710 ; 6.003) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[6.003 ; 6.178) | @
[6.178 ; 6.470) | 
[6.470 ; 6.763) | 
[6.763 ; 7.056) | 
[7.056 ; 7.337) | @@
[7.337 ; 7.630) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Tests.Perf_String

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
IndexerCheckPathLength 114.11 ns 88.20 ns 0.77

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_String*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_String.IndexerCheckPathLength

[ 86.079 ;  90.585) | @@@@@@@@@@@@@@@@@@@@@@@
[ 90.585 ;  92.435) | @
[ 92.435 ;  95.296) | 
[ 95.296 ;  98.215) | 
[ 98.215 ; 101.076) | @@@@@@@@@
[101.076 ; 105.044) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[105.044 ; 107.904) | 
[107.904 ; 112.093) | @
[112.093 ; 116.577) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[116.577 ; 119.437) | @
[119.437 ; 122.298) | 
[122.298 ; 126.237) | 
[126.237 ; 129.478) | @@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Tests.Perf_Random

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
NextBytes_unseeded 169.76 ns 144.33 ns 0.85

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_Random*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_Random.NextBytes_unseeded

[142.232 ; 146.901) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[146.901 ; 151.569) | 
[151.569 ; 156.238) | 
[156.238 ; 160.907) | 
[160.907 ; 167.775) | 
[167.775 ; 172.918) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in System.Collections.Concurrent.Count<String>

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
Queue 6.35 ns 4.68 ns 0.74

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Collections.Concurrent.Count&lt;String&gt;*'

.

Payloads

Baseline
Compare

Histogram

System.Collections.Concurrent.Count.Queue(Size: 512)

[4.602 ; 4.774) | @@@@@@
[4.774 ; 4.932) | 
[4.932 ; 5.091) | 
[5.091 ; 5.249) | 
[5.249 ; 5.407) | 
[5.407 ; 5.566) | 
[5.566 ; 5.724) | 
[5.724 ; 5.916) | 
[5.916 ; 6.117) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[6.117 ; 6.325) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[6.325 ; 6.473) | @@@@@@@@
[6.473 ; 6.640) | @@@
[6.640 ; 6.848) | @@@@@
[6.848 ; 7.053) | @@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline e0bbfa0f555cf5b9d8b8749e1a91a78924c9d927
Compare 220b01a58697eeae580d97cc47879217efd6628f

Improvemnts in Benchstone.BenchI.BubbleSort

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
Test 9.98 μs 8.77 μs 0.88

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'Benchstone.BenchI.BubbleSort*'

.

Payloads

Baseline
Compare

Histogram

Benchstone.BenchI.BubbleSort.Test

[8729.468 ;  8935.849) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[8935.849 ;  9142.230) | 
[9142.230 ;  9348.612) | 
[9348.612 ;  9554.993) | 
[9554.993 ;  9766.903) | 
[9766.903 ; 10226.234) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository
@DrewScoggins
Copy link
Owner

dotnet/runtime#47307

@kunalspathak
Copy link
Collaborator

FYI - @JulieLeeMSFT.

DrewScoggins pushed a commit that referenced this issue Jun 6, 2024
@dotnet-maestro
Update dependencies from https://github.com/dotnet/runtime build 2024…
8eb8997 
…0521.1 (#4226)

Microsoft.Extensions.Logging , Microsoft.NET.ILLink , Microsoft.NET.ILLink.Tasks , System.Threading.Channels
 From Version 9.0.0-preview.5.24270.2 -> To Version 9.0.0-preview.5.24271.1

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
Improvement refs/heads/main ubuntu 18.04 x64
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@DrewScoggins @kunalspathak