Skip to content

Fix resolving default params upon instantiation or reference (#4497) - #6388

Merged
wsnyder merged 2 commits into
verilator:masterfrom
antmicro:81985-defparams
Sep 10, 2025
Merged

wsnyder merged 2 commits into
verilator:masterfrom
antmicro:81985-defparams

Conversation

@ArturBieniek4

@ArturBieniek4 ArturBieniek4 commented Sep 5, 2025

Copy link
Copy Markdown
Member

This adds a stage which resolves default class parameters upon instantiation, as if they were explicitly given. This in turn entirely removes the need for using UVM_SEQUENCER_WORKAROUND. This fixes #4497

@ArturBieniek4 ArturBieniek4 changed the title Resolve default params upon instantiation or reference Resolve default params upon instantiation or reference, fix #4497 Sep 5, 2025
@ArturBieniek4

Copy link
Copy Markdown
Member Author

After this, all uvm_todo files seem unnecessary, but they still differ a bit from uvm_all, so I kept them.

@kbieganski
kbieganski marked this pull request as draft September 5, 2025 21:58
@kbieganski

kbieganski commented Sep 5, 2025

Copy link
Copy Markdown
Member

This one needs a bit more work, marking as draft.

This needs to be merged after #6396.

@wsnyder

wsnyder commented Sep 5, 2025

Copy link
Copy Markdown
Member

FWIW my expectation before this was made had been the real fix is to keep the unparam modules around (#4497). But I wanted to review this as it's certainly possible it's an improvement, but welcome your comments as to if you think #4497 is really the full story. Perhaps you might consider work on that one as it's a super-blocker - at least to the point to see if this one's approach is still needed with that one. Thanks

@kbieganski

Copy link
Copy Markdown
Member

Can you elaborate on the "keeping unparam modules around"? Not sure I understand, that issue doesn't describe a solution.

@wsnyder

wsnyder commented Sep 6, 2025

Copy link
Copy Markdown
Member

Yes, was missing a writeup! Done, see #4497.

@kbieganski
kbieganski marked this pull request as ready for review September 6, 2025 19:34
@RRozak

RRozak commented Sep 8, 2025

Copy link
Copy Markdown
Member

I agree that original class nodes should be kept unchanged through the whole V3Param stage, but I don't think it will solve problems like the ones with uvm_sequencer type. The following example doesn't use the class specialization with default values of all parameters, but the problem occurs also in its case:

class Sequencer #(
    parameter type P,
    R = P
);
endclass

class Cls;
endclass

module t;
  Sequencer #(Cls) s = new;
  Sequencer #(Cls, Cls) r = new;
  initial begin
    s = r;
  end
endmodule

These problems are rather because overridden values of parameters are handled (especially hashed) in a different way than the default ones.
This PR fixes it by inserting parameter values directly to class references in which some parameter values are missing (left default). These class reference nodes are the same as if values of their parameters were explicitly given in the source code.

@wsnyder

wsnyder commented Sep 8, 2025

Copy link
Copy Markdown
Member

Ok, is this good to go? Perhaps merge in master again & tag with pr: rtlmeter just to make sure there's no breakage (I realize it won't harm performance)? Thanks

Comment thread test_regress/t/t_class_defaultparams.v
Comment thread test_regress/t/t_class_defaultparams.py
@ArturBieniek4

Copy link
Copy Markdown
Member Author

Yes, this will be good to go - I will merge in master now and address your suggestions. I believe I have no permissions to tag with rtlmeter.

@wsnyder wsnyder added the pr: rtlmeter Run RTLMeter workflow on PR label Sep 8, 2025
@verilator-ci

verilator-ci Bot commented Sep 8, 2025

Copy link
Copy Markdown

Performance metrics for PR workflow #408 (B) compared to scheduled run #403 (A) from 2025-09-08T02:35:46Z:

verilate - Elapsed time [s] - lower is better
╒═══════════════════════════╤════╤════╤══════════════════╤══════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │           Mean A │           Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │ 207.73           │ 204.52           │      1.02x │         │
│ OpenPiton:1x1             │  1 │  1 │   7.18           │   7.24           │      0.99x │         │
│ OpenPiton:2x2             │  1 │  1 │  19.58           │  19.02           │      1.03x │         │
│ OpenPiton:4x4             │  1 │  1 │  59.30           │  57.39           │      1.03x │         │
│ OpenTitan:default         │  1 │  1 │  49.77           │  48.40           │      1.03x │         │
│ VeeR-EH1:asic             │  1 │  1 │   3.77           │   3.77           │      1.00x │         │
│ VeeR-EH1:default          │  1 │  1 │   3.61           │   3.73           │      0.97x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │  10.97           │  10.57           │      1.04x │         │
│ VeeR-EH2:asic             │  1 │  1 │  12.80           │  12.15           │      1.05x │         │
│ VeeR-EH2:default          │  1 │  1 │  11.56           │  11.56           │      1.00x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │  28.38           │  23.50           │      1.21x │         │
│ VeeR-EL2:asic             │  1 │  1 │   6.44           │   6.70           │      0.96x │         │
│ VeeR-EL2:default          │  1 │  1 │   5.75           │   6.05           │      0.95x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │   7.86           │   8.13           │      0.97x │         │
│ Vortex:mini               │  1 │  1 │   4.57           │   4.77           │      0.96x │         │
│ Vortex:sane               │  1 │  1 │  28.33           │  29.96           │      0.95x │         │
│ XiangShan:default-chisel3 │  1 │  1 │ 184.16           │ 186.80           │      0.99x │         │
│ XiangShan:default-chisel6 │  1 │  1 │ 135.67           │ 132.52           │      1.02x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │  65.32           │  64.10           │      1.02x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │  45.67           │  47.30           │      0.97x │         │
│ XuanTie-C906:default      │  1 │  1 │  10.83           │  10.59           │      1.02x │         │
│ XuanTie-C910:default      │  1 │  1 │  60.22           │  61.12           │      0.99x │         │
│ XuanTie-E902:default      │  1 │  1 │   3.01           │   2.85           │      1.06x │         │
│ XuanTie-E906:default      │  1 │  1 │   6.19           │   5.98           │      1.04x │         │
╞═══════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                  │                  │      1.01x │         │
╘═══════════════════════════╧════╧════╧══════════════════╧══════════════════╧════════════╧═════════╛
verilate - Peak memory [MB] - lower is better
╒═══════════════════════════╤════╤════╤════════════════════╤════════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │             Mean A │             Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪════════════════════╪════════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │ 10824.52           │ 10829.11           │      1.00x │         │
│ OpenPiton:1x1             │  1 │  1 │   300.20           │   302.71           │      0.99x │         │
│ OpenPiton:2x2             │  1 │  1 │   746.96           │   750.42           │      1.00x │         │
│ OpenPiton:4x4             │  1 │  1 │  2507.97           │  2509.17           │      1.00x │         │
│ OpenTitan:default         │  1 │  1 │  1549.16           │  1555.85           │      1.00x │         │
│ VeeR-EH1:asic             │  1 │  1 │   179.95           │   182.24           │      0.99x │         │
│ VeeR-EH1:default          │  1 │  1 │   182.02           │   180.82           │      1.01x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │   361.56           │   359.01           │      1.01x │         │
│ VeeR-EH2:asic             │  1 │  1 │   428.04           │   427.95           │      1.00x │         │
│ VeeR-EH2:default          │  1 │  1 │   411.02           │   414.21           │      0.99x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │   703.03           │   702.60           │      1.00x │         │
│ VeeR-EL2:asic             │  1 │  1 │   261.11           │   260.31           │      1.00x │         │
│ VeeR-EL2:default          │  1 │  1 │   252.99           │   252.32           │      1.00x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │   366.81           │   365.66           │      1.00x │         │
│ Vortex:mini               │  1 │  1 │   430.80           │   430.10           │      1.00x │         │
│ Vortex:sane               │  1 │  1 │  1053.61           │  1055.12           │      1.00x │         │
│ XiangShan:default-chisel3 │  1 │  1 │  6059.75           │  6055.90           │      1.00x │         │
│ XiangShan:default-chisel6 │  1 │  1 │  4460.64           │  4463.94           │      1.00x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │  2653.79           │  2653.03           │      1.00x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │  1891.64           │  1890.24           │      1.00x │         │
│ XuanTie-C906:default      │  1 │  1 │   444.70           │   443.20           │      1.00x │         │
│ XuanTie-C910:default      │  1 │  1 │  2494.30           │  2491.67           │      1.00x │         │
│ XuanTie-E902:default      │  1 │  1 │   119.30           │   116.60           │      1.02x │         │
│ XuanTie-E906:default      │  1 │  1 │   256.75           │   256.40           │      1.00x │         │
╞═══════════════════════════╪════╪════╪════════════════════╪════════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                    │                    │      1.00x │         │
╘═══════════════════════════╧════╧════╧════════════════════╧════════════════════╧════════════╧═════════╛
execute - Sim speed [kHz] - higher is better
╒══════════════════════════════════════╤════╤════╤══════════════════╤══════════════════╤════════════╤═════════╕
│ Case                                 │ #A │ #B │           Mean A │           Mean B │ Gain (B/A) │ p-value │
╞══════════════════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ NVDLA:default:anet                   │  1 │  1 │   0.34           │   0.42           │      1.22x │         │
│ NVDLA:default:conv                   │  1 │  1 │   0.54           │   0.60           │      1.11x │         │
│ NVDLA:default:gnet                   │  1 │  1 │   0.40           │   0.45           │      1.12x │         │
│ NVDLA:default:hello                  │  1 │  1 │   0.44           │   0.45           │      1.00x │         │
│ NVDLA:default:pool                   │  1 │  1 │   0.66           │   0.67           │      1.01x │         │
│ NVDLA:default:relu                   │  1 │  1 │   0.65           │   0.66           │      1.01x │         │
│ OpenPiton:1x1:dhry                   │  1 │  1 │  19.42           │  18.71           │      0.96x │         │
│ OpenPiton:1x1:fib                    │  1 │  1 │  20.58           │  20.25           │      0.98x │         │
│ OpenPiton:1x1:hello                  │  1 │  1 │  23.74           │  22.61           │      0.95x │         │
│ OpenPiton:1x1:token                  │  1 │  1 │  20.90           │  20.15           │      0.96x │         │
│ OpenPiton:2x2:dhry                   │  1 │  1 │   4.34           │   4.28           │      0.99x │         │
│ OpenPiton:2x2:fib                    │  1 │  1 │   4.44           │   4.41           │      0.99x │         │
│ OpenPiton:2x2:hello                  │  1 │  1 │   4.75           │   4.75           │      1.00x │         │
│ OpenPiton:2x2:token                  │  1 │  1 │   4.47           │   4.43           │      0.99x │         │
│ OpenPiton:4x4:dhry                   │  1 │  1 │   1.06           │   1.06           │      1.00x │         │
│ OpenPiton:4x4:fib                    │  1 │  1 │   1.01           │   1.02           │      1.00x │         │
│ OpenPiton:4x4:hello                  │  1 │  1 │   1.04           │   1.05           │      1.00x │         │
│ OpenPiton:4x4:token                  │  1 │  1 │   1.04           │   1.04           │      1.00x │         │
│ OpenTitan:default:aes                │  1 │  1 │   2.96           │   2.98           │      1.01x │         │
│ OpenTitan:default:cmark              │  1 │  1 │   2.99           │   2.97           │      0.99x │         │
│ OpenTitan:default:hello              │  1 │  1 │   3.04           │   3.05           │      1.00x │         │
│ OpenTitan:default:rsa                │  1 │  1 │   2.96           │   2.96           │      1.00x │         │
│ OpenTitan:default:sha                │  1 │  1 │   2.98           │   2.98           │      1.00x │         │
│ VeeR-EH1:asic:cmark                  │  1 │  1 │  76.95           │  73.51           │      0.96x │         │
│ VeeR-EH1:asic:cmark_iccm             │  1 │  1 │  73.44           │  74.70           │      1.02x │         │
│ VeeR-EH1:asic:dhry                   │  1 │  1 │  73.61           │  72.94           │      0.99x │         │
│ VeeR-EH1:asic:hello                  │  1 │  1 │ 104.40           │ 104.40           │      1.00x │         │
│ VeeR-EH1:default:cmark               │  1 │  1 │ 124.25           │ 121.05           │      0.97x │         │
│ VeeR-EH1:default:cmark_iccm          │  1 │  1 │ 119.22           │ 118.53           │      0.99x │         │
│ VeeR-EH1:default:dhry                │  1 │  1 │ 123.62           │ 120.19           │      0.97x │         │
│ VeeR-EH1:default:hello               │  1 │  1 │ 104.40           │ 104.40           │      1.00x │         │
│ VeeR-EH1:hiperf:cmark                │  1 │  1 │  41.28           │  40.67           │      0.99x │         │
│ VeeR-EH1:hiperf:cmark_iccm           │  1 │  1 │  40.10           │  40.50           │      1.01x │         │
│ VeeR-EH1:hiperf:dhry                 │  1 │  1 │  40.24           │  39.85           │      0.99x │         │
│ VeeR-EH1:hiperf:hello                │  1 │  1 │  35.60           │  35.60           │      1.00x │         │
│ VeeR-EH2:asic:cmark                  │  1 │  1 │   6.31           │   6.37           │      1.01x │         │
│ VeeR-EH2:asic:cmark_iccm             │  1 │  1 │   6.12           │   5.89           │      0.96x │         │
│ VeeR-EH2:asic:cmark_iccm_mt          │  1 │  1 │   5.95           │   6.11           │      1.03x │         │
│ VeeR-EH2:asic:cmark_mt               │  1 │  1 │   6.20           │   6.09           │      0.98x │         │
│ VeeR-EH2:asic:dhry                   │  1 │  1 │   6.03           │   6.07           │      1.01x │         │
│ VeeR-EH2:asic:dhry_mt                │  1 │  1 │   5.85           │   6.00           │      1.03x │         │
│ VeeR-EH2:asic:hello                  │  1 │  1 │   5.81           │   6.12           │      1.05x │         │
│ VeeR-EH2:default:cmark               │  1 │  1 │  26.55           │  26.16           │      0.99x │         │
│ VeeR-EH2:default:cmark_iccm          │  1 │  1 │  26.82           │  26.15           │      0.98x │         │
│ VeeR-EH2:default:cmark_iccm_mt       │  1 │  1 │  26.26           │  26.17           │      1.00x │         │
│ VeeR-EH2:default:cmark_mt            │  1 │  1 │  26.11           │  25.55           │      0.98x │         │
│ VeeR-EH2:default:dhry                │  1 │  1 │  26.20           │  25.66           │      0.98x │         │
│ VeeR-EH2:default:dhry_mt             │  1 │  1 │  26.00           │  26.13           │      1.01x │         │
│ VeeR-EH2:default:hello               │  1 │  1 │  25.83           │  25.83           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark                │  1 │  1 │  10.39           │  10.66           │      1.03x │         │
│ VeeR-EH2:hiperf:cmark_iccm           │  1 │  1 │  10.37           │  10.70           │      1.03x │         │
│ VeeR-EH2:hiperf:cmark_iccm_mt        │  1 │  1 │  10.54           │  10.61           │      1.01x │         │
│ VeeR-EH2:hiperf:cmark_mt             │  1 │  1 │  10.33           │  10.54           │      1.02x │         │
│ VeeR-EH2:hiperf:dhry                 │  1 │  1 │  10.32           │  10.57           │      1.02x │         │
│ VeeR-EH2:hiperf:dhry_mt              │  1 │  1 │  10.35           │  10.58           │      1.02x │         │
│ VeeR-EH2:hiperf:hello                │  1 │  1 │  10.21           │  10.21           │      1.00x │         │
│ VeeR-EL2:asic:cmark                  │  1 │  1 │  21.86           │  22.32           │      1.02x │         │
│ VeeR-EL2:asic:cmark_iccm             │  1 │  1 │  23.52           │  24.25           │      1.03x │         │
│ VeeR-EL2:asic:dhry                   │  1 │  1 │  22.63           │  23.02           │      1.02x │         │
│ VeeR-EL2:asic:hello                  │  1 │  1 │  20.26           │  20.26           │      1.00x │         │
│ VeeR-EL2:default:cmark               │  1 │  1 │  73.45           │  74.57           │      1.02x │         │
│ VeeR-EL2:default:cmark_iccm          │  1 │  1 │  75.25           │  75.46           │      1.00x │         │
│ VeeR-EL2:default:dhry                │  1 │  1 │  75.06           │  75.65           │      1.01x │         │
│ VeeR-EL2:default:hello               │  1 │  1 │  74.30           │  74.30           │      1.00x │         │
│ VeeR-EL2:hiperf:cmark                │  1 │  1 │  47.37           │  47.10           │      0.99x │         │
│ VeeR-EL2:hiperf:cmark_iccm           │  1 │  1 │  48.10           │  49.92           │      1.04x │         │
│ VeeR-EL2:hiperf:dhry                 │  1 │  1 │  49.40           │  49.38           │      1.00x │         │
│ VeeR-EL2:hiperf:hello                │  1 │  1 │  44.62           │  44.62           │      1.00x │         │
│ Vortex:mini:hello                    │  1 │  1 │  95.11           │  87.01           │      0.91x │         │
│ Vortex:mini:saxpy                    │  1 │  1 │  89.50           │  92.52           │      1.03x │         │
│ Vortex:mini:sgemm                    │  1 │  1 │  91.91           │  92.58           │      1.01x │         │
│ Vortex:sane:hello                    │  1 │  1 │   2.79           │   2.79           │      1.00x │         │
│ Vortex:sane:saxpy                    │  1 │  1 │   2.83           │   2.81           │      0.99x │         │
│ Vortex:sane:sgemm                    │  1 │  1 │   2.79           │   2.79           │      1.00x │         │
│ XiangShan:default-chisel3:cmark      │  1 │  1 │   0.69           │   0.66           │      0.95x │         │
│ XiangShan:default-chisel3:dhry       │  1 │  1 │   0.69           │   0.65           │      0.94x │         │
│ XiangShan:default-chisel3:hello      │  1 │  1 │   0.71           │   0.71           │      1.00x │         │
│ XiangShan:default-chisel3:microbench │  1 │  1 │   0.69           │   0.65           │      0.94x │         │
│ XiangShan:default-chisel6:cmark      │  1 │  1 │   0.61           │   0.61           │      1.01x │         │
│ XiangShan:default-chisel6:dhry       │  1 │  1 │   0.62           │   0.63           │      1.02x │         │
│ XiangShan:default-chisel6:hello      │  1 │  1 │   0.62           │   0.64           │      1.04x │         │
│ XiangShan:default-chisel6:microbench │  1 │  1 │   0.63           │   0.61           │      0.97x │         │
│ XiangShan:mini-chisel3:cmark         │  1 │  1 │   2.31           │   2.31           │      1.00x │         │
│ XiangShan:mini-chisel3:dhry          │  1 │  1 │   2.31           │   2.30           │      1.00x │         │
│ XiangShan:mini-chisel3:hello         │  1 │  1 │   2.33           │   2.32           │      1.00x │         │
│ XiangShan:mini-chisel3:microbench    │  1 │  1 │   2.32           │   2.31           │      1.00x │         │
│ XiangShan:mini-chisel6:cmark         │  1 │  1 │   2.17           │   2.17           │      1.00x │         │
│ XiangShan:mini-chisel6:dhry          │  1 │  1 │   2.18           │   2.17           │      1.00x │         │
│ XiangShan:mini-chisel6:hello         │  1 │  1 │   2.17           │   2.16           │      1.00x │         │
│ XiangShan:mini-chisel6:microbench    │  1 │  1 │   2.17           │   2.17           │      1.00x │         │
│ XuanTie-C906:default:cmark           │  1 │  1 │  26.12           │  26.19           │      1.00x │         │
│ XuanTie-C906:default:hello           │  1 │  1 │   9.50           │   9.78           │      1.03x │         │
│ XuanTie-C906:default:memcpy          │  1 │  1 │  26.47           │  26.32           │      0.99x │         │
│ XuanTie-C910:default:cmark           │  1 │  1 │   1.60           │   1.59           │      1.00x │         │
│ XuanTie-C910:default:hello           │  1 │  1 │   1.47           │   1.45           │      0.99x │         │
│ XuanTie-C910:default:memcpy          │  1 │  1 │   1.59           │   1.61           │      1.01x │         │
│ XuanTie-E902:default:cmark           │  1 │  1 │  20.97           │  21.07           │      1.01x │         │
│ XuanTie-E902:default:hello           │  1 │  1 │  20.74           │  19.97           │      0.96x │         │
│ XuanTie-E902:default:memcpy          │  1 │  1 │  18.52           │  18.57           │      1.00x │         │
│ XuanTie-E906:default:cmark           │  1 │  1 │  13.76           │  13.61           │      0.99x │         │
│ XuanTie-E906:default:hello           │  1 │  1 │  23.37           │  23.37           │      1.00x │         │
│ XuanTie-E906:default:memcpy          │  1 │  1 │  12.61           │  12.60           │      1.00x │         │
╞══════════════════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ Geometric mean                       │    │    │                  │                  │      1.00x │         │
╘══════════════════════════════════════╧════╧════╧══════════════════╧══════════════════╧════════════╧═════════╛
execute - Peak memory [MB] - lower is better
╒══════════════════════════════════════╤════╤════╤═══════════════════╤═══════════════════╤════════════╤═════════╕
│ Case                                 │ #A │ #B │            Mean A │            Mean B │ Gain (A/B) │ p-value │
╞══════════════════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ NVDLA:default:anet                   │  1 │  1 │ 1238.66           │ 1238.62           │      1.00x │         │
│ NVDLA:default:conv                   │  1 │  1 │ 1238.60           │ 1238.65           │      1.00x │         │
│ NVDLA:default:gnet                   │  1 │  1 │ 1238.60           │ 1238.44           │      1.00x │         │
│ NVDLA:default:hello                  │  1 │  1 │ 1238.51           │ 1238.51           │      1.00x │         │
│ NVDLA:default:pool                   │  1 │  1 │ 1238.34           │ 1238.64           │      1.00x │         │
│ NVDLA:default:relu                   │  1 │  1 │ 1238.55           │ 1238.62           │      1.00x │         │
│ OpenPiton:1x1:dhry                   │  1 │  1 │    7.58           │    7.53           │      1.01x │         │
│ OpenPiton:1x1:fib                    │  1 │  1 │    7.70           │    7.58           │      1.02x │         │
│ OpenPiton:1x1:hello                  │  1 │  1 │    7.71           │    7.68           │      1.00x │         │
│ OpenPiton:1x1:token                  │  1 │  1 │    7.57           │    7.58           │      1.00x │         │
│ OpenPiton:2x2:dhry                   │  1 │  1 │   13.68           │   13.72           │      1.00x │         │
│ OpenPiton:2x2:fib                    │  1 │  1 │   14.72           │   14.69           │      1.00x │         │
│ OpenPiton:2x2:hello                  │  1 │  1 │   13.72           │   13.70           │      1.00x │         │
│ OpenPiton:2x2:token                  │  1 │  1 │   13.70           │   13.76           │      1.00x │         │
│ OpenPiton:4x4:dhry                   │  1 │  1 │   42.01           │   42.12           │      1.00x │         │
│ OpenPiton:4x4:fib                    │  1 │  1 │   43.20           │   43.21           │      1.00x │         │
│ OpenPiton:4x4:hello                  │  1 │  1 │   42.18           │   42.12           │      1.00x │         │
│ OpenPiton:4x4:token                  │  1 │  1 │   42.12           │   42.10           │      1.00x │         │
│ OpenTitan:default:aes                │  1 │  1 │   23.16           │   23.02           │      1.01x │         │
│ OpenTitan:default:cmark              │  1 │  1 │   22.96           │   23.01           │      1.00x │         │
│ OpenTitan:default:hello              │  1 │  1 │   22.92           │   23.00           │      1.00x │         │
│ OpenTitan:default:rsa                │  1 │  1 │   23.16           │   23.08           │      1.00x │         │
│ OpenTitan:default:sha                │  1 │  1 │   23.03           │   23.01           │      1.00x │         │
│ VeeR-EH1:asic:cmark                  │  1 │  1 │   10.07           │   10.04           │      1.00x │         │
│ VeeR-EH1:asic:cmark_iccm             │  1 │  1 │   10.22           │   10.15           │      1.01x │         │
│ VeeR-EH1:asic:dhry                   │  1 │  1 │    7.92           │    8.02           │      0.99x │         │
│ VeeR-EH1:asic:hello                  │  1 │  1 │    6.36           │    6.30           │      1.01x │         │
│ VeeR-EH1:default:cmark               │  1 │  1 │   10.06           │   10.04           │      1.00x │         │
│ VeeR-EH1:default:cmark_iccm          │  1 │  1 │   10.05           │   10.12           │      0.99x │         │
│ VeeR-EH1:default:dhry                │  1 │  1 │    7.99           │    7.88           │      1.01x │         │
│ VeeR-EH1:default:hello               │  1 │  1 │    6.39           │    6.27           │      1.02x │         │
│ VeeR-EH1:hiperf:cmark                │  1 │  1 │   11.58           │   11.64           │      1.00x │         │
│ VeeR-EH1:hiperf:cmark_iccm           │  1 │  1 │   11.82           │   11.81           │      1.00x │         │
│ VeeR-EH1:hiperf:dhry                 │  1 │  1 │    9.63           │    9.61           │      1.00x │         │
│ VeeR-EH1:hiperf:hello                │  1 │  1 │    7.88           │    7.89           │      1.00x │         │
│ VeeR-EH2:asic:cmark                  │  1 │  1 │   11.86           │   11.86           │      1.00x │         │
│ VeeR-EH2:asic:cmark_iccm             │  1 │  1 │   12.38           │   12.38           │      1.00x │         │
│ VeeR-EH2:asic:cmark_iccm_mt          │  1 │  1 │   12.44           │   12.38           │      1.01x │         │
│ VeeR-EH2:asic:cmark_mt               │  1 │  1 │   12.01           │   12.07           │      1.00x │         │
│ VeeR-EH2:asic:dhry                   │  1 │  1 │    9.64           │    9.58           │      1.01x │         │
│ VeeR-EH2:asic:dhry_mt                │  1 │  1 │    9.94           │    9.91           │      1.00x │         │
│ VeeR-EH2:asic:hello                  │  1 │  1 │    8.37           │    8.32           │      1.01x │         │
│ VeeR-EH2:default:cmark               │  1 │  1 │   11.45           │   11.47           │      1.00x │         │
│ VeeR-EH2:default:cmark_iccm          │  1 │  1 │   11.82           │   11.90           │      0.99x │         │
│ VeeR-EH2:default:cmark_iccm_mt       │  1 │  1 │   11.98           │   11.97           │      1.00x │         │
│ VeeR-EH2:default:cmark_mt            │  1 │  1 │   11.56           │   11.60           │      1.00x │         │
│ VeeR-EH2:default:dhry                │  1 │  1 │    9.11           │    9.18           │      0.99x │         │
│ VeeR-EH2:default:dhry_mt             │  1 │  1 │    9.48           │    9.43           │      1.00x │         │
│ VeeR-EH2:default:hello               │  1 │  1 │    7.89           │    7.88           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark                │  1 │  1 │   14.36           │   14.38           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark_iccm           │  1 │  1 │   14.80           │   14.80           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark_iccm_mt        │  1 │  1 │   15.01           │   14.89           │      1.01x │         │
│ VeeR-EH2:hiperf:cmark_mt             │  1 │  1 │   14.30           │   14.54           │      0.98x │         │
│ VeeR-EH2:hiperf:dhry                 │  1 │  1 │   12.11           │   12.13           │      1.00x │         │
│ VeeR-EH2:hiperf:dhry_mt              │  1 │  1 │   12.56           │   12.57           │      1.00x │         │
│ VeeR-EH2:hiperf:hello                │  1 │  1 │   10.64           │   10.84           │      0.98x │         │
│ VeeR-EL2:asic:cmark                  │  1 │  1 │   13.08           │   13.16           │      0.99x │         │
│ VeeR-EL2:asic:cmark_iccm             │  1 │  1 │    9.72           │    9.87           │      0.98x │         │
│ VeeR-EL2:asic:dhry                   │  1 │  1 │    7.34           │    7.28           │      1.01x │         │
│ VeeR-EL2:asic:hello                  │  1 │  1 │    6.04           │    6.23           │      0.97x │         │
│ VeeR-EL2:default:cmark               │  1 │  1 │   12.57           │   12.60           │      1.00x │         │
│ VeeR-EL2:default:cmark_iccm          │  1 │  1 │    9.37           │    9.46           │      0.99x │         │
│ VeeR-EL2:default:dhry                │  1 │  1 │    6.97           │    7.02           │      0.99x │         │
│ VeeR-EL2:default:hello               │  1 │  1 │    5.83           │    5.81           │      1.00x │         │
│ VeeR-EL2:hiperf:cmark                │  1 │  1 │   13.19           │   13.04           │      1.01x │         │
│ VeeR-EL2:hiperf:cmark_iccm           │  1 │  1 │    9.93           │   10.02           │      0.99x │         │
│ VeeR-EL2:hiperf:dhry                 │  1 │  1 │    7.55           │    7.51           │      1.01x │         │
│ VeeR-EL2:hiperf:hello                │  1 │  1 │    6.41           │    6.40           │      1.00x │         │
│ Vortex:mini:hello                    │  1 │  1 │    5.81           │    5.78           │      1.00x │         │
│ Vortex:mini:saxpy                    │  1 │  1 │    6.22           │    6.26           │      0.99x │         │
│ Vortex:mini:sgemm                    │  1 │  1 │    6.14           │    6.08           │      1.01x │         │
│ Vortex:sane:hello                    │  1 │  1 │   19.07           │   19.16           │      1.00x │         │
│ Vortex:sane:saxpy                    │  1 │  1 │   19.59           │   19.42           │      1.01x │         │
│ Vortex:sane:sgemm                    │  1 │  1 │   19.36           │   19.35           │      1.00x │         │
│ XiangShan:default-chisel3:cmark      │  1 │  1 │   82.64           │   82.41           │      1.00x │         │
│ XiangShan:default-chisel3:dhry       │  1 │  1 │   82.59           │   82.59           │      1.00x │         │
│ XiangShan:default-chisel3:hello      │  1 │  1 │   82.54           │   82.58           │      1.00x │         │
│ XiangShan:default-chisel3:microbench │  1 │  1 │   82.64           │   82.50           │      1.00x │         │
│ XiangShan:default-chisel6:cmark      │  1 │  1 │   76.52           │   76.68           │      1.00x │         │
│ XiangShan:default-chisel6:dhry       │  1 │  1 │   76.72           │   76.54           │      1.00x │         │
│ XiangShan:default-chisel6:hello      │  1 │  1 │   76.50           │   76.42           │      1.00x │         │
│ XiangShan:default-chisel6:microbench │  1 │  1 │   76.58           │   76.57           │      1.00x │         │
│ XiangShan:mini-chisel3:cmark         │  1 │  1 │   23.82           │   23.82           │      1.00x │         │
│ XiangShan:mini-chisel3:dhry          │  1 │  1 │   23.85           │   23.81           │      1.00x │         │
│ XiangShan:mini-chisel3:hello         │  1 │  1 │   23.86           │   23.81           │      1.00x │         │
│ XiangShan:mini-chisel3:microbench    │  1 │  1 │   23.79           │   23.81           │      1.00x │         │
│ XiangShan:mini-chisel6:cmark         │  1 │  1 │   23.48           │   23.54           │      1.00x │         │
│ XiangShan:mini-chisel6:dhry          │  1 │  1 │   23.47           │   23.44           │      1.00x │         │
│ XiangShan:mini-chisel6:hello         │  1 │  1 │   23.41           │   23.47           │      1.00x │         │
│ XiangShan:mini-chisel6:microbench    │  1 │  1 │   23.52           │   23.43           │      1.00x │         │
│ XuanTie-C906:default:cmark           │  1 │  1 │   40.68           │   40.60           │      1.00x │         │
│ XuanTie-C906:default:hello           │  1 │  1 │   40.56           │   40.55           │      1.00x │         │
│ XuanTie-C906:default:memcpy          │  1 │  1 │   40.60           │   40.62           │      1.00x │         │
│ XuanTie-C910:default:cmark           │  1 │  1 │   62.38           │   62.42           │      1.00x │         │
│ XuanTie-C910:default:hello           │  1 │  1 │   62.38           │   62.25           │      1.00x │         │
│ XuanTie-C910:default:memcpy          │  1 │  1 │   62.40           │   62.40           │      1.00x │         │
│ XuanTie-E902:default:cmark           │  1 │  1 │    5.75           │    5.80           │      0.99x │         │
│ XuanTie-E902:default:hello           │  1 │  1 │    5.68           │    5.80           │      0.98x │         │
│ XuanTie-E902:default:memcpy          │  1 │  1 │    5.80           │    5.63           │      1.03x │         │
│ XuanTie-E906:default:cmark           │  1 │  1 │    7.23           │    7.18           │      1.01x │         │
│ XuanTie-E906:default:hello           │  1 │  1 │    7.18           │    7.22           │      0.99x │         │
│ XuanTie-E906:default:memcpy          │  1 │  1 │    7.19           │    7.23           │      0.99x │         │
╞══════════════════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ Geometric mean                       │    │    │                   │                   │      1.00x │         │
╘══════════════════════════════════════╧════╧════╧═══════════════════╧═══════════════════╧════════════╧═════════╛
execute - Elapsed time [s] - lower is better
╒══════════════════════════════════════╤════╤════╤══════════════════╤══════════════════╤════════════╤═════════╕
│ Case                                 │ #A │ #B │           Mean A │           Mean B │ Gain (A/B) │ p-value │
╞══════════════════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ NVDLA:default:anet                   │  1 │  1 │ 460.45           │ 376.25           │      1.22x │         │
│ NVDLA:default:conv                   │  1 │  1 │ 127.68           │ 115.35           │      1.11x │         │
│ NVDLA:default:gnet                   │  1 │  1 │ 121.45           │ 108.20           │      1.12x │         │
│ NVDLA:default:hello                  │  1 │  1 │   5.40           │   5.38           │      1.00x │         │
│ NVDLA:default:pool                   │  1 │  1 │ 123.72           │ 122.89           │      1.01x │         │
│ NVDLA:default:relu                   │  1 │  1 │ 124.37           │ 122.96           │      1.01x │         │
│ OpenPiton:1x1:dhry                   │  1 │  1 │  82.85           │  86.02           │      0.96x │         │
│ OpenPiton:1x1:fib                    │  1 │  1 │  82.80           │  84.17           │      0.98x │         │
│ OpenPiton:1x1:hello                  │  1 │  1 │   0.20           │   0.21           │      0.95x │         │
│ OpenPiton:1x1:token                  │  1 │  1 │  80.84           │  83.85           │      0.96x │         │
│ OpenPiton:2x2:dhry                   │  1 │  1 │ 103.34           │ 104.84           │      0.99x │         │
│ OpenPiton:2x2:fib                    │  1 │  1 │ 105.82           │ 106.52           │      0.99x │         │
│ OpenPiton:2x2:hello                  │  1 │  1 │   1.39           │   1.39           │      1.00x │         │
│ OpenPiton:2x2:token                  │  1 │  1 │ 107.48           │ 108.31           │      0.99x │         │
│ OpenPiton:4x4:dhry                   │  1 │  1 │ 105.61           │ 105.46           │      1.00x │         │
│ OpenPiton:4x4:fib                    │  1 │  1 │  98.93           │  98.65           │      1.00x │         │
│ OpenPiton:4x4:hello                  │  1 │  1 │  17.71           │  17.69           │      1.00x │         │
│ OpenPiton:4x4:token                  │  1 │  1 │  94.49           │  94.52           │      1.00x │         │
│ OpenTitan:default:aes                │  1 │  1 │ 252.00           │ 250.10           │      1.01x │         │
│ OpenTitan:default:cmark              │  1 │  1 │ 289.44           │ 291.13           │      0.99x │         │
│ OpenTitan:default:hello              │  1 │  1 │  33.83           │  33.69           │      1.00x │         │
│ OpenTitan:default:rsa                │  1 │  1 │ 263.48           │ 263.73           │      1.00x │         │
│ OpenTitan:default:sha                │  1 │  1 │ 254.80           │ 254.57           │      1.00x │         │
│ VeeR-EH1:asic:cmark                  │  1 │  1 │  86.53           │  90.58           │      0.96x │         │
│ VeeR-EH1:asic:cmark_iccm             │  1 │  1 │  89.07           │  87.56           │      1.02x │         │
│ VeeR-EH1:asic:dhry                   │  1 │  1 │  89.26           │  90.08           │      0.99x │         │
│ VeeR-EH1:asic:hello                  │  1 │  1 │   0.01           │   0.01           │      1.00x │         │
│ VeeR-EH1:default:cmark               │  1 │  1 │  89.15           │  91.51           │      0.97x │         │
│ VeeR-EH1:default:cmark_iccm          │  1 │  1 │  94.51           │  95.06           │      0.99x │         │
│ VeeR-EH1:default:dhry                │  1 │  1 │  91.72           │  94.34           │      0.97x │         │
│ VeeR-EH1:default:hello               │  1 │  1 │   0.01           │   0.01           │      1.00x │         │
│ VeeR-EH1:hiperf:cmark                │  1 │  1 │ 130.46           │ 132.42           │      0.99x │         │
│ VeeR-EH1:hiperf:cmark_iccm           │  1 │  1 │ 127.87           │ 126.61           │      1.01x │         │
│ VeeR-EH1:hiperf:dhry                 │  1 │  1 │ 130.65           │ 131.92           │      0.99x │         │
│ VeeR-EH1:hiperf:hello                │  1 │  1 │   0.03           │   0.03           │      1.00x │         │
│ VeeR-EH2:asic:cmark                  │  1 │  1 │ 158.87           │ 157.47           │      1.01x │         │
│ VeeR-EH2:asic:cmark_iccm             │  1 │  1 │ 106.84           │ 110.85           │      0.96x │         │
│ VeeR-EH2:asic:cmark_iccm_mt          │  1 │  1 │ 158.77           │ 154.65           │      1.03x │         │
│ VeeR-EH2:asic:cmark_mt               │  1 │  1 │ 180.40           │ 183.56           │      0.98x │         │
│ VeeR-EH2:asic:dhry                   │  1 │  1 │ 110.39           │ 109.68           │      1.01x │         │
│ VeeR-EH2:asic:dhry_mt                │  1 │  1 │ 108.31           │ 105.49           │      1.03x │         │
│ VeeR-EH2:asic:hello                  │  1 │  1 │   0.40           │   0.38           │      1.05x │         │
│ VeeR-EH2:default:cmark               │  1 │  1 │  74.48           │  75.60           │      0.99x │         │
│ VeeR-EH2:default:cmark_iccm          │  1 │  1 │  72.03           │  73.87           │      0.98x │         │
│ VeeR-EH2:default:cmark_iccm_mt       │  1 │  1 │  71.23           │  71.48           │      1.00x │         │
│ VeeR-EH2:default:cmark_mt            │  1 │  1 │  84.47           │  86.33           │      0.98x │         │
│ VeeR-EH2:default:dhry                │  1 │  1 │  74.27           │  75.83           │      0.98x │         │
│ VeeR-EH2:default:dhry_mt             │  1 │  1 │  72.02           │  71.65           │      1.01x │         │
│ VeeR-EH2:default:hello               │  1 │  1 │   0.09           │   0.09           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark                │  1 │  1 │  95.85           │  93.43           │      1.03x │         │
│ VeeR-EH2:hiperf:cmark_iccm           │  1 │  1 │ 102.52           │  99.33           │      1.03x │         │
│ VeeR-EH2:hiperf:cmark_iccm_mt        │  1 │  1 │ 117.65           │ 116.89           │      1.01x │         │
│ VeeR-EH2:hiperf:cmark_mt             │  1 │  1 │ 107.36           │ 105.16           │      1.02x │         │
│ VeeR-EH2:hiperf:dhry                 │  1 │  1 │  93.68           │  91.43           │      1.02x │         │
│ VeeR-EH2:hiperf:dhry_mt              │  1 │  1 │  91.53           │  89.60           │      1.02x │         │
│ VeeR-EH2:hiperf:hello                │  1 │  1 │   0.23           │   0.23           │      1.00x │         │
│ VeeR-EL2:asic:cmark                  │  1 │  1 │ 104.12           │ 101.99           │      1.02x │         │
│ VeeR-EL2:asic:cmark_iccm             │  1 │  1 │ 105.29           │ 102.09           │      1.03x │         │
│ VeeR-EL2:asic:dhry                   │  1 │  1 │ 106.22           │ 104.42           │      1.02x │         │
│ VeeR-EL2:asic:hello                  │  1 │  1 │   0.11           │   0.11           │      1.00x │         │
│ VeeR-EL2:default:cmark               │  1 │  1 │  71.86           │  70.78           │      1.02x │         │
│ VeeR-EL2:default:cmark_iccm          │  1 │  1 │  80.08           │  79.85           │      1.00x │         │
│ VeeR-EL2:default:dhry                │  1 │  1 │  79.73           │  79.10           │      1.01x │         │
│ VeeR-EL2:default:hello               │  1 │  1 │   0.03           │   0.03           │      1.00x │         │
│ VeeR-EL2:hiperf:cmark                │  1 │  1 │  87.45           │  87.94           │      0.99x │         │
│ VeeR-EL2:hiperf:cmark_iccm           │  1 │  1 │  90.97           │  87.66           │      1.04x │         │
│ VeeR-EL2:hiperf:dhry                 │  1 │  1 │  94.21           │  94.25           │      1.00x │         │
│ VeeR-EL2:hiperf:hello                │  1 │  1 │   0.05           │   0.05           │      1.00x │         │
│ Vortex:mini:hello                    │  1 │  1 │   0.43           │   0.47           │      0.91x │         │
│ Vortex:mini:saxpy                    │  1 │  1 │  42.98           │  41.58           │      1.03x │         │
│ Vortex:mini:sgemm                    │  1 │  1 │  45.55           │  45.22           │      1.01x │         │
│ Vortex:sane:hello                    │  1 │  1 │  27.78           │  27.76           │      1.00x │         │
│ Vortex:sane:saxpy                    │  1 │  1 │  58.86           │  59.23           │      0.99x │         │
│ Vortex:sane:sgemm                    │  1 │  1 │  58.11           │  57.93           │      1.00x │         │
│ XiangShan:default-chisel3:cmark      │  1 │  1 │ 269.37           │ 284.15           │      0.95x │         │
│ XiangShan:default-chisel3:dhry       │  1 │  1 │ 211.04           │ 224.46           │      0.94x │         │
│ XiangShan:default-chisel3:hello      │  1 │  1 │  14.67           │  14.72           │      1.00x │         │
│ XiangShan:default-chisel3:microbench │  1 │  1 │ 336.57           │ 359.48           │      0.94x │         │
│ XiangShan:default-chisel6:cmark      │  1 │  1 │ 308.35           │ 304.32           │      1.01x │         │
│ XiangShan:default-chisel6:dhry       │  1 │  1 │ 234.30           │ 229.69           │      1.02x │         │
│ XiangShan:default-chisel6:hello      │  1 │  1 │  16.85           │  16.23           │      1.04x │         │
│ XiangShan:default-chisel6:microbench │  1 │  1 │ 366.48           │ 376.25           │      0.97x │         │
│ XiangShan:mini-chisel3:cmark         │  1 │  1 │ 126.85           │ 126.87           │      1.00x │         │
│ XiangShan:mini-chisel3:dhry          │  1 │  1 │ 147.81           │ 148.55           │      1.00x │         │
│ XiangShan:mini-chisel3:hello         │  1 │  1 │   2.06           │   2.07           │      1.00x │         │
│ XiangShan:mini-chisel3:microbench    │  1 │  1 │ 150.67           │ 151.14           │      1.00x │         │
│ XiangShan:mini-chisel6:cmark         │  1 │  1 │ 135.04           │ 135.25           │      1.00x │         │
│ XiangShan:mini-chisel6:dhry          │  1 │  1 │ 156.93           │ 157.46           │      1.00x │         │
│ XiangShan:mini-chisel6:hello         │  1 │  1 │   2.21           │   2.22           │      1.00x │         │
│ XiangShan:mini-chisel6:microbench    │  1 │  1 │ 162.02           │ 162.42           │      1.00x │         │
│ XuanTie-C906:default:cmark           │  1 │  1 │  98.73           │  98.46           │      1.00x │         │
│ XuanTie-C906:default:hello           │  1 │  1 │   0.35           │   0.34           │      1.03x │         │
│ XuanTie-C906:default:memcpy          │  1 │  1 │ 101.80           │ 102.38           │      0.99x │         │
│ XuanTie-C910:default:cmark           │  1 │  1 │ 125.83           │ 126.22           │      1.00x │         │
│ XuanTie-C910:default:hello           │  1 │  1 │   3.04           │   3.08           │      0.99x │         │
│ XuanTie-C910:default:memcpy          │  1 │  1 │ 146.17           │ 144.73           │      1.01x │         │
│ XuanTie-E902:default:cmark           │  1 │  1 │ 134.60           │ 133.92           │      1.01x │         │
│ XuanTie-E902:default:hello           │  1 │  1 │   0.26           │   0.27           │      0.96x │         │
│ XuanTie-E902:default:memcpy          │  1 │  1 │ 148.84           │ 148.43           │      1.00x │         │
│ XuanTie-E906:default:cmark           │  1 │  1 │ 137.50           │ 139.02           │      0.99x │         │
│ XuanTie-E906:default:hello           │  1 │  1 │   0.42           │   0.42           │      1.00x │         │
│ XuanTie-E906:default:memcpy          │  1 │  1 │ 142.25           │ 142.33           │      1.00x │         │
╞══════════════════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ Geometric mean                       │    │    │                  │                  │      1.00x │         │
╘══════════════════════════════════════╧════╧════╧══════════════════╧══════════════════╧════════════╧═════════╛
cppbuild - Elapsed time [s] - lower is better
╒═══════════════════════════╤════╤════╤══════════════════╤══════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │           Mean A │           Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │ 706.21           │ 719.80           │      0.98x │         │
│ OpenPiton:1x1             │  1 │  1 │  34.69           │  28.27           │      1.23x │         │
│ OpenPiton:2x2             │  1 │  1 │  85.36           │  83.97           │      1.02x │         │
│ OpenPiton:4x4             │  1 │  1 │ 257.27           │ 256.90           │      1.00x │         │
│ OpenTitan:default         │  1 │  1 │ 150.03           │ 138.73           │      1.08x │         │
│ VeeR-EH1:asic             │  1 │  1 │  21.95           │  14.68           │      1.50x │         │
│ VeeR-EH1:default          │  1 │  1 │  24.94           │  29.63           │      0.84x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │  46.00           │  39.82           │      1.16x │         │
│ VeeR-EH2:asic             │  1 │  1 │  40.97           │  50.25           │      0.82x │         │
│ VeeR-EH2:default          │  1 │  1 │  52.46           │  45.41           │      1.16x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │ 104.52           │  99.26           │      1.05x │         │
│ VeeR-EL2:asic             │  1 │  1 │  43.14           │  49.30           │      0.88x │         │
│ VeeR-EL2:default          │  1 │  1 │  26.03           │  32.10           │      0.81x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │  32.76           │  33.33           │      0.98x │         │
│ Vortex:mini               │  1 │  1 │  20.42           │  30.06           │      0.68x │         │
│ Vortex:sane               │  1 │  1 │ 115.88           │ 121.02           │      0.96x │         │
│ XiangShan:default-chisel3 │  1 │  1 │ 953.16           │ 966.20           │      0.99x │         │
│ XiangShan:default-chisel6 │  1 │  1 │ 822.80           │ 815.32           │      1.01x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │ 278.94           │ 276.76           │      1.01x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │ 290.42           │ 297.27           │      0.98x │         │
│ XuanTie-C906:default      │  1 │  1 │  56.31           │  52.93           │      1.06x │         │
│ XuanTie-C910:default      │  1 │  1 │ 240.64           │ 242.20           │      0.99x │         │
│ XuanTie-E902:default      │  1 │  1 │  20.31           │  25.40           │      0.80x │         │
│ XuanTie-E906:default      │  1 │  1 │  40.76           │  24.94           │      1.63x │         │
╞═══════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                  │                  │      1.01x │         │
╘═══════════════════════════╧════╧════╧══════════════════╧══════════════════╧════════════╧═════════╛
cppbuild - Peak memory [MB] - lower is better
╒═══════════════════════════╤════╤════╤═══════════════════╤═══════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │            Mean A │            Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │  782.08           │  782.18           │      1.00x │         │
│ OpenPiton:1x1             │  1 │  1 │  303.44           │  303.67           │      1.00x │         │
│ OpenPiton:2x2             │  1 │  1 │  292.30           │  292.20           │      1.00x │         │
│ OpenPiton:4x4             │  1 │  1 │  511.02           │  511.00           │      1.00x │         │
│ OpenTitan:default         │  1 │  1 │ 1250.63           │ 1250.67           │      1.00x │         │
│ VeeR-EH1:asic             │  1 │  1 │  283.44           │  283.25           │      1.00x │         │
│ VeeR-EH1:default          │  1 │  1 │  313.94           │  313.66           │      1.00x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │  469.23           │  469.27           │      1.00x │         │
│ VeeR-EH2:asic             │  1 │  1 │  526.73           │  528.61           │      1.00x │         │
│ VeeR-EH2:default          │  1 │  1 │  496.84           │  496.66           │      1.00x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │  524.19           │  523.84           │      1.00x │         │
│ VeeR-EL2:asic             │  1 │  1 │  467.55           │  466.04           │      1.00x │         │
│ VeeR-EL2:default          │  1 │  1 │  385.26           │  385.94           │      1.00x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │  357.50           │  364.22           │      0.98x │         │
│ Vortex:mini               │  1 │  1 │  347.57           │  351.14           │      0.99x │         │
│ Vortex:sane               │  1 │  1 │  463.23           │  462.50           │      1.00x │         │
│ XiangShan:default-chisel3 │  1 │  1 │  897.06           │  897.21           │      1.00x │         │
│ XiangShan:default-chisel6 │  1 │  1 │ 1191.77           │ 1192.00           │      1.00x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │  663.20           │  663.52           │      1.00x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │ 1161.74           │ 1161.41           │      1.00x │         │
│ XuanTie-C906:default      │  1 │  1 │  502.88           │  503.02           │      1.00x │         │
│ XuanTie-C910:default      │  1 │  1 │  412.91           │  413.48           │      1.00x │         │
│ XuanTie-E902:default      │  1 │  1 │  283.05           │  283.33           │      1.00x │         │
│ XuanTie-E906:default      │  1 │  1 │  324.89           │  322.75           │      1.01x │         │
╞═══════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                   │                   │      1.00x │         │
╘═══════════════════════════╧════╧════╧═══════════════════╧═══════════════════╧════════════╧═════════╛
cppbuild - CPU Total [s] - lower is better
╒═══════════════════════════╤════╤════╤═══════════════════╤═══════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │            Mean A │            Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │ 2754.26           │ 2802.39           │      0.98x │         │
│ OpenPiton:1x1             │  1 │  1 │   98.14           │  100.35           │      0.98x │         │
│ OpenPiton:2x2             │  1 │  1 │  298.87           │  296.05           │      1.01x │         │
│ OpenPiton:4x4             │  1 │  1 │  986.36           │  979.31           │      1.01x │         │
│ OpenTitan:default         │  1 │  1 │  541.18           │  541.15           │      1.00x │         │
│ VeeR-EH1:asic             │  1 │  1 │   43.84           │   44.56           │      0.98x │         │
│ VeeR-EH1:default          │  1 │  1 │   67.88           │   68.63           │      0.99x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │  141.64           │  141.04           │      1.00x │         │
│ VeeR-EH2:asic             │  1 │  1 │  145.64           │  141.83           │      1.03x │         │
│ VeeR-EH2:default          │  1 │  1 │  170.96           │  171.60           │      1.00x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │  350.36           │  339.23           │      1.03x │         │
│ VeeR-EL2:asic             │  1 │  1 │   85.69           │   89.84           │      0.95x │         │
│ VeeR-EL2:default          │  1 │  1 │   74.09           │   75.46           │      0.98x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │   99.18           │  100.79           │      0.98x │         │
│ Vortex:mini               │  1 │  1 │   71.27           │   73.39           │      0.97x │         │
│ Vortex:sane               │  1 │  1 │  450.48           │  468.56           │      0.96x │         │
│ XiangShan:default-chisel3 │  1 │  1 │ 3766.59           │ 3792.36           │      0.99x │         │
│ XiangShan:default-chisel6 │  1 │  1 │ 3228.24           │ 3204.55           │      1.01x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │ 1061.64           │ 1050.81           │      1.01x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │ 1119.69           │ 1167.50           │      0.96x │         │
│ XuanTie-C906:default      │  1 │  1 │  192.49           │  193.81           │      0.99x │         │
│ XuanTie-C910:default      │  1 │  1 │  912.50           │  926.67           │      0.98x │         │
│ XuanTie-E902:default      │  1 │  1 │   34.33           │   34.06           │      1.01x │         │
│ XuanTie-E906:default      │  1 │  1 │   88.14           │   87.64           │      1.01x │         │
╞═══════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                   │                   │      0.99x │         │
╘═══════════════════════════╧════╧════╧═══════════════════╧═══════════════════╧════════════╧═════════╛
cppbuild - Code size [MB] - lower is better
╒═══════════════════════════╤════╤════╤═════════════════╤═════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │          Mean A │          Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪═════════════════╪═════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │ 19.50           │ 19.50           │      1.00x │         │
│ OpenPiton:1x1             │  1 │  1 │  0.73           │  0.73           │      1.00x │         │
│ OpenPiton:2x2             │  1 │  1 │  2.41           │  2.41           │      1.00x │         │
│ OpenPiton:4x4             │  1 │  1 │  9.16           │  9.16           │      1.00x │         │
│ OpenTitan:default         │  1 │  1 │  4.88           │  4.88           │      1.00x │         │
│ VeeR-EH1:asic             │  1 │  1 │  0.36           │  0.36           │      1.00x │         │
│ VeeR-EH1:default          │  1 │  1 │  0.33           │  0.33           │      1.00x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │  0.65           │  0.65           │      1.00x │         │
│ VeeR-EH2:asic             │  1 │  1 │  1.24           │  1.24           │      1.00x │         │
│ VeeR-EH2:default          │  1 │  1 │  0.89           │  0.89           │      1.00x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │  1.54           │  1.54           │      1.00x │         │
│ VeeR-EL2:asic             │  1 │  1 │  0.57           │  0.57           │      1.00x │         │
│ VeeR-EL2:default          │  1 │  1 │  0.38           │  0.38           │      1.00x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │  0.48           │  0.48           │      1.00x │         │
│ Vortex:mini               │  1 │  1 │  0.43           │  0.43           │      1.00x │         │
│ Vortex:sane               │  1 │  1 │  4.60           │  4.60           │      1.00x │         │
│ XiangShan:default-chisel3 │  1 │  1 │ 18.54           │ 18.54           │      1.00x │         │
│ XiangShan:default-chisel6 │  1 │  1 │ 18.57           │ 18.57           │      1.00x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │  5.45           │  5.45           │      1.00x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │  5.64           │  5.64           │      1.00x │         │
│ XuanTie-C906:default      │  1 │  1 │  0.95           │  0.95           │      1.00x │         │
│ XuanTie-C910:default      │  1 │  1 │  7.17           │  7.17           │      1.00x │         │
│ XuanTie-E902:default      │  1 │  1 │  0.25           │  0.25           │      1.00x │         │
│ XuanTie-E906:default      │  1 │  1 │  0.58           │  0.58           │      1.00x │         │
╞═══════════════════════════╪════╪════╪═════════════════╪═════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                 │                 │      1.00x │         │
╘═══════════════════════════╧════╧════╧═════════════════╧═════════════════╧════════════╧═════════╛

@kbieganski
kbieganski requested a review from wsnyder September 9, 2025 13:37
@wsnyder wsnyder changed the title Resolve default params upon instantiation or reference, fix #4497 Fix resolving default params upon instantiation or reference (#4497) Sep 10, 2025
Comment thread src/V3Param.cpp Outdated
Comment thread src/V3Param.cpp Outdated
Signed-off-by: Krzysztof Bieganski <kbieganski@antmicro.com>
Signed-off-by: Artur Bieniek <abieniek@internships.antmicro.com>
@verilator-ci

verilator-ci Bot commented Sep 10, 2025

Copy link
Copy Markdown

Performance metrics for PR workflow #429 (B) compared to scheduled run #426 (A) from 2025-09-10T02:31:04Z:

verilate - Elapsed time [s] - lower is better
╒═══════════════════════════╤════╤════╤══════════════════╤══════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │           Mean A │           Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │ 200.76           │ 205.13           │      0.98x │         │
│ OpenPiton:1x1             │  1 │  1 │   7.48           │   7.78           │      0.96x │         │
│ OpenPiton:2x2             │  1 │  1 │  17.47           │  18.68           │      0.94x │         │
│ OpenPiton:4x4             │  1 │  1 │  58.16           │  58.10           │      1.00x │         │
│ OpenTitan:default         │  1 │  1 │  48.77           │  48.72           │      1.00x │         │
│ VeeR-EH1:asic             │  1 │  1 │   4.69           │   3.79           │      1.24x │         │
│ VeeR-EH1:default          │  1 │  1 │   3.78           │   3.48           │      1.09x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │  10.43           │  10.11           │      1.03x │         │
│ VeeR-EH2:asic             │  1 │  1 │  12.45           │  12.69           │      0.98x │         │
│ VeeR-EH2:default          │  1 │  1 │  10.82           │  11.05           │      0.98x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │  21.69           │  22.57           │      0.96x │         │
│ VeeR-EL2:asic             │  1 │  1 │   6.68           │   6.16           │      1.08x │         │
│ VeeR-EL2:default          │  1 │  1 │   5.87           │   5.35           │      1.10x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │   8.35           │   8.25           │      1.01x │         │
│ Vortex:mini               │  1 │  1 │   4.82           │   4.67           │      1.03x │         │
│ Vortex:sane               │  1 │  1 │  28.58           │  28.74           │      0.99x │         │
│ XiangShan:default-chisel3 │  1 │  1 │ 241.16           │ 184.49           │      1.31x │         │
│ XiangShan:default-chisel6 │  1 │  1 │ 131.87           │ 129.82           │      1.02x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │  66.47           │  63.45           │      1.05x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │  49.09           │  45.09           │      1.09x │         │
│ XuanTie-C906:default      │  1 │  1 │  11.12           │  10.75           │      1.03x │         │
│ XuanTie-C910:default      │  1 │  1 │  59.50           │  59.10           │      1.01x │         │
│ XuanTie-E902:default      │  1 │  1 │   2.88           │   2.49           │      1.16x │         │
│ XuanTie-E906:default      │  1 │  1 │   5.96           │   6.00           │      0.99x │         │
╞═══════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                  │                  │      1.04x │         │
╘═══════════════════════════╧════╧════╧══════════════════╧══════════════════╧════════════╧═════════╛
verilate - Peak memory [MB] - lower is better
╒═══════════════════════════╤════╤════╤════════════════════╤════════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │             Mean A │             Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪════════════════════╪════════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │ 10800.68           │ 10802.92           │      1.00x │         │
│ OpenPiton:1x1             │  1 │  1 │   297.90           │   295.50           │      1.01x │         │
│ OpenPiton:2x2             │  1 │  1 │   728.56           │   728.12           │      1.00x │         │
│ OpenPiton:4x4             │  1 │  1 │  2451.46           │  2453.72           │      1.00x │         │
│ OpenTitan:default         │  1 │  1 │  1516.60           │  1518.64           │      1.00x │         │
│ VeeR-EH1:asic             │  1 │  1 │   179.19           │   174.71           │      1.03x │         │
│ VeeR-EH1:default          │  1 │  1 │   176.89           │   173.86           │      1.02x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │   344.21           │   342.93           │      1.00x │         │
│ VeeR-EH2:asic             │  1 │  1 │   412.79           │   410.92           │      1.00x │         │
│ VeeR-EH2:default          │  1 │  1 │   397.88           │   397.98           │      1.00x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │   669.90           │   668.93           │      1.00x │         │
│ VeeR-EL2:asic             │  1 │  1 │   252.18           │   252.23           │      1.00x │         │
│ VeeR-EL2:default          │  1 │  1 │   245.71           │   244.90           │      1.00x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │   351.73           │   351.79           │      1.00x │         │
│ Vortex:mini               │  1 │  1 │   434.92           │   430.48           │      1.01x │         │
│ Vortex:sane               │  1 │  1 │  1048.99           │  1047.72           │      1.00x │         │
│ XiangShan:default-chisel3 │  1 │  1 │  6006.84           │  6008.52           │      1.00x │         │
│ XiangShan:default-chisel6 │  1 │  1 │  4397.20           │  4397.48           │      1.00x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │  2653.32           │  2651.98           │      1.00x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │  1841.34           │  1841.62           │      1.00x │         │
│ XuanTie-C906:default      │  1 │  1 │   430.87           │   433.36           │      0.99x │         │
│ XuanTie-C910:default      │  1 │  1 │  2470.44           │  2469.51           │      1.00x │         │
│ XuanTie-E902:default      │  1 │  1 │   114.27           │   113.75           │      1.00x │         │
│ XuanTie-E906:default      │  1 │  1 │   249.32           │   249.38           │      1.00x │         │
╞═══════════════════════════╪════╪════╪════════════════════╪════════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                    │                    │      1.00x │         │
╘═══════════════════════════╧════╧════╧════════════════════╧════════════════════╧════════════╧═════════╛
execute - Sim speed [kHz] - higher is better
╒══════════════════════════════════════╤════╤════╤══════════════════╤══════════════════╤════════════╤═════════╕
│ Case                                 │ #A │ #B │           Mean A │           Mean B │ Gain (B/A) │ p-value │
╞══════════════════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ NVDLA:default:anet                   │  1 │  1 │   0.46           │   0.43           │      0.93x │         │
│ NVDLA:default:conv                   │  1 │  1 │   0.61           │   0.60           │      0.98x │         │
│ NVDLA:default:gnet                   │  1 │  1 │   0.45           │   0.46           │      1.02x │         │
│ NVDLA:default:hello                  │  1 │  1 │   0.45           │   0.44           │      0.99x │         │
│ NVDLA:default:pool                   │  1 │  1 │   0.67           │   0.67           │      0.99x │         │
│ NVDLA:default:relu                   │  1 │  1 │   0.67           │   0.66           │      0.99x │         │
│ OpenPiton:1x1:dhry                   │  1 │  1 │  19.05           │  19.00           │      1.00x │         │
│ OpenPiton:1x1:fib                    │  1 │  1 │  20.31           │  20.44           │      1.01x │         │
│ OpenPiton:1x1:hello                  │  1 │  1 │  22.61           │  22.61           │      1.00x │         │
│ OpenPiton:1x1:token                  │  1 │  1 │  20.51           │  20.47           │      1.00x │         │
│ OpenPiton:2x2:dhry                   │  1 │  1 │   4.30           │   4.31           │      1.00x │         │
│ OpenPiton:2x2:fib                    │  1 │  1 │   4.43           │   4.39           │      0.99x │         │
│ OpenPiton:2x2:hello                  │  1 │  1 │   4.82           │   4.75           │      0.99x │         │
│ OpenPiton:2x2:token                  │  1 │  1 │   4.46           │   4.42           │      0.99x │         │
│ OpenPiton:4x4:dhry                   │  1 │  1 │   1.05           │   1.06           │      1.01x │         │
│ OpenPiton:4x4:fib                    │  1 │  1 │   1.00           │   1.02           │      1.02x │         │
│ OpenPiton:4x4:hello                  │  1 │  1 │   1.05           │   1.06           │      1.01x │         │
│ OpenPiton:4x4:token                  │  1 │  1 │   1.03           │   1.04           │      1.01x │         │
│ OpenTitan:default:aes                │  1 │  1 │   2.97           │   2.96           │      0.99x │         │
│ OpenTitan:default:cmark              │  1 │  1 │   2.99           │   2.98           │      1.00x │         │
│ OpenTitan:default:hello              │  1 │  1 │   3.05           │   3.03           │      1.00x │         │
│ OpenTitan:default:rsa                │  1 │  1 │   2.96           │   2.96           │      1.00x │         │
│ OpenTitan:default:sha                │  1 │  1 │   2.98           │   2.96           │      0.99x │         │
│ VeeR-EH1:asic:cmark                  │  1 │  1 │  74.30           │  73.37           │      0.99x │         │
│ VeeR-EH1:asic:cmark_iccm             │  1 │  1 │  73.99           │  73.00           │      0.99x │         │
│ VeeR-EH1:asic:dhry                   │  1 │  1 │  74.00           │  71.92           │      0.97x │         │
│ VeeR-EH1:asic:hello                  │  1 │  1 │  52.20           │ 104.40           │      2.00x │         │
│ VeeR-EH1:default:cmark               │  1 │  1 │ 119.21           │ 118.45           │      0.99x │         │
│ VeeR-EH1:default:cmark_iccm          │  1 │  1 │ 118.78           │ 119.89           │      1.01x │         │
│ VeeR-EH1:default:dhry                │  1 │  1 │ 120.34           │ 119.36           │      0.99x │         │
│ VeeR-EH1:default:hello               │  1 │  1 │ 104.40           │ 104.40           │      1.00x │         │
│ VeeR-EH1:hiperf:cmark                │  1 │  1 │  40.72           │  40.98           │      1.01x │         │
│ VeeR-EH1:hiperf:cmark_iccm           │  1 │  1 │  40.06           │  40.30           │      1.01x │         │
│ VeeR-EH1:hiperf:dhry                 │  1 │  1 │  39.70           │  40.63           │      1.02x │         │
│ VeeR-EH1:hiperf:hello                │  1 │  1 │  35.60           │  35.60           │      1.00x │         │
│ VeeR-EH2:asic:cmark                  │  1 │  1 │   6.21           │   6.33           │      1.02x │         │
│ VeeR-EH2:asic:cmark_iccm             │  1 │  1 │   6.30           │   6.19           │      0.98x │         │
│ VeeR-EH2:asic:cmark_iccm_mt          │  1 │  1 │   6.22           │   6.20           │      1.00x │         │
│ VeeR-EH2:asic:cmark_mt               │  1 │  1 │   6.24           │   6.19           │      0.99x │         │
│ VeeR-EH2:asic:dhry                   │  1 │  1 │   5.94           │   6.14           │      1.04x │         │
│ VeeR-EH2:asic:dhry_mt                │  1 │  1 │   6.18           │   5.90           │      0.95x │         │
│ VeeR-EH2:asic:hello                  │  1 │  1 │   5.96           │   6.12           │      1.03x │         │
│ VeeR-EH2:default:cmark               │  1 │  1 │  26.75           │  26.57           │      0.99x │         │
│ VeeR-EH2:default:cmark_iccm          │  1 │  1 │  26.92           │  26.74           │      0.99x │         │
│ VeeR-EH2:default:cmark_iccm_mt       │  1 │  1 │  26.36           │  26.53           │      1.01x │         │
│ VeeR-EH2:default:cmark_mt            │  1 │  1 │  26.17           │  25.82           │      0.99x │         │
│ VeeR-EH2:default:dhry                │  1 │  1 │  26.50           │  26.72           │      1.01x │         │
│ VeeR-EH2:default:dhry_mt             │  1 │  1 │  26.33           │  25.92           │      0.98x │         │
│ VeeR-EH2:default:hello               │  1 │  1 │  25.83           │  25.83           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark                │  1 │  1 │  10.53           │  10.49           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark_iccm           │  1 │  1 │  10.73           │  10.30           │      0.96x │         │
│ VeeR-EH2:hiperf:cmark_iccm_mt        │  1 │  1 │  10.59           │  10.40           │      0.98x │         │
│ VeeR-EH2:hiperf:cmark_mt             │  1 │  1 │  10.53           │  10.42           │      0.99x │         │
│ VeeR-EH2:hiperf:dhry                 │  1 │  1 │  10.43           │  10.58           │      1.01x │         │
│ VeeR-EH2:hiperf:dhry_mt              │  1 │  1 │  10.64           │  10.53           │      0.99x │         │
│ VeeR-EH2:hiperf:hello                │  1 │  1 │  10.67           │  10.21           │      0.96x │         │
│ VeeR-EL2:asic:cmark                  │  1 │  1 │  22.43           │  22.12           │      0.99x │         │
│ VeeR-EL2:asic:cmark_iccm             │  1 │  1 │  23.85           │  23.64           │      0.99x │         │
│ VeeR-EL2:asic:dhry                   │  1 │  1 │  21.94           │  22.70           │      1.03x │         │
│ VeeR-EL2:asic:hello                  │  1 │  1 │  20.26           │  20.26           │      1.00x │         │
│ VeeR-EL2:default:cmark               │  1 │  1 │  74.80           │  71.01           │      0.95x │         │
│ VeeR-EL2:default:cmark_iccm          │  1 │  1 │  77.58           │  74.42           │      0.96x │         │
│ VeeR-EL2:default:dhry                │  1 │  1 │  74.10           │  72.86           │      0.98x │         │
│ VeeR-EL2:default:hello               │  1 │  1 │  74.30           │  74.30           │      1.00x │         │
│ VeeR-EL2:hiperf:cmark                │  1 │  1 │  48.07           │  48.64           │      1.01x │         │
│ VeeR-EL2:hiperf:cmark_iccm           │  1 │  1 │  48.10           │  50.27           │      1.05x │         │
│ VeeR-EL2:hiperf:dhry                 │  1 │  1 │  49.75           │  47.89           │      0.96x │         │
│ VeeR-EL2:hiperf:hello                │  1 │  1 │  44.62           │  44.62           │      1.00x │         │
│ Vortex:mini:hello                    │  1 │  1 │  90.88           │  88.91           │      0.98x │         │
│ Vortex:mini:saxpy                    │  1 │  1 │  89.61           │  92.23           │      1.03x │         │
│ Vortex:mini:sgemm                    │  1 │  1 │  90.71           │  88.73           │      0.98x │         │
│ Vortex:sane:hello                    │  1 │  1 │   2.81           │   2.78           │      0.99x │         │
│ Vortex:sane:saxpy                    │  1 │  1 │   2.83           │   2.81           │      0.99x │         │
│ Vortex:sane:sgemm                    │  1 │  1 │   2.81           │   2.79           │      0.99x │         │
│ XiangShan:default-chisel3:cmark      │  1 │  1 │   0.31           │   0.62           │      2.00x │         │
│ XiangShan:default-chisel3:dhry       │  1 │  1 │   0.54           │   0.67           │      1.25x │         │
│ XiangShan:default-chisel3:hello      │  1 │  1 │   0.66           │   0.72           │      1.09x │         │
│ XiangShan:default-chisel3:microbench │  1 │  1 │   0.38           │   0.70           │      1.83x │         │
│ XiangShan:default-chisel6:cmark      │  1 │  1 │   0.64           │   0.63           │      0.99x │         │
│ XiangShan:default-chisel6:dhry       │  1 │  1 │   0.63           │   0.63           │      1.00x │         │
│ XiangShan:default-chisel6:hello      │  1 │  1 │   0.64           │   0.57           │      0.88x │         │
│ XiangShan:default-chisel6:microbench │  1 │  1 │   0.60           │   0.61           │      1.01x │         │
│ XiangShan:mini-chisel3:cmark         │  1 │  1 │   2.32           │   2.34           │      1.01x │         │
│ XiangShan:mini-chisel3:dhry          │  1 │  1 │   2.32           │   2.32           │      1.00x │         │
│ XiangShan:mini-chisel3:hello         │  1 │  1 │   2.33           │   2.34           │      1.00x │         │
│ XiangShan:mini-chisel3:microbench    │  1 │  1 │   2.31           │   2.33           │      1.01x │         │
│ XiangShan:mini-chisel6:cmark         │  1 │  1 │   2.18           │   2.17           │      0.99x │         │
│ XiangShan:mini-chisel6:dhry          │  1 │  1 │   2.17           │   2.16           │      1.00x │         │
│ XiangShan:mini-chisel6:hello         │  1 │  1 │   2.16           │   2.16           │      1.00x │         │
│ XiangShan:mini-chisel6:microbench    │  1 │  1 │   2.18           │   2.16           │      0.99x │         │
│ XuanTie-C906:default:cmark           │  1 │  1 │  26.02           │  25.37           │      0.97x │         │
│ XuanTie-C906:default:hello           │  1 │  1 │   9.50           │  10.08           │      1.06x │         │
│ XuanTie-C906:default:memcpy          │  1 │  1 │  26.29           │  26.67           │      1.01x │         │
│ XuanTie-C910:default:cmark           │  1 │  1 │   1.61           │   1.59           │      0.99x │         │
│ XuanTie-C910:default:hello           │  1 │  1 │   1.48           │   1.45           │      0.98x │         │
│ XuanTie-C910:default:memcpy          │  1 │  1 │   1.61           │   1.59           │      0.99x │         │
│ XuanTie-E902:default:cmark           │  1 │  1 │  21.03           │  21.27           │      1.01x │         │
│ XuanTie-E902:default:hello           │  1 │  1 │  19.97           │  20.74           │      1.04x │         │
│ XuanTie-E902:default:memcpy          │  1 │  1 │  18.71           │  18.66           │      1.00x │         │
│ XuanTie-E906:default:cmark           │  1 │  1 │  13.80           │  13.65           │      0.99x │         │
│ XuanTie-E906:default:hello           │  1 │  1 │  23.37           │  23.94           │      1.02x │         │
│ XuanTie-E906:default:memcpy          │  1 │  1 │  12.71           │  12.59           │      0.99x │         │
╞══════════════════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ Geometric mean                       │    │    │                  │                  │      1.02x │         │
╘══════════════════════════════════════╧════╧════╧══════════════════╧══════════════════╧════════════╧═════════╛
execute - Peak memory [MB] - lower is better
╒══════════════════════════════════════╤════╤════╤═══════════════════╤═══════════════════╤════════════╤═════════╕
│ Case                                 │ #A │ #B │            Mean A │            Mean B │ Gain (A/B) │ p-value │
╞══════════════════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ NVDLA:default:anet                   │  1 │  1 │ 1238.57           │ 1238.45           │      1.00x │         │
│ NVDLA:default:conv                   │  1 │  1 │ 1238.66           │ 1238.51           │      1.00x │         │
│ NVDLA:default:gnet                   │  1 │  1 │ 1238.51           │ 1238.65           │      1.00x │         │
│ NVDLA:default:hello                  │  1 │  1 │ 1238.61           │ 1238.52           │      1.00x │         │
│ NVDLA:default:pool                   │  1 │  1 │ 1238.47           │ 1238.52           │      1.00x │         │
│ NVDLA:default:relu                   │  1 │  1 │ 1238.63           │ 1238.60           │      1.00x │         │
│ OpenPiton:1x1:dhry                   │  1 │  1 │    7.62           │    7.66           │      1.00x │         │
│ OpenPiton:1x1:fib                    │  1 │  1 │    7.66           │    7.70           │      1.00x │         │
│ OpenPiton:1x1:hello                  │  1 │  1 │    7.70           │    7.56           │      1.02x │         │
│ OpenPiton:1x1:token                  │  1 │  1 │    7.53           │    7.66           │      0.98x │         │
│ OpenPiton:2x2:dhry                   │  1 │  1 │   13.69           │   13.70           │      1.00x │         │
│ OpenPiton:2x2:fib                    │  1 │  1 │   14.76           │   14.70           │      1.00x │         │
│ OpenPiton:2x2:hello                  │  1 │  1 │   13.76           │   13.68           │      1.01x │         │
│ OpenPiton:2x2:token                  │  1 │  1 │   13.70           │   13.70           │      1.00x │         │
│ OpenPiton:4x4:dhry                   │  1 │  1 │   42.16           │   42.12           │      1.00x │         │
│ OpenPiton:4x4:fib                    │  1 │  1 │   43.17           │   43.25           │      1.00x │         │
│ OpenPiton:4x4:hello                  │  1 │  1 │   42.22           │   42.18           │      1.00x │         │
│ OpenPiton:4x4:token                  │  1 │  1 │   42.26           │   42.12           │      1.00x │         │
│ OpenTitan:default:aes                │  1 │  1 │   23.04           │   23.15           │      1.00x │         │
│ OpenTitan:default:cmark              │  1 │  1 │   23.10           │   23.17           │      1.00x │         │
│ OpenTitan:default:hello              │  1 │  1 │   23.11           │   22.94           │      1.01x │         │
│ OpenTitan:default:rsa                │  1 │  1 │   23.02           │   23.00           │      1.00x │         │
│ OpenTitan:default:sha                │  1 │  1 │   23.09           │   23.09           │      1.00x │         │
│ VeeR-EH1:asic:cmark                  │  1 │  1 │   10.14           │   10.20           │      0.99x │         │
│ VeeR-EH1:asic:cmark_iccm             │  1 │  1 │   10.14           │   10.19           │      0.99x │         │
│ VeeR-EH1:asic:dhry                   │  1 │  1 │    7.99           │    7.94           │      1.01x │         │
│ VeeR-EH1:asic:hello                  │  1 │  1 │    6.30           │    6.37           │      0.99x │         │
│ VeeR-EH1:default:cmark               │  1 │  1 │    9.98           │   10.17           │      0.98x │         │
│ VeeR-EH1:default:cmark_iccm          │  1 │  1 │   10.17           │   10.06           │      1.01x │         │
│ VeeR-EH1:default:dhry                │  1 │  1 │    7.98           │    7.96           │      1.00x │         │
│ VeeR-EH1:default:hello               │  1 │  1 │    6.25           │    6.35           │      0.98x │         │
│ VeeR-EH1:hiperf:cmark                │  1 │  1 │   11.65           │   11.68           │      1.00x │         │
│ VeeR-EH1:hiperf:cmark_iccm           │  1 │  1 │   11.82           │   11.76           │      1.01x │         │
│ VeeR-EH1:hiperf:dhry                 │  1 │  1 │    9.65           │    9.60           │      1.01x │         │
│ VeeR-EH1:hiperf:hello                │  1 │  1 │    7.92           │    7.78           │      1.02x │         │
│ VeeR-EH2:asic:cmark                  │  1 │  1 │   11.96           │   11.91           │      1.00x │         │
│ VeeR-EH2:asic:cmark_iccm             │  1 │  1 │   12.42           │   12.36           │      1.00x │         │
│ VeeR-EH2:asic:cmark_iccm_mt          │  1 │  1 │   12.47           │   12.58           │      0.99x │         │
│ VeeR-EH2:asic:cmark_mt               │  1 │  1 │   12.04           │   11.93           │      1.01x │         │
│ VeeR-EH2:asic:dhry                   │  1 │  1 │    9.62           │    9.65           │      1.00x │         │
│ VeeR-EH2:asic:dhry_mt                │  1 │  1 │   10.16           │   10.00           │      1.02x │         │
│ VeeR-EH2:asic:hello                  │  1 │  1 │    8.25           │    8.37           │      0.99x │         │
│ VeeR-EH2:default:cmark               │  1 │  1 │   11.42           │   11.46           │      1.00x │         │
│ VeeR-EH2:default:cmark_iccm          │  1 │  1 │   11.78           │   11.94           │      0.99x │         │
│ VeeR-EH2:default:cmark_iccm_mt       │  1 │  1 │   11.97           │   11.93           │      1.00x │         │
│ VeeR-EH2:default:cmark_mt            │  1 │  1 │   11.60           │   11.54           │      1.01x │         │
│ VeeR-EH2:default:dhry                │  1 │  1 │    9.10           │    9.15           │      0.99x │         │
│ VeeR-EH2:default:dhry_mt             │  1 │  1 │    9.50           │    9.54           │      1.00x │         │
│ VeeR-EH2:default:hello               │  1 │  1 │    7.86           │    7.80           │      1.01x │         │
│ VeeR-EH2:hiperf:cmark                │  1 │  1 │   14.41           │   14.41           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark_iccm           │  1 │  1 │   14.80           │   14.73           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark_iccm_mt        │  1 │  1 │   14.82           │   14.92           │      0.99x │         │
│ VeeR-EH2:hiperf:cmark_mt             │  1 │  1 │   14.50           │   14.46           │      1.00x │         │
│ VeeR-EH2:hiperf:dhry                 │  1 │  1 │   12.11           │   12.11           │      1.00x │         │
│ VeeR-EH2:hiperf:dhry_mt              │  1 │  1 │   12.62           │   12.62           │      1.00x │         │
│ VeeR-EH2:hiperf:hello                │  1 │  1 │   10.82           │   10.72           │      1.01x │         │
│ VeeR-EL2:asic:cmark                  │  1 │  1 │   13.00           │   12.93           │      1.01x │         │
│ VeeR-EL2:asic:cmark_iccm             │  1 │  1 │    9.82           │    9.80           │      1.00x │         │
│ VeeR-EL2:asic:dhry                   │  1 │  1 │    7.30           │    7.46           │      0.98x │         │
│ VeeR-EL2:asic:hello                  │  1 │  1 │    6.34           │    6.30           │      1.01x │         │
│ VeeR-EL2:default:cmark               │  1 │  1 │   12.62           │   12.79           │      0.99x │         │
│ VeeR-EL2:default:cmark_iccm          │  1 │  1 │    9.42           │    9.42           │      1.00x │         │
│ VeeR-EL2:default:dhry                │  1 │  1 │    7.04           │    6.97           │      1.01x │         │
│ VeeR-EL2:default:hello               │  1 │  1 │    5.90           │    5.94           │      0.99x │         │
│ VeeR-EL2:hiperf:cmark                │  1 │  1 │   13.14           │   13.20           │      1.00x │         │
│ VeeR-EL2:hiperf:cmark_iccm           │  1 │  1 │    9.92           │    9.97           │      1.00x │         │
│ VeeR-EL2:hiperf:dhry                 │  1 │  1 │    7.48           │    7.47           │      1.00x │         │
│ VeeR-EL2:hiperf:hello                │  1 │  1 │    6.31           │    6.30           │      1.00x │         │
│ Vortex:mini:hello                    │  1 │  1 │    5.77           │    5.90           │      0.98x │         │
│ Vortex:mini:saxpy                    │  1 │  1 │    6.24           │    6.27           │      1.00x │         │
│ Vortex:mini:sgemm                    │  1 │  1 │    6.03           │    6.07           │      0.99x │         │
│ Vortex:sane:hello                    │  1 │  1 │   19.21           │   19.04           │      1.01x │         │
│ Vortex:sane:saxpy                    │  1 │  1 │   19.38           │   19.47           │      1.00x │         │
│ Vortex:sane:sgemm                    │  1 │  1 │   19.33           │   19.28           │      1.00x │         │
│ XiangShan:default-chisel3:cmark      │  1 │  1 │   82.54           │   82.41           │      1.00x │         │
│ XiangShan:default-chisel3:dhry       │  1 │  1 │   82.56           │   82.59           │      1.00x │         │
│ XiangShan:default-chisel3:hello      │  1 │  1 │   82.38           │   82.51           │      1.00x │         │
│ XiangShan:default-chisel3:microbench │  1 │  1 │   82.59           │   82.40           │      1.00x │         │
│ XiangShan:default-chisel6:cmark      │  1 │  1 │   76.53           │   76.57           │      1.00x │         │
│ XiangShan:default-chisel6:dhry       │  1 │  1 │   76.58           │   76.54           │      1.00x │         │
│ XiangShan:default-chisel6:hello      │  1 │  1 │   76.58           │   76.59           │      1.00x │         │
│ XiangShan:default-chisel6:microbench │  1 │  1 │   76.57           │   76.53           │      1.00x │         │
│ XiangShan:mini-chisel3:cmark         │  1 │  1 │   23.89           │   23.84           │      1.00x │         │
│ XiangShan:mini-chisel3:dhry          │  1 │  1 │   23.89           │   23.82           │      1.00x │         │
│ XiangShan:mini-chisel3:hello         │  1 │  1 │   23.78           │   23.81           │      1.00x │         │
│ XiangShan:mini-chisel3:microbench    │  1 │  1 │   23.82           │   23.95           │      0.99x │         │
│ XiangShan:mini-chisel6:cmark         │  1 │  1 │   23.44           │   23.39           │      1.00x │         │
│ XiangShan:mini-chisel6:dhry          │  1 │  1 │   23.43           │   23.47           │      1.00x │         │
│ XiangShan:mini-chisel6:hello         │  1 │  1 │   23.38           │   23.45           │      1.00x │         │
│ XiangShan:mini-chisel6:microbench    │  1 │  1 │   23.58           │   23.46           │      1.01x │         │
│ XuanTie-C906:default:cmark           │  1 │  1 │   40.62           │   40.62           │      1.00x │         │
│ XuanTie-C906:default:hello           │  1 │  1 │   40.54           │   40.59           │      1.00x │         │
│ XuanTie-C906:default:memcpy          │  1 │  1 │   40.72           │   40.62           │      1.00x │         │
│ XuanTie-C910:default:cmark           │  1 │  1 │   62.39           │   62.40           │      1.00x │         │
│ XuanTie-C910:default:hello           │  1 │  1 │   62.38           │   62.15           │      1.00x │         │
│ XuanTie-C910:default:memcpy          │  1 │  1 │   62.43           │   62.42           │      1.00x │         │
│ XuanTie-E902:default:cmark           │  1 │  1 │    5.80           │    5.80           │      1.00x │         │
│ XuanTie-E902:default:hello           │  1 │  1 │    5.75           │    5.80           │      0.99x │         │
│ XuanTie-E902:default:memcpy          │  1 │  1 │    5.82           │    5.80           │      1.00x │         │
│ XuanTie-E906:default:cmark           │  1 │  1 │    7.18           │    7.16           │      1.00x │         │
│ XuanTie-E906:default:hello           │  1 │  1 │    7.20           │    7.22           │      1.00x │         │
│ XuanTie-E906:default:memcpy          │  1 │  1 │    7.26           │    7.22           │      1.01x │         │
╞══════════════════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ Geometric mean                       │    │    │                   │                   │      1.00x │         │
╘══════════════════════════════════════╧════╧════╧═══════════════════╧═══════════════════╧════════════╧═════════╛
execute - Elapsed time [s] - lower is better
╒══════════════════════════════════════╤════╤════╤══════════════════╤══════════════════╤════════════╤═════════╕
│ Case                                 │ #A │ #B │           Mean A │           Mean B │ Gain (A/B) │ p-value │
╞══════════════════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ NVDLA:default:anet                   │  1 │  1 │ 343.12           │ 370.59           │      0.93x │         │
│ NVDLA:default:conv                   │  1 │  1 │ 111.87           │ 114.15           │      0.98x │         │
│ NVDLA:default:gnet                   │  1 │  1 │ 106.52           │ 104.13           │      1.02x │         │
│ NVDLA:default:hello                  │  1 │  1 │   5.37           │   5.43           │      0.99x │         │
│ NVDLA:default:pool                   │  1 │  1 │ 121.30           │ 122.80           │      0.99x │         │
│ NVDLA:default:relu                   │  1 │  1 │ 121.58           │ 122.76           │      0.99x │         │
│ OpenPiton:1x1:dhry                   │  1 │  1 │  84.48           │  84.71           │      1.00x │         │
│ OpenPiton:1x1:fib                    │  1 │  1 │  83.92           │  83.40           │      1.01x │         │
│ OpenPiton:1x1:hello                  │  1 │  1 │   0.21           │   0.21           │      1.00x │         │
│ OpenPiton:1x1:token                  │  1 │  1 │  82.39           │  82.57           │      1.00x │         │
│ OpenPiton:2x2:dhry                   │  1 │  1 │ 104.28           │ 104.19           │      1.00x │         │
│ OpenPiton:2x2:fib                    │  1 │  1 │ 106.06           │ 106.98           │      0.99x │         │
│ OpenPiton:2x2:hello                  │  1 │  1 │   1.37           │   1.39           │      0.99x │         │
│ OpenPiton:2x2:token                  │  1 │  1 │ 107.56           │ 108.58           │      0.99x │         │
│ OpenPiton:4x4:dhry                   │  1 │  1 │ 106.53           │ 105.87           │      1.01x │         │
│ OpenPiton:4x4:fib                    │  1 │  1 │  99.85           │  98.04           │      1.02x │         │
│ OpenPiton:4x4:hello                  │  1 │  1 │  17.70           │  17.53           │      1.01x │         │
│ OpenPiton:4x4:token                  │  1 │  1 │  95.31           │  94.60           │      1.01x │         │
│ OpenTitan:default:aes                │  1 │  1 │ 250.62           │ 251.98           │      0.99x │         │
│ OpenTitan:default:cmark              │  1 │  1 │ 289.72           │ 290.18           │      1.00x │         │
│ OpenTitan:default:hello              │  1 │  1 │  33.72           │  33.88           │      1.00x │         │
│ OpenTitan:default:rsa                │  1 │  1 │ 263.15           │ 263.51           │      1.00x │         │
│ OpenTitan:default:sha                │  1 │  1 │ 255.04           │ 256.89           │      0.99x │         │
│ VeeR-EH1:asic:cmark                  │  1 │  1 │  89.62           │  90.76           │      0.99x │         │
│ VeeR-EH1:asic:cmark_iccm             │  1 │  1 │  88.41           │  89.60           │      0.99x │         │
│ VeeR-EH1:asic:dhry                   │  1 │  1 │  88.79           │  91.36           │      0.97x │         │
│ VeeR-EH1:asic:hello                  │  1 │  1 │   0.02           │   0.01           │      2.00x │         │
│ VeeR-EH1:default:cmark               │  1 │  1 │  92.92           │  93.52           │      0.99x │         │
│ VeeR-EH1:default:cmark_iccm          │  1 │  1 │  94.86           │  93.98           │      1.01x │         │
│ VeeR-EH1:default:dhry                │  1 │  1 │  94.22           │  95.00           │      0.99x │         │
│ VeeR-EH1:default:hello               │  1 │  1 │   0.01           │   0.01           │      1.00x │         │
│ VeeR-EH1:hiperf:cmark                │  1 │  1 │ 132.24           │ 131.41           │      1.01x │         │
│ VeeR-EH1:hiperf:cmark_iccm           │  1 │  1 │ 128.02           │ 127.25           │      1.01x │         │
│ VeeR-EH1:hiperf:dhry                 │  1 │  1 │ 132.44           │ 129.38           │      1.02x │         │
│ VeeR-EH1:hiperf:hello                │  1 │  1 │   0.03           │   0.03           │      1.00x │         │
│ VeeR-EH2:asic:cmark                  │  1 │  1 │ 161.45           │ 158.46           │      1.02x │         │
│ VeeR-EH2:asic:cmark_iccm             │  1 │  1 │ 103.75           │ 105.48           │      0.98x │         │
│ VeeR-EH2:asic:cmark_iccm_mt          │  1 │  1 │ 151.79           │ 152.45           │      1.00x │         │
│ VeeR-EH2:asic:cmark_mt               │  1 │  1 │ 179.28           │ 180.51           │      0.99x │         │
│ VeeR-EH2:asic:dhry                   │  1 │  1 │ 112.13           │ 108.33           │      1.04x │         │
│ VeeR-EH2:asic:dhry_mt                │  1 │  1 │ 102.41           │ 107.24           │      0.95x │         │
│ VeeR-EH2:asic:hello                  │  1 │  1 │   0.39           │   0.38           │      1.03x │         │
│ VeeR-EH2:default:cmark               │  1 │  1 │  73.91           │  74.43           │      0.99x │         │
│ VeeR-EH2:default:cmark_iccm          │  1 │  1 │  71.75           │  72.25           │      0.99x │         │
│ VeeR-EH2:default:cmark_iccm_mt       │  1 │  1 │  70.96           │  70.50           │      1.01x │         │
│ VeeR-EH2:default:cmark_mt            │  1 │  1 │  84.27           │  85.42           │      0.99x │         │
│ VeeR-EH2:default:dhry                │  1 │  1 │  73.41           │  72.83           │      1.01x │         │
│ VeeR-EH2:default:dhry_mt             │  1 │  1 │  71.10           │  72.23           │      0.98x │         │
│ VeeR-EH2:default:hello               │  1 │  1 │   0.09           │   0.09           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark                │  1 │  1 │  94.56           │  94.87           │      1.00x │         │
│ VeeR-EH2:hiperf:cmark_iccm           │  1 │  1 │  99.03           │ 103.15           │      0.96x │         │
│ VeeR-EH2:hiperf:cmark_iccm_mt        │  1 │  1 │ 117.12           │ 119.28           │      0.98x │         │
│ VeeR-EH2:hiperf:cmark_mt             │  1 │  1 │ 105.23           │ 106.36           │      0.99x │         │
│ VeeR-EH2:hiperf:dhry                 │  1 │  1 │  92.74           │  91.42           │      1.01x │         │
│ VeeR-EH2:hiperf:dhry_mt              │  1 │  1 │  89.07           │  90.01           │      0.99x │         │
│ VeeR-EH2:hiperf:hello                │  1 │  1 │   0.22           │   0.23           │      0.96x │         │
│ VeeR-EL2:asic:cmark                  │  1 │  1 │ 101.46           │ 102.91           │      0.99x │         │
│ VeeR-EL2:asic:cmark_iccm             │  1 │  1 │ 103.82           │ 104.76           │      0.99x │         │
│ VeeR-EL2:asic:dhry                   │  1 │  1 │ 109.55           │ 105.89           │      1.03x │         │
│ VeeR-EL2:asic:hello                  │  1 │  1 │   0.11           │   0.11           │      1.00x │         │
│ VeeR-EL2:default:cmark               │  1 │  1 │  70.56           │  74.33           │      0.95x │         │
│ VeeR-EL2:default:cmark_iccm          │  1 │  1 │  77.67           │  80.97           │      0.96x │         │
│ VeeR-EL2:default:dhry                │  1 │  1 │  80.76           │  82.13           │      0.98x │         │
│ VeeR-EL2:default:hello               │  1 │  1 │   0.03           │   0.03           │      1.00x │         │
│ VeeR-EL2:hiperf:cmark                │  1 │  1 │  86.17           │  85.16           │      1.01x │         │
│ VeeR-EL2:hiperf:cmark_iccm           │  1 │  1 │  90.98           │  87.04           │      1.05x │         │
│ VeeR-EL2:hiperf:dhry                 │  1 │  1 │  93.56           │  97.18           │      0.96x │         │
│ VeeR-EL2:hiperf:hello                │  1 │  1 │   0.05           │   0.05           │      1.00x │         │
│ Vortex:mini:hello                    │  1 │  1 │   0.45           │   0.46           │      0.98x │         │
│ Vortex:mini:saxpy                    │  1 │  1 │  42.93           │  41.71           │      1.03x │         │
│ Vortex:mini:sgemm                    │  1 │  1 │  46.15           │  47.18           │      0.98x │         │
│ Vortex:sane:hello                    │  1 │  1 │  27.52           │  27.82           │      0.99x │         │
│ Vortex:sane:saxpy                    │  1 │  1 │  58.89           │  59.33           │      0.99x │         │
│ Vortex:sane:sgemm                    │  1 │  1 │  57.65           │  58.07           │      0.99x │         │
│ XiangShan:default-chisel3:cmark      │  1 │  1 │ 604.90           │ 302.04           │      2.00x │         │
│ XiangShan:default-chisel3:dhry       │  1 │  1 │ 269.85           │ 216.47           │      1.25x │         │
│ XiangShan:default-chisel3:hello      │  1 │  1 │  15.79           │  14.44           │      1.09x │         │
│ XiangShan:default-chisel3:microbench │  1 │  1 │ 605.78           │ 331.74           │      1.83x │         │
│ XiangShan:default-chisel6:cmark      │  1 │  1 │ 292.30           │ 296.52           │      0.99x │         │
│ XiangShan:default-chisel6:dhry       │  1 │  1 │ 231.38           │ 231.57           │      1.00x │         │
│ XiangShan:default-chisel6:hello      │  1 │  1 │  16.12           │  18.23           │      0.88x │         │
│ XiangShan:default-chisel6:microbench │  1 │  1 │ 383.09           │ 379.07           │      1.01x │         │
│ XiangShan:mini-chisel3:cmark         │  1 │  1 │ 126.48           │ 125.54           │      1.01x │         │
│ XiangShan:mini-chisel3:dhry          │  1 │  1 │ 147.29           │ 147.20           │      1.00x │         │
│ XiangShan:mini-chisel3:hello         │  1 │  1 │   2.06           │   2.05           │      1.00x │         │
│ XiangShan:mini-chisel3:microbench    │  1 │  1 │ 151.03           │ 149.77           │      1.01x │         │
│ XiangShan:mini-chisel6:cmark         │  1 │  1 │ 134.68           │ 135.50           │      0.99x │         │
│ XiangShan:mini-chisel6:dhry          │  1 │  1 │ 157.52           │ 158.18           │      1.00x │         │
│ XiangShan:mini-chisel6:hello         │  1 │  1 │   2.22           │   2.22           │      1.00x │         │
│ XiangShan:mini-chisel6:microbench    │  1 │  1 │ 161.50           │ 163.11           │      0.99x │         │
│ XuanTie-C906:default:cmark           │  1 │  1 │  99.08           │ 101.64           │      0.97x │         │
│ XuanTie-C906:default:hello           │  1 │  1 │   0.35           │   0.33           │      1.06x │         │
│ XuanTie-C906:default:memcpy          │  1 │  1 │ 102.49           │ 101.01           │      1.01x │         │
│ XuanTie-C910:default:cmark           │  1 │  1 │ 124.92           │ 125.94           │      0.99x │         │
│ XuanTie-C910:default:hello           │  1 │  1 │   3.03           │   3.08           │      0.98x │         │
│ XuanTie-C910:default:memcpy          │  1 │  1 │ 144.39           │ 146.07           │      0.99x │         │
│ XuanTie-E902:default:cmark           │  1 │  1 │ 134.22           │ 132.68           │      1.01x │         │
│ XuanTie-E902:default:hello           │  1 │  1 │   0.27           │   0.26           │      1.04x │         │
│ XuanTie-E902:default:memcpy          │  1 │  1 │ 147.31           │ 147.69           │      1.00x │         │
│ XuanTie-E906:default:cmark           │  1 │  1 │ 137.09           │ 138.60           │      0.99x │         │
│ XuanTie-E906:default:hello           │  1 │  1 │   0.42           │   0.41           │      1.02x │         │
│ XuanTie-E906:default:memcpy          │  1 │  1 │ 141.12           │ 142.47           │      0.99x │         │
╞══════════════════════════════════════╪════╪════╪══════════════════╪══════════════════╪════════════╪═════════╡
│ Geometric mean                       │    │    │                  │                  │      1.02x │         │
╘══════════════════════════════════════╧════╧════╧══════════════════╧══════════════════╧════════════╧═════════╛
cppbuild - Elapsed time [s] - lower is better
╒═══════════════════════════╤════╤════╤═══════════════════╤══════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │            Mean A │           Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪═══════════════════╪══════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │  700.81           │ 715.53           │      0.98x │         │
│ OpenPiton:1x1             │  1 │  1 │   37.30           │  34.48           │      1.08x │         │
│ OpenPiton:2x2             │  1 │  1 │   77.92           │  76.46           │      1.02x │         │
│ OpenPiton:4x4             │  1 │  1 │  261.21           │ 254.94           │      1.02x │         │
│ OpenTitan:default         │  1 │  1 │  154.37           │ 146.16           │      1.06x │         │
│ VeeR-EH1:asic             │  1 │  1 │   30.84           │  26.33           │      1.17x │         │
│ VeeR-EH1:default          │  1 │  1 │   19.86           │  20.24           │      0.98x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │   45.93           │  43.21           │      1.06x │         │
│ VeeR-EH2:asic             │  1 │  1 │   39.96           │  47.08           │      0.85x │         │
│ VeeR-EH2:default          │  1 │  1 │   46.58           │  55.01           │      0.85x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │   88.37           │  94.02           │      0.94x │         │
│ VeeR-EL2:asic             │  1 │  1 │   45.71           │  45.69           │      1.00x │         │
│ VeeR-EL2:default          │  1 │  1 │   29.65           │  28.13           │      1.05x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │   34.37           │  36.67           │      0.94x │         │
│ Vortex:mini               │  1 │  1 │   29.20           │  26.09           │      1.12x │         │
│ Vortex:sane               │  1 │  1 │  123.46           │ 128.42           │      0.96x │         │
│ XiangShan:default-chisel3 │  1 │  1 │ 1319.60           │ 983.79           │      1.34x │         │
│ XiangShan:default-chisel6 │  1 │  1 │  801.20           │ 810.31           │      0.99x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │  278.77           │ 269.36           │      1.03x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │  290.64           │ 294.27           │      0.99x │         │
│ XuanTie-C906:default      │  1 │  1 │   53.29           │  57.48           │      0.93x │         │
│ XuanTie-C910:default      │  1 │  1 │  238.17           │ 241.60           │      0.99x │         │
│ XuanTie-E902:default      │  1 │  1 │   19.77           │  12.66           │      1.56x │         │
│ XuanTie-E906:default      │  1 │  1 │   32.36           │  30.71           │      1.05x │         │
╞═══════════════════════════╪════╪════╪═══════════════════╪══════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                   │                  │      1.03x │         │
╘═══════════════════════════╧════╧════╧═══════════════════╧══════════════════╧════════════╧═════════╛
cppbuild - Peak memory [MB] - lower is better
╒═══════════════════════════╤════╤════╤═══════════════════╤═══════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │            Mean A │            Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │  782.31           │  782.24           │      1.00x │         │
│ OpenPiton:1x1             │  1 │  1 │  303.47           │  303.58           │      1.00x │         │
│ OpenPiton:2x2             │  1 │  1 │  292.17           │  292.01           │      1.00x │         │
│ OpenPiton:4x4             │  1 │  1 │  511.50           │  510.91           │      1.00x │         │
│ OpenTitan:default         │  1 │  1 │ 1250.53           │ 1250.62           │      1.00x │         │
│ VeeR-EH1:asic             │  1 │  1 │  283.22           │  283.61           │      1.00x │         │
│ VeeR-EH1:default          │  1 │  1 │  313.82           │  313.82           │      1.00x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │  469.46           │  469.57           │      1.00x │         │
│ VeeR-EH2:asic             │  1 │  1 │  527.60           │  526.16           │      1.00x │         │
│ VeeR-EH2:default          │  1 │  1 │  496.84           │  496.11           │      1.00x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │  524.18           │  523.58           │      1.00x │         │
│ VeeR-EL2:asic             │  1 │  1 │  466.66           │  467.10           │      1.00x │         │
│ VeeR-EL2:default          │  1 │  1 │  385.59           │  385.13           │      1.00x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │  363.86           │  357.19           │      1.02x │         │
│ Vortex:mini               │  1 │  1 │  351.08           │  347.33           │      1.01x │         │
│ Vortex:sane               │  1 │  1 │  462.39           │  462.38           │      1.00x │         │
│ XiangShan:default-chisel3 │  1 │  1 │  896.38           │  895.68           │      1.00x │         │
│ XiangShan:default-chisel6 │  1 │  1 │ 1192.16           │ 1191.85           │      1.00x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │  663.00           │  663.04           │      1.00x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │ 1161.38           │ 1161.50           │      1.00x │         │
│ XuanTie-C906:default      │  1 │  1 │  502.97           │  503.23           │      1.00x │         │
│ XuanTie-C910:default      │  1 │  1 │  413.12           │  413.14           │      1.00x │         │
│ XuanTie-E902:default      │  1 │  1 │  282.97           │  283.34           │      1.00x │         │
│ XuanTie-E906:default      │  1 │  1 │  324.77           │  324.98           │      1.00x │         │
╞═══════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                   │                   │      1.00x │         │
╘═══════════════════════════╧════╧════╧═══════════════════╧═══════════════════╧════════════╧═════════╛
cppbuild - CPU Total [s] - lower is better
╒═══════════════════════════╤════╤════╤═══════════════════╤═══════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │            Mean A │            Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │ 2756.59           │ 2815.75           │      0.98x │         │
│ OpenPiton:1x1             │  1 │  1 │  100.76           │  101.91           │      0.99x │         │
│ OpenPiton:2x2             │  1 │  1 │  280.20           │  289.69           │      0.97x │         │
│ OpenPiton:4x4             │  1 │  1 │  992.00           │  974.74           │      1.02x │         │
│ OpenTitan:default         │  1 │  1 │  561.55           │  540.60           │      1.04x │         │
│ VeeR-EH1:asic             │  1 │  1 │   48.81           │   43.83           │      1.11x │         │
│ VeeR-EH1:default          │  1 │  1 │   67.61           │   69.08           │      0.98x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │  139.64           │  139.25           │      1.00x │         │
│ VeeR-EH2:asic             │  1 │  1 │  144.38           │  144.57           │      1.00x │         │
│ VeeR-EH2:default          │  1 │  1 │  168.87           │  168.53           │      1.00x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │  334.56           │  339.86           │      0.98x │         │
│ VeeR-EL2:asic             │  1 │  1 │   89.25           │   85.61           │      1.04x │         │
│ VeeR-EL2:default          │  1 │  1 │   74.59           │   73.01           │      1.02x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │  100.53           │  101.41           │      0.99x │         │
│ Vortex:mini               │  1 │  1 │   72.11           │   70.81           │      1.02x │         │
│ Vortex:sane               │  1 │  1 │  450.31           │  454.46           │      0.99x │         │
│ XiangShan:default-chisel3 │  1 │  1 │ 5196.63           │ 3868.41           │      1.34x │         │
│ XiangShan:default-chisel6 │  1 │  1 │ 3167.67           │ 3177.15           │      1.00x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │ 1060.24           │ 1051.50           │      1.01x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │ 1135.04           │ 1151.77           │      0.99x │         │
│ XuanTie-C906:default      │  1 │  1 │  194.40           │  193.54           │      1.00x │         │
│ XuanTie-C910:default      │  1 │  1 │  910.35           │  910.32           │      1.00x │         │
│ XuanTie-E902:default      │  1 │  1 │   33.18           │   33.19           │      1.00x │         │
│ XuanTie-E906:default      │  1 │  1 │   87.07           │   87.21           │      1.00x │         │
╞═══════════════════════════╪════╪════╪═══════════════════╪═══════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                   │                   │      1.02x │         │
╘═══════════════════════════╧════╧════╧═══════════════════╧═══════════════════╧════════════╧═════════╛
cppbuild - Code size [MB] - lower is better
╒═══════════════════════════╤════╤════╤═════════════════╤═════════════════╤════════════╤═════════╕
│ Case                      │ #A │ #B │          Mean A │          Mean B │ Gain (A/B) │ p-value │
╞═══════════════════════════╪════╪════╪═════════════════╪═════════════════╪════════════╪═════════╡
│ NVDLA:default             │  1 │  1 │ 19.50           │ 19.50           │      1.00x │         │
│ OpenPiton:1x1             │  1 │  1 │  0.73           │  0.73           │      1.00x │         │
│ OpenPiton:2x2             │  1 │  1 │  2.41           │  2.41           │      1.00x │         │
│ OpenPiton:4x4             │  1 │  1 │  9.16           │  9.16           │      1.00x │         │
│ OpenTitan:default         │  1 │  1 │  4.88           │  4.88           │      1.00x │         │
│ VeeR-EH1:asic             │  1 │  1 │  0.36           │  0.36           │      1.00x │         │
│ VeeR-EH1:default          │  1 │  1 │  0.33           │  0.33           │      1.00x │         │
│ VeeR-EH1:hiperf           │  1 │  1 │  0.65           │  0.65           │      1.00x │         │
│ VeeR-EH2:asic             │  1 │  1 │  1.24           │  1.24           │      1.00x │         │
│ VeeR-EH2:default          │  1 │  1 │  0.89           │  0.89           │      1.00x │         │
│ VeeR-EH2:hiperf           │  1 │  1 │  1.54           │  1.54           │      1.00x │         │
│ VeeR-EL2:asic             │  1 │  1 │  0.57           │  0.57           │      1.00x │         │
│ VeeR-EL2:default          │  1 │  1 │  0.38           │  0.38           │      1.00x │         │
│ VeeR-EL2:hiperf           │  1 │  1 │  0.48           │  0.48           │      1.00x │         │
│ Vortex:mini               │  1 │  1 │  0.43           │  0.43           │      1.00x │         │
│ Vortex:sane               │  1 │  1 │  4.60           │  4.60           │      1.00x │         │
│ XiangShan:default-chisel3 │  1 │  1 │ 18.54           │ 18.54           │      1.00x │         │
│ XiangShan:default-chisel6 │  1 │  1 │ 18.57           │ 18.57           │      1.00x │         │
│ XiangShan:mini-chisel3    │  1 │  1 │  5.45           │  5.45           │      1.00x │         │
│ XiangShan:mini-chisel6    │  1 │  1 │  5.64           │  5.64           │      1.00x │         │
│ XuanTie-C906:default      │  1 │  1 │  0.95           │  0.95           │      1.00x │         │
│ XuanTie-C910:default      │  1 │  1 │  7.17           │  7.17           │      1.00x │         │
│ XuanTie-E902:default      │  1 │  1 │  0.25           │  0.25           │      1.00x │         │
│ XuanTie-E906:default      │  1 │  1 │  0.58           │  0.58           │      1.00x │         │
╞═══════════════════════════╪════╪════╪═════════════════╪═════════════════╪════════════╪═════════╡
│ Geometric mean            │    │    │                 │                 │      1.00x │         │
╘═══════════════════════════╧════╧════╧═════════════════╧═════════════════╧════════════╧═════════╛

@wsnyder
wsnyder merged commit 1923d23 into verilator:master Sep 10, 2025
95 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

pr: rtlmeter Run RTLMeter workflow on PR

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Fix uvm_sequencer wrong reference type

4 participants