diff --git a/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-bitreverse.ll b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-bitreverse.ll
new file mode 100644
index 00000000000000..9198eba9362c03
--- /dev/null
+++ b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-bitreverse.ll
@@ -0,0 +1,1580 @@
+; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
+; RUN: llc -mtriple=riscv32 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2-RV32
+; RUN: llc -mtriple=riscv64 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2-RV64
+; RUN: llc -mtriple=riscv32 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1
+; RUN: llc -mtriple=riscv64 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1
+
+define void @bitreverse_v8i16(<8 x i16>* %x, <8 x i16>* %y) {
+; CHECK-LABEL: bitreverse_v8i16:
+; CHECK:       # %bb.0:
+; CHECK-NEXT:    addi sp, sp, -16
+; CHECK-NEXT:    .cfi_def_cfa_offset 16
+; CHECK-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; CHECK-NEXT:    vle16.v v25, (a0)
+; CHECK-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 1(sp)
+; CHECK-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; CHECK-NEXT:    vslidedown.vi v26, v25, 14
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 15(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 15
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 14(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 12
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 13(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 13
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 12(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 10
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 11(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 11
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 10(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 8
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 9(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 9
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 8(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 6
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 7(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 7
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 6(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 4
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 5(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 5
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 4(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 2
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 3(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 3
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 2(sp)
+; CHECK-NEXT:    vslidedown.vi v25, v25, 1
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 0(sp)
+; CHECK-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; CHECK-NEXT:    vle8.v v25, (sp)
+; CHECK-NEXT:    vand.vi v26, v25, 15
+; CHECK-NEXT:    vsll.vi v26, v26, 4
+; CHECK-NEXT:    vand.vi v25, v25, -16
+; CHECK-NEXT:    vsrl.vi v25, v25, 4
+; CHECK-NEXT:    vor.vv v25, v25, v26
+; CHECK-NEXT:    addi a1, zero, 51
+; CHECK-NEXT:    vand.vx v26, v25, a1
+; CHECK-NEXT:    vsll.vi v26, v26, 2
+; CHECK-NEXT:    addi a1, zero, 204
+; CHECK-NEXT:    vand.vx v25, v25, a1
+; CHECK-NEXT:    vsrl.vi v25, v25, 2
+; CHECK-NEXT:    vor.vv v25, v25, v26
+; CHECK-NEXT:    addi a1, zero, 85
+; CHECK-NEXT:    vand.vx v26, v25, a1
+; CHECK-NEXT:    vsll.vi v26, v26, 1
+; CHECK-NEXT:    addi a1, zero, 170
+; CHECK-NEXT:    vand.vx v25, v25, a1
+; CHECK-NEXT:    vsrl.vi v25, v25, 1
+; CHECK-NEXT:    vor.vv v25, v25, v26
+; CHECK-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; CHECK-NEXT:    vse16.v v25, (a0)
+; CHECK-NEXT:    addi sp, sp, 16
+; CHECK-NEXT:    ret
+  %a = load <8 x i16>, <8 x i16>* %x
+  %b = load <8 x i16>, <8 x i16>* %y
+  %c = call <8 x i16> @llvm.bitreverse.v8i16(<8 x i16> %a)
+  store <8 x i16> %c, <8 x i16>* %x
+  ret void
+}
+declare <8 x i16> @llvm.bitreverse.v8i16(<8 x i16>)
+
+define void @bitreverse_v4i32(<4 x i32>* %x, <4 x i32>* %y) {
+; CHECK-LABEL: bitreverse_v4i32:
+; CHECK:       # %bb.0:
+; CHECK-NEXT:    addi sp, sp, -16
+; CHECK-NEXT:    .cfi_def_cfa_offset 16
+; CHECK-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; CHECK-NEXT:    vle32.v v25, (a0)
+; CHECK-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 3(sp)
+; CHECK-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; CHECK-NEXT:    vslidedown.vi v26, v25, 12
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 15(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 13
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 14(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 14
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 13(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 15
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 12(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 8
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 11(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 9
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 10(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 10
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 9(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 11
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 8(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 4
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 7(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 5
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 6(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 6
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 5(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 7
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 4(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 1
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 2(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 2
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 1(sp)
+; CHECK-NEXT:    vslidedown.vi v25, v25, 3
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 0(sp)
+; CHECK-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; CHECK-NEXT:    vle8.v v25, (sp)
+; CHECK-NEXT:    vand.vi v26, v25, 15
+; CHECK-NEXT:    vsll.vi v26, v26, 4
+; CHECK-NEXT:    vand.vi v25, v25, -16
+; CHECK-NEXT:    vsrl.vi v25, v25, 4
+; CHECK-NEXT:    vor.vv v25, v25, v26
+; CHECK-NEXT:    addi a1, zero, 51
+; CHECK-NEXT:    vand.vx v26, v25, a1
+; CHECK-NEXT:    vsll.vi v26, v26, 2
+; CHECK-NEXT:    addi a1, zero, 204
+; CHECK-NEXT:    vand.vx v25, v25, a1
+; CHECK-NEXT:    vsrl.vi v25, v25, 2
+; CHECK-NEXT:    vor.vv v25, v25, v26
+; CHECK-NEXT:    addi a1, zero, 85
+; CHECK-NEXT:    vand.vx v26, v25, a1
+; CHECK-NEXT:    vsll.vi v26, v26, 1
+; CHECK-NEXT:    addi a1, zero, 170
+; CHECK-NEXT:    vand.vx v25, v25, a1
+; CHECK-NEXT:    vsrl.vi v25, v25, 1
+; CHECK-NEXT:    vor.vv v25, v25, v26
+; CHECK-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; CHECK-NEXT:    vse32.v v25, (a0)
+; CHECK-NEXT:    addi sp, sp, 16
+; CHECK-NEXT:    ret
+  %a = load <4 x i32>, <4 x i32>* %x
+  %b = load <4 x i32>, <4 x i32>* %y
+  %c = call <4 x i32> @llvm.bitreverse.v4i32(<4 x i32> %a)
+  store <4 x i32> %c, <4 x i32>* %x
+  ret void
+}
+declare <4 x i32> @llvm.bitreverse.v4i32(<4 x i32>)
+
+define void @bitreverse_v2i64(<2 x i64>* %x, <2 x i64>* %y) {
+; CHECK-LABEL: bitreverse_v2i64:
+; CHECK:       # %bb.0:
+; CHECK-NEXT:    addi sp, sp, -16
+; CHECK-NEXT:    .cfi_def_cfa_offset 16
+; CHECK-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; CHECK-NEXT:    vle64.v v25, (a0)
+; CHECK-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 7(sp)
+; CHECK-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; CHECK-NEXT:    vslidedown.vi v26, v25, 8
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 15(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 9
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 14(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 10
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 13(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 11
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 12(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 12
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 11(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 13
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 10(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 14
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 9(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 15
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 8(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 1
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 6(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 2
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 5(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 3
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 4(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 4
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 3(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 5
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 2(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 6
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 1(sp)
+; CHECK-NEXT:    vslidedown.vi v25, v25, 7
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 0(sp)
+; CHECK-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; CHECK-NEXT:    vle8.v v25, (sp)
+; CHECK-NEXT:    vand.vi v26, v25, 15
+; CHECK-NEXT:    vsll.vi v26, v26, 4
+; CHECK-NEXT:    vand.vi v25, v25, -16
+; CHECK-NEXT:    vsrl.vi v25, v25, 4
+; CHECK-NEXT:    vor.vv v25, v25, v26
+; CHECK-NEXT:    addi a1, zero, 51
+; CHECK-NEXT:    vand.vx v26, v25, a1
+; CHECK-NEXT:    vsll.vi v26, v26, 2
+; CHECK-NEXT:    addi a1, zero, 204
+; CHECK-NEXT:    vand.vx v25, v25, a1
+; CHECK-NEXT:    vsrl.vi v25, v25, 2
+; CHECK-NEXT:    vor.vv v25, v25, v26
+; CHECK-NEXT:    addi a1, zero, 85
+; CHECK-NEXT:    vand.vx v26, v25, a1
+; CHECK-NEXT:    vsll.vi v26, v26, 1
+; CHECK-NEXT:    addi a1, zero, 170
+; CHECK-NEXT:    vand.vx v25, v25, a1
+; CHECK-NEXT:    vsrl.vi v25, v25, 1
+; CHECK-NEXT:    vor.vv v25, v25, v26
+; CHECK-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; CHECK-NEXT:    vse64.v v25, (a0)
+; CHECK-NEXT:    addi sp, sp, 16
+; CHECK-NEXT:    ret
+  %a = load <2 x i64>, <2 x i64>* %x
+  %b = load <2 x i64>, <2 x i64>* %y
+  %c = call <2 x i64> @llvm.bitreverse.v2i64(<2 x i64> %a)
+  store <2 x i64> %c, <2 x i64>* %x
+  ret void
+}
+declare <2 x i64> @llvm.bitreverse.v2i64(<2 x i64>)
+
+define void @bitreverse_v16i16(<16 x i16>* %x, <16 x i16>* %y) {
+; LMULMAX2-RV32-LABEL: bitreverse_v16i16:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vand.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vsll.vi v28, v28, 4
+; LMULMAX2-RV32-NEXT:    vand.vi v26, v26, -16
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 4
+; LMULMAX2-RV32-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 51
+; LMULMAX2-RV32-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV32-NEXT:    vsll.vi v28, v28, 2
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 204
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV32-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 85
+; LMULMAX2-RV32-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV32-NEXT:    vsll.vi v28, v28, 1
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 170
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vse16.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: bitreverse_v16i16:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV64-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vand.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vsll.vi v28, v28, 4
+; LMULMAX2-RV64-NEXT:    vand.vi v26, v26, -16
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 4
+; LMULMAX2-RV64-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 51
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV64-NEXT:    vsll.vi v28, v28, 2
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 204
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV64-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 85
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV64-NEXT:    vsll.vi v28, v28, 1
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 170
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 1
+; LMULMAX2-RV64-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vse16.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-LABEL: bitreverse_v16i16:
+; LMULMAX1:       # %bb.0:
+; LMULMAX1-NEXT:    addi sp, sp, -32
+; LMULMAX1-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-NEXT:    addi a1, a0, 16
+; LMULMAX1-NEXT:    vle16.v v26, (a1)
+; LMULMAX1-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 1(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 1, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 15(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 14(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 13(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 12(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 11(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 10(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 9(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 8(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 7(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 6(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 5(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 4(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 3(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 2(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 0(sp)
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 17(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 31(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 30(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 29(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 28(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 27(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 26(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 25(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 24(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 23(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 22(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 21(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 20(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 19(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 18(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 16(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 16, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-NEXT:    vand.vi v26, v25, 15
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 4
+; LMULMAX1-NEXT:    vand.vi v25, v25, -16
+; LMULMAX1-NEXT:    vsrl.vi v25, v25, 4
+; LMULMAX1-NEXT:    vor.vv v25, v25, v26
+; LMULMAX1-NEXT:    addi a2, zero, 51
+; LMULMAX1-NEXT:    vand.vx v26, v25, a2
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 2
+; LMULMAX1-NEXT:    addi a3, zero, 204
+; LMULMAX1-NEXT:    vand.vx v25, v25, a3
+; LMULMAX1-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-NEXT:    vor.vv v25, v25, v26
+; LMULMAX1-NEXT:    addi a4, zero, 85
+; LMULMAX1-NEXT:    vand.vx v26, v25, a4
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 1
+; LMULMAX1-NEXT:    addi a5, zero, 170
+; LMULMAX1-NEXT:    addi a6, sp, 16
+; LMULMAX1-NEXT:    vle8.v v27, (a6)
+; LMULMAX1-NEXT:    vand.vx v25, v25, a5
+; LMULMAX1-NEXT:    vsrl.vi v25, v25, 1
+; LMULMAX1-NEXT:    vor.vv v25, v25, v26
+; LMULMAX1-NEXT:    vand.vi v26, v27, 15
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 4
+; LMULMAX1-NEXT:    vand.vi v27, v27, -16
+; LMULMAX1-NEXT:    vsrl.vi v27, v27, 4
+; LMULMAX1-NEXT:    vor.vv v26, v27, v26
+; LMULMAX1-NEXT:    vand.vx v27, v26, a2
+; LMULMAX1-NEXT:    vsll.vi v27, v27, 2
+; LMULMAX1-NEXT:    vand.vx v26, v26, a3
+; LMULMAX1-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX1-NEXT:    vor.vv v26, v26, v27
+; LMULMAX1-NEXT:    vand.vx v27, v26, a4
+; LMULMAX1-NEXT:    vsll.vi v27, v27, 1
+; LMULMAX1-NEXT:    vand.vx v26, v26, a5
+; LMULMAX1-NEXT:    vsrl.vi v26, v26, 1
+; LMULMAX1-NEXT:    vor.vv v26, v26, v27
+; LMULMAX1-NEXT:    vsetivli a2, 8, e16,m1,ta,mu
+; LMULMAX1-NEXT:    vse16.v v26, (a0)
+; LMULMAX1-NEXT:    vse16.v v25, (a1)
+; LMULMAX1-NEXT:    addi sp, sp, 32
+; LMULMAX1-NEXT:    ret
+  %a = load <16 x i16>, <16 x i16>* %x
+  %b = load <16 x i16>, <16 x i16>* %y
+  %c = call <16 x i16> @llvm.bitreverse.v16i16(<16 x i16> %a)
+  store <16 x i16> %c, <16 x i16>* %x
+  ret void
+}
+declare <16 x i16> @llvm.bitreverse.v16i16(<16 x i16>)
+
+define void @bitreverse_v8i32(<8 x i32>* %x, <8 x i32>* %y) {
+; LMULMAX2-RV32-LABEL: bitreverse_v8i32:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vand.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vsll.vi v28, v28, 4
+; LMULMAX2-RV32-NEXT:    vand.vi v26, v26, -16
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 4
+; LMULMAX2-RV32-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 51
+; LMULMAX2-RV32-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV32-NEXT:    vsll.vi v28, v28, 2
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 204
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV32-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 85
+; LMULMAX2-RV32-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV32-NEXT:    vsll.vi v28, v28, 1
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 170
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vse32.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: bitreverse_v8i32:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV64-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vand.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vsll.vi v28, v28, 4
+; LMULMAX2-RV64-NEXT:    vand.vi v26, v26, -16
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 4
+; LMULMAX2-RV64-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 51
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV64-NEXT:    vsll.vi v28, v28, 2
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 204
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV64-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 85
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV64-NEXT:    vsll.vi v28, v28, 1
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 170
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 1
+; LMULMAX2-RV64-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vse32.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-LABEL: bitreverse_v8i32:
+; LMULMAX1:       # %bb.0:
+; LMULMAX1-NEXT:    addi sp, sp, -32
+; LMULMAX1-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-NEXT:    addi a1, a0, 16
+; LMULMAX1-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 3(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 1, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 15(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 14(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 13(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 12(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 11(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 10(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 9(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 8(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 7(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 6(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 5(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 4(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 2(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 1(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v26, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 0(sp)
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 19(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 31(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 30(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 29(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 28(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 27(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 26(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 25(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 24(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 23(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 22(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 21(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 20(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 18(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 17(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v25, v25, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 16(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 16, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-NEXT:    vand.vi v26, v25, 15
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 4
+; LMULMAX1-NEXT:    vand.vi v25, v25, -16
+; LMULMAX1-NEXT:    vsrl.vi v25, v25, 4
+; LMULMAX1-NEXT:    vor.vv v25, v25, v26
+; LMULMAX1-NEXT:    addi a2, zero, 51
+; LMULMAX1-NEXT:    vand.vx v26, v25, a2
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 2
+; LMULMAX1-NEXT:    addi a3, zero, 204
+; LMULMAX1-NEXT:    vand.vx v25, v25, a3
+; LMULMAX1-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-NEXT:    vor.vv v25, v25, v26
+; LMULMAX1-NEXT:    addi a4, zero, 85
+; LMULMAX1-NEXT:    vand.vx v26, v25, a4
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 1
+; LMULMAX1-NEXT:    addi a5, zero, 170
+; LMULMAX1-NEXT:    addi a6, sp, 16
+; LMULMAX1-NEXT:    vle8.v v27, (a6)
+; LMULMAX1-NEXT:    vand.vx v25, v25, a5
+; LMULMAX1-NEXT:    vsrl.vi v25, v25, 1
+; LMULMAX1-NEXT:    vor.vv v25, v25, v26
+; LMULMAX1-NEXT:    vand.vi v26, v27, 15
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 4
+; LMULMAX1-NEXT:    vand.vi v27, v27, -16
+; LMULMAX1-NEXT:    vsrl.vi v27, v27, 4
+; LMULMAX1-NEXT:    vor.vv v26, v27, v26
+; LMULMAX1-NEXT:    vand.vx v27, v26, a2
+; LMULMAX1-NEXT:    vsll.vi v27, v27, 2
+; LMULMAX1-NEXT:    vand.vx v26, v26, a3
+; LMULMAX1-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX1-NEXT:    vor.vv v26, v26, v27
+; LMULMAX1-NEXT:    vand.vx v27, v26, a4
+; LMULMAX1-NEXT:    vsll.vi v27, v27, 1
+; LMULMAX1-NEXT:    vand.vx v26, v26, a5
+; LMULMAX1-NEXT:    vsrl.vi v26, v26, 1
+; LMULMAX1-NEXT:    vor.vv v26, v26, v27
+; LMULMAX1-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX1-NEXT:    vse32.v v26, (a0)
+; LMULMAX1-NEXT:    vse32.v v25, (a1)
+; LMULMAX1-NEXT:    addi sp, sp, 32
+; LMULMAX1-NEXT:    ret
+  %a = load <8 x i32>, <8 x i32>* %x
+  %b = load <8 x i32>, <8 x i32>* %y
+  %c = call <8 x i32> @llvm.bitreverse.v8i32(<8 x i32> %a)
+  store <8 x i32> %c, <8 x i32>* %x
+  ret void
+}
+declare <8 x i32> @llvm.bitreverse.v8i32(<8 x i32>)
+
+define void @bitreverse_v4i64(<4 x i64>* %x, <4 x i64>* %y) {
+; LMULMAX2-RV32-LABEL: bitreverse_v4i64:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle64.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vand.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vsll.vi v28, v28, 4
+; LMULMAX2-RV32-NEXT:    vand.vi v26, v26, -16
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 4
+; LMULMAX2-RV32-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 51
+; LMULMAX2-RV32-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV32-NEXT:    vsll.vi v28, v28, 2
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 204
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV32-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 85
+; LMULMAX2-RV32-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV32-NEXT:    vsll.vi v28, v28, 1
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 170
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vse64.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: bitreverse_v4i64:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV64-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vand.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vsll.vi v28, v28, 4
+; LMULMAX2-RV64-NEXT:    vand.vi v26, v26, -16
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 4
+; LMULMAX2-RV64-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 51
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV64-NEXT:    vsll.vi v28, v28, 2
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 204
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV64-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 85
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV64-NEXT:    vsll.vi v28, v28, 1
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 170
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 1
+; LMULMAX2-RV64-NEXT:    vor.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vse64.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-LABEL: bitreverse_v4i64:
+; LMULMAX1:       # %bb.0:
+; LMULMAX1-NEXT:    addi sp, sp, -32
+; LMULMAX1-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-NEXT:    addi a1, a0, 16
+; LMULMAX1-NEXT:    vle64.v v26, (a1)
+; LMULMAX1-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 7(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 1, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 15(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 14(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 13(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 12(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 11(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 10(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 9(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 8(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 6(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 5(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 4(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 3(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 2(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 1(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v26, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 0(sp)
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 23(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 31(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 30(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 29(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 28(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 27(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 26(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 25(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 24(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 22(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 21(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 20(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 19(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 18(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 17(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v25, v25, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 16(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 16, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-NEXT:    vand.vi v26, v25, 15
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 4
+; LMULMAX1-NEXT:    vand.vi v25, v25, -16
+; LMULMAX1-NEXT:    vsrl.vi v25, v25, 4
+; LMULMAX1-NEXT:    vor.vv v25, v25, v26
+; LMULMAX1-NEXT:    addi a2, zero, 51
+; LMULMAX1-NEXT:    vand.vx v26, v25, a2
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 2
+; LMULMAX1-NEXT:    addi a3, zero, 204
+; LMULMAX1-NEXT:    vand.vx v25, v25, a3
+; LMULMAX1-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-NEXT:    vor.vv v25, v25, v26
+; LMULMAX1-NEXT:    addi a4, zero, 85
+; LMULMAX1-NEXT:    vand.vx v26, v25, a4
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 1
+; LMULMAX1-NEXT:    addi a5, zero, 170
+; LMULMAX1-NEXT:    addi a6, sp, 16
+; LMULMAX1-NEXT:    vle8.v v27, (a6)
+; LMULMAX1-NEXT:    vand.vx v25, v25, a5
+; LMULMAX1-NEXT:    vsrl.vi v25, v25, 1
+; LMULMAX1-NEXT:    vor.vv v25, v25, v26
+; LMULMAX1-NEXT:    vand.vi v26, v27, 15
+; LMULMAX1-NEXT:    vsll.vi v26, v26, 4
+; LMULMAX1-NEXT:    vand.vi v27, v27, -16
+; LMULMAX1-NEXT:    vsrl.vi v27, v27, 4
+; LMULMAX1-NEXT:    vor.vv v26, v27, v26
+; LMULMAX1-NEXT:    vand.vx v27, v26, a2
+; LMULMAX1-NEXT:    vsll.vi v27, v27, 2
+; LMULMAX1-NEXT:    vand.vx v26, v26, a3
+; LMULMAX1-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX1-NEXT:    vor.vv v26, v26, v27
+; LMULMAX1-NEXT:    vand.vx v27, v26, a4
+; LMULMAX1-NEXT:    vsll.vi v27, v27, 1
+; LMULMAX1-NEXT:    vand.vx v26, v26, a5
+; LMULMAX1-NEXT:    vsrl.vi v26, v26, 1
+; LMULMAX1-NEXT:    vor.vv v26, v26, v27
+; LMULMAX1-NEXT:    vsetivli a2, 2, e64,m1,ta,mu
+; LMULMAX1-NEXT:    vse64.v v26, (a0)
+; LMULMAX1-NEXT:    vse64.v v25, (a1)
+; LMULMAX1-NEXT:    addi sp, sp, 32
+; LMULMAX1-NEXT:    ret
+  %a = load <4 x i64>, <4 x i64>* %x
+  %b = load <4 x i64>, <4 x i64>* %y
+  %c = call <4 x i64> @llvm.bitreverse.v4i64(<4 x i64> %a)
+  store <4 x i64> %c, <4 x i64>* %x
+  ret void
+}
+declare <4 x i64> @llvm.bitreverse.v4i64(<4 x i64>)
diff --git a/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-bswap.ll b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-bswap.ll
new file mode 100644
index 00000000000000..b9c999daa4d7d6
--- /dev/null
+++ b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-bswap.ll
@@ -0,0 +1,1307 @@
+; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
+; RUN: llc -mtriple=riscv32 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2-RV32
+; RUN: llc -mtriple=riscv64 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2-RV64
+; RUN: llc -mtriple=riscv32 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1
+; RUN: llc -mtriple=riscv64 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1
+
+define void @bswap_v8i16(<8 x i16>* %x, <8 x i16>* %y) {
+; CHECK-LABEL: bswap_v8i16:
+; CHECK:       # %bb.0:
+; CHECK-NEXT:    addi sp, sp, -16
+; CHECK-NEXT:    .cfi_def_cfa_offset 16
+; CHECK-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; CHECK-NEXT:    vle16.v v25, (a0)
+; CHECK-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 1(sp)
+; CHECK-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; CHECK-NEXT:    vslidedown.vi v26, v25, 14
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 15(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 15
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 14(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 12
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 13(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 13
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 12(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 10
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 11(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 11
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 10(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 8
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 9(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 9
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 8(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 6
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 7(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 7
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 6(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 4
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 5(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 5
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 4(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 2
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 3(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 3
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 2(sp)
+; CHECK-NEXT:    vslidedown.vi v25, v25, 1
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 0(sp)
+; CHECK-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; CHECK-NEXT:    vle8.v v25, (sp)
+; CHECK-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; CHECK-NEXT:    vse16.v v25, (a0)
+; CHECK-NEXT:    addi sp, sp, 16
+; CHECK-NEXT:    ret
+  %a = load <8 x i16>, <8 x i16>* %x
+  %b = load <8 x i16>, <8 x i16>* %y
+  %c = call <8 x i16> @llvm.bswap.v8i16(<8 x i16> %a)
+  store <8 x i16> %c, <8 x i16>* %x
+  ret void
+}
+declare <8 x i16> @llvm.bswap.v8i16(<8 x i16>)
+
+define void @bswap_v4i32(<4 x i32>* %x, <4 x i32>* %y) {
+; CHECK-LABEL: bswap_v4i32:
+; CHECK:       # %bb.0:
+; CHECK-NEXT:    addi sp, sp, -16
+; CHECK-NEXT:    .cfi_def_cfa_offset 16
+; CHECK-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; CHECK-NEXT:    vle32.v v25, (a0)
+; CHECK-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 3(sp)
+; CHECK-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; CHECK-NEXT:    vslidedown.vi v26, v25, 12
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 15(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 13
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 14(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 14
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 13(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 15
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 12(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 8
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 11(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 9
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 10(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 10
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 9(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 11
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 8(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 4
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 7(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 5
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 6(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 6
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 5(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 7
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 4(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 1
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 2(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 2
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 1(sp)
+; CHECK-NEXT:    vslidedown.vi v25, v25, 3
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 0(sp)
+; CHECK-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; CHECK-NEXT:    vle8.v v25, (sp)
+; CHECK-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; CHECK-NEXT:    vse32.v v25, (a0)
+; CHECK-NEXT:    addi sp, sp, 16
+; CHECK-NEXT:    ret
+  %a = load <4 x i32>, <4 x i32>* %x
+  %b = load <4 x i32>, <4 x i32>* %y
+  %c = call <4 x i32> @llvm.bswap.v4i32(<4 x i32> %a)
+  store <4 x i32> %c, <4 x i32>* %x
+  ret void
+}
+declare <4 x i32> @llvm.bswap.v4i32(<4 x i32>)
+
+define void @bswap_v2i64(<2 x i64>* %x, <2 x i64>* %y) {
+; CHECK-LABEL: bswap_v2i64:
+; CHECK:       # %bb.0:
+; CHECK-NEXT:    addi sp, sp, -16
+; CHECK-NEXT:    .cfi_def_cfa_offset 16
+; CHECK-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; CHECK-NEXT:    vle64.v v25, (a0)
+; CHECK-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 7(sp)
+; CHECK-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; CHECK-NEXT:    vslidedown.vi v26, v25, 8
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 15(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 9
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 14(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 10
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 13(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 11
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 12(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 12
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 11(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 13
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 10(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 14
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 9(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 15
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 8(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 1
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 6(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 2
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 5(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 3
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 4(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 4
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 3(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 5
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 2(sp)
+; CHECK-NEXT:    vslidedown.vi v26, v25, 6
+; CHECK-NEXT:    vmv.x.s a1, v26
+; CHECK-NEXT:    sb a1, 1(sp)
+; CHECK-NEXT:    vslidedown.vi v25, v25, 7
+; CHECK-NEXT:    vmv.x.s a1, v25
+; CHECK-NEXT:    sb a1, 0(sp)
+; CHECK-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; CHECK-NEXT:    vle8.v v25, (sp)
+; CHECK-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; CHECK-NEXT:    vse64.v v25, (a0)
+; CHECK-NEXT:    addi sp, sp, 16
+; CHECK-NEXT:    ret
+  %a = load <2 x i64>, <2 x i64>* %x
+  %b = load <2 x i64>, <2 x i64>* %y
+  %c = call <2 x i64> @llvm.bswap.v2i64(<2 x i64> %a)
+  store <2 x i64> %c, <2 x i64>* %x
+  ret void
+}
+declare <2 x i64> @llvm.bswap.v2i64(<2 x i64>)
+
+define void @bswap_v16i16(<16 x i16>* %x, <16 x i16>* %y) {
+; LMULMAX2-RV32-LABEL: bswap_v16i16:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vse16.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: bswap_v16i16:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV64-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vse16.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-LABEL: bswap_v16i16:
+; LMULMAX1:       # %bb.0:
+; LMULMAX1-NEXT:    addi sp, sp, -32
+; LMULMAX1-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-NEXT:    addi a1, a0, 16
+; LMULMAX1-NEXT:    vle16.v v26, (a1)
+; LMULMAX1-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 1(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 1, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 15(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 14(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 13(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 12(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 11(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 10(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 9(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 8(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 7(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 6(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 5(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 4(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 3(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 2(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 0(sp)
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 17(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 31(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 30(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 29(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 28(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 27(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 26(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 25(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 24(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 23(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 22(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 21(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 20(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 19(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 18(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 16(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 16, e8,m1,ta,mu
+; LMULMAX1-NEXT:    addi a2, sp, 16
+; LMULMAX1-NEXT:    vle8.v v25, (a2)
+; LMULMAX1-NEXT:    vle8.v v26, (sp)
+; LMULMAX1-NEXT:    vsetivli a2, 8, e16,m1,ta,mu
+; LMULMAX1-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-NEXT:    vse16.v v26, (a1)
+; LMULMAX1-NEXT:    addi sp, sp, 32
+; LMULMAX1-NEXT:    ret
+  %a = load <16 x i16>, <16 x i16>* %x
+  %b = load <16 x i16>, <16 x i16>* %y
+  %c = call <16 x i16> @llvm.bswap.v16i16(<16 x i16> %a)
+  store <16 x i16> %c, <16 x i16>* %x
+  ret void
+}
+declare <16 x i16> @llvm.bswap.v16i16(<16 x i16>)
+
+define void @bswap_v8i32(<8 x i32>* %x, <8 x i32>* %y) {
+; LMULMAX2-RV32-LABEL: bswap_v8i32:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vse32.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: bswap_v8i32:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV64-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vse32.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-LABEL: bswap_v8i32:
+; LMULMAX1:       # %bb.0:
+; LMULMAX1-NEXT:    addi sp, sp, -32
+; LMULMAX1-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-NEXT:    addi a1, a0, 16
+; LMULMAX1-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 3(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 1, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 15(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 14(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 13(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 12(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 11(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 10(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 9(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 8(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 7(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 6(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 5(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 4(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 2(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 1(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v26, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 0(sp)
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 19(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 31(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 30(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 29(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 28(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 27(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 26(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 25(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 24(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 23(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 22(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 21(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 20(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 18(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 17(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v25, v25, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 16(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 16, e8,m1,ta,mu
+; LMULMAX1-NEXT:    addi a2, sp, 16
+; LMULMAX1-NEXT:    vle8.v v25, (a2)
+; LMULMAX1-NEXT:    vle8.v v26, (sp)
+; LMULMAX1-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX1-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-NEXT:    vse32.v v26, (a1)
+; LMULMAX1-NEXT:    addi sp, sp, 32
+; LMULMAX1-NEXT:    ret
+  %a = load <8 x i32>, <8 x i32>* %x
+  %b = load <8 x i32>, <8 x i32>* %y
+  %c = call <8 x i32> @llvm.bswap.v8i32(<8 x i32> %a)
+  store <8 x i32> %c, <8 x i32>* %x
+  ret void
+}
+declare <8 x i32> @llvm.bswap.v8i32(<8 x i32>)
+
+define void @bswap_v4i64(<4 x i64>* %x, <4 x i64>* %y) {
+; LMULMAX2-RV32-LABEL: bswap_v4i64:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle64.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vse64.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: bswap_v4i64:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsetvli zero, zero, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 32
+; LMULMAX2-RV64-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vse64.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-LABEL: bswap_v4i64:
+; LMULMAX1:       # %bb.0:
+; LMULMAX1-NEXT:    addi sp, sp, -32
+; LMULMAX1-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-NEXT:    addi a1, a0, 16
+; LMULMAX1-NEXT:    vle64.v v26, (a1)
+; LMULMAX1-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-NEXT:    vsetvli zero, zero, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 7(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 1, e8,m1,ta,mu
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 15(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 14(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 13(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 12(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 11(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 10(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 9(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 8(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 6(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 5(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 4(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 3(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 2(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-NEXT:    sb a2, 1(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v26, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 0(sp)
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 23(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 31(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 30(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 29(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 28(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 27(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 26(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 25(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 24(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 22(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 21(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 20(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 19(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 18(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-NEXT:    sb a2, 17(sp)
+; LMULMAX1-NEXT:    vslidedown.vi v25, v25, 7
+; LMULMAX1-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-NEXT:    sb a2, 16(sp)
+; LMULMAX1-NEXT:    vsetivli a2, 16, e8,m1,ta,mu
+; LMULMAX1-NEXT:    addi a2, sp, 16
+; LMULMAX1-NEXT:    vle8.v v25, (a2)
+; LMULMAX1-NEXT:    vle8.v v26, (sp)
+; LMULMAX1-NEXT:    vsetivli a2, 2, e64,m1,ta,mu
+; LMULMAX1-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-NEXT:    vse64.v v26, (a1)
+; LMULMAX1-NEXT:    addi sp, sp, 32
+; LMULMAX1-NEXT:    ret
+  %a = load <4 x i64>, <4 x i64>* %x
+  %b = load <4 x i64>, <4 x i64>* %y
+  %c = call <4 x i64> @llvm.bswap.v4i64(<4 x i64> %a)
+  store <4 x i64> %c, <4 x i64>* %x
+  ret void
+}
+declare <4 x i64> @llvm.bswap.v4i64(<4 x i64>)
diff --git a/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-ctlz.ll b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-ctlz.ll
new file mode 100644
index 00000000000000..d173aa8bf1c53b
--- /dev/null
+++ b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-ctlz.ll
@@ -0,0 +1,11960 @@
+; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
+; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX2-RV32
+; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX2-RV64
+; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV32
+; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV64
+
+define void @ctlz_v16i8(<16 x i8>* %x, <16 x i8>* %y) {
+; LMULMAX2-RV32-LABEL: ctlz_v16i8:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a2, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV32-NEXT:    and a3, a3, a6
+; LMULMAX2-RV32-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV32-NEXT:    lui a2, 209715
+; LMULMAX2-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV32-NEXT:    and a4, a3, a2
+; LMULMAX2-RV32-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV32-NEXT:    and a3, a3, a2
+; LMULMAX2-RV32-NEXT:    add a3, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV32-NEXT:    add a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 61681
+; LMULMAX2-RV32-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    lui a4, 4112
+; LMULMAX2-RV32-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV32-NEXT:    mul a5, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a5, 24
+; LMULMAX2-RV32-NEXT:    addi a5, a5, -24
+; LMULMAX2-RV32-NEXT:    sb a5, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a5, 1, e8,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v26
+; LMULMAX2-RV32-NEXT:    andi a5, a5, 255
+; LMULMAX2-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV32-NEXT:    or a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v25, (sp)
+; LMULMAX2-RV32-NEXT:    vse8.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctlz_v16i8:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a2, a1
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 21845
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV64-NEXT:    lui a2, 13107
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    and a4, a3, a2
+; LMULMAX2-RV64-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV64-NEXT:    and a3, a3, a2
+; LMULMAX2-RV64-NEXT:    add a3, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV64-NEXT:    add a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 3855
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    lui a4, 4112
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 257
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV64-NEXT:    mul a5, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a5, 56
+; LMULMAX2-RV64-NEXT:    addi a5, a5, -56
+; LMULMAX2-RV64-NEXT:    sb a5, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a5, 1, e8,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a5, v26
+; LMULMAX2-RV64-NEXT:    andi a5, a5, 255
+; LMULMAX2-RV64-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV64-NEXT:    or a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v25, (sp)
+; LMULMAX2-RV64-NEXT:    vse8.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctlz_v16i8:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle8.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a2, a1
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    lui a1, 349525
+; LMULMAX1-RV32-NEXT:    addi a6, a1, 1365
+; LMULMAX1-RV32-NEXT:    and a3, a3, a6
+; LMULMAX1-RV32-NEXT:    sub a3, a2, a3
+; LMULMAX1-RV32-NEXT:    lui a2, 209715
+; LMULMAX1-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV32-NEXT:    and a4, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a3, 2
+; LMULMAX1-RV32-NEXT:    and a3, a3, a2
+; LMULMAX1-RV32-NEXT:    add a3, a4, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a3, 4
+; LMULMAX1-RV32-NEXT:    add a4, a3, a4
+; LMULMAX1-RV32-NEXT:    lui a3, 61681
+; LMULMAX1-RV32-NEXT:    addi a3, a3, -241
+; LMULMAX1-RV32-NEXT:    and a5, a4, a3
+; LMULMAX1-RV32-NEXT:    lui a4, 4112
+; LMULMAX1-RV32-NEXT:    addi a4, a4, 257
+; LMULMAX1-RV32-NEXT:    mul a5, a5, a4
+; LMULMAX1-RV32-NEXT:    srli a5, a5, 24
+; LMULMAX1-RV32-NEXT:    addi a5, a5, -24
+; LMULMAX1-RV32-NEXT:    sb a5, 0(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a5, 1, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-RV32-NEXT:    vmv.x.s a5, v26
+; LMULMAX1-RV32-NEXT:    andi a5, a5, 255
+; LMULMAX1-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX1-RV32-NEXT:    or a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    vse8.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctlz_v16i8:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle8.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a2, a1
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    lui a1, 21845
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a6, a1, 1365
+; LMULMAX1-RV64-NEXT:    and a3, a3, a6
+; LMULMAX1-RV64-NEXT:    sub a3, a2, a3
+; LMULMAX1-RV64-NEXT:    lui a2, 13107
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    and a4, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a3, 2
+; LMULMAX1-RV64-NEXT:    and a3, a3, a2
+; LMULMAX1-RV64-NEXT:    add a3, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 4
+; LMULMAX1-RV64-NEXT:    add a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 3855
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 241
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 241
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    lui a4, 4112
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 257
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX1-RV64-NEXT:    mul a5, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a5, 56
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -56
+; LMULMAX1-RV64-NEXT:    sb a5, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a5, 1, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-RV64-NEXT:    vmv.x.s a5, v26
+; LMULMAX1-RV64-NEXT:    andi a5, a5, 255
+; LMULMAX1-RV64-NEXT:    srli a1, a5, 1
+; LMULMAX1-RV64-NEXT:    or a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    vse8.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <16 x i8>, <16 x i8>* %x
+  %b = load <16 x i8>, <16 x i8>* %y
+  %c = call <16 x i8> @llvm.ctlz.v16i8(<16 x i8> %a, i1 false)
+  store <16 x i8> %c, <16 x i8>* %x
+  ret void
+}
+declare <16 x i8> @llvm.ctlz.v16i8(<16 x i8>, i1)
+
+define void @ctlz_v8i16(<8 x i16>* %x, <8 x i16>* %y) {
+; LMULMAX2-RV32-LABEL: ctlz_v8i16:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a2, v25
+; LMULMAX2-RV32-NEXT:    lui a1, 16
+; LMULMAX2-RV32-NEXT:    addi a6, a1, -1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a6
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    not a3, a2
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV32-NEXT:    lui a2, 349525
+; LMULMAX2-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV32-NEXT:    and a4, a4, a7
+; LMULMAX2-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 209715
+; LMULMAX2-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV32-NEXT:    and a4, a4, a3
+; LMULMAX2-RV32-NEXT:    add a4, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV32-NEXT:    add a5, a4, a5
+; LMULMAX2-RV32-NEXT:    lui a4, 61681
+; LMULMAX2-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV32-NEXT:    and a1, a5, a4
+; LMULMAX2-RV32-NEXT:    lui a5, 4112
+; LMULMAX2-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e16,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v25, (sp)
+; LMULMAX2-RV32-NEXT:    vse16.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctlz_v8i16:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a2, v25
+; LMULMAX2-RV64-NEXT:    lui a1, 16
+; LMULMAX2-RV64-NEXT:    addiw a6, a1, -1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a6
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    not a3, a2
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV64-NEXT:    lui a2, 21845
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 13107
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV64-NEXT:    and a4, a4, a3
+; LMULMAX2-RV64-NEXT:    add a4, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV64-NEXT:    add a5, a4, a5
+; LMULMAX2-RV64-NEXT:    lui a4, 3855
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    and a1, a5, a4
+; LMULMAX2-RV64-NEXT:    lui a5, 4112
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e16,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v25, (sp)
+; LMULMAX2-RV64-NEXT:    vse16.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctlz_v8i16:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV32-NEXT:    lui a1, 16
+; LMULMAX1-RV32-NEXT:    addi a6, a1, -1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a6
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a3, a2
+; LMULMAX1-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV32-NEXT:    lui a2, 349525
+; LMULMAX1-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV32-NEXT:    and a4, a4, a7
+; LMULMAX1-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV32-NEXT:    lui a3, 209715
+; LMULMAX1-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV32-NEXT:    and a5, a4, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV32-NEXT:    and a4, a4, a3
+; LMULMAX1-RV32-NEXT:    add a4, a5, a4
+; LMULMAX1-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV32-NEXT:    add a5, a4, a5
+; LMULMAX1-RV32-NEXT:    lui a4, 61681
+; LMULMAX1-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV32-NEXT:    and a1, a5, a4
+; LMULMAX1-RV32-NEXT:    lui a5, 4112
+; LMULMAX1-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX1-RV32-NEXT:    sh a1, 0(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    and a1, a1, a6
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX1-RV32-NEXT:    sh a1, 14(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    and a1, a1, a6
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX1-RV32-NEXT:    sh a1, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    and a1, a1, a6
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX1-RV32-NEXT:    sh a1, 10(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    and a1, a1, a6
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX1-RV32-NEXT:    sh a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    and a1, a1, a6
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX1-RV32-NEXT:    sh a1, 6(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    and a1, a1, a6
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX1-RV32-NEXT:    sh a1, 4(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    and a1, a1, a6
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX1-RV32-NEXT:    sh a1, 2(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle16.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctlz_v8i16:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV64-NEXT:    lui a1, 16
+; LMULMAX1-RV64-NEXT:    addiw a6, a1, -1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a6
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a3, a2
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 21845
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 13107
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV64-NEXT:    and a4, a4, a3
+; LMULMAX1-RV64-NEXT:    add a4, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV64-NEXT:    add a5, a4, a5
+; LMULMAX1-RV64-NEXT:    lui a4, 3855
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    and a1, a5, a4
+; LMULMAX1-RV64-NEXT:    lui a5, 4112
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX1-RV64-NEXT:    sh a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 1, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    and a1, a1, a6
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX1-RV64-NEXT:    sh a1, 14(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    and a1, a1, a6
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX1-RV64-NEXT:    sh a1, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    and a1, a1, a6
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX1-RV64-NEXT:    sh a1, 10(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    and a1, a1, a6
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX1-RV64-NEXT:    sh a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    and a1, a1, a6
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX1-RV64-NEXT:    sh a1, 6(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    and a1, a1, a6
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX1-RV64-NEXT:    sh a1, 4(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    and a1, a1, a6
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX1-RV64-NEXT:    sh a1, 2(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle16.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <8 x i16>, <8 x i16>* %x
+  %b = load <8 x i16>, <8 x i16>* %y
+  %c = call <8 x i16> @llvm.ctlz.v8i16(<8 x i16> %a, i1 false)
+  store <8 x i16> %c, <8 x i16>* %x
+  ret void
+}
+declare <8 x i16> @llvm.ctlz.v8i16(<8 x i16>, i1)
+
+define void @ctlz_v4i32(<4 x i32>* %x, <4 x i32>* %y) {
+; LMULMAX2-RV32-LABEL: ctlz_v4i32:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a2, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV32-NEXT:    and a3, a3, a6
+; LMULMAX2-RV32-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV32-NEXT:    lui a2, 209715
+; LMULMAX2-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV32-NEXT:    and a4, a3, a2
+; LMULMAX2-RV32-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV32-NEXT:    and a3, a3, a2
+; LMULMAX2-RV32-NEXT:    add a3, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV32-NEXT:    add a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 61681
+; LMULMAX2-RV32-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    lui a4, 4112
+; LMULMAX2-RV32-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV32-NEXT:    mul a5, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a5, 24
+; LMULMAX2-RV32-NEXT:    sw a5, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a5, 1, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v26
+; LMULMAX2-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV32-NEXT:    or a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX2-RV32-NEXT:    vse32.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctlz_v4i32:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV64-NEXT:    srliw a2, a1, 1
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a2, a1
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 21845
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV64-NEXT:    lui a2, 13107
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    and a4, a3, a2
+; LMULMAX2-RV64-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV64-NEXT:    and a3, a3, a2
+; LMULMAX2-RV64-NEXT:    add a3, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV64-NEXT:    add a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 3855
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    lui a4, 4112
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 257
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV64-NEXT:    mul a5, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a5, 56
+; LMULMAX2-RV64-NEXT:    addi a5, a5, -32
+; LMULMAX2-RV64-NEXT:    sw a5, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a5, 1, e32,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a5, v26
+; LMULMAX2-RV64-NEXT:    srliw a1, a5, 1
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 32
+; LMULMAX2-RV64-NEXT:    srli a5, a5, 32
+; LMULMAX2-RV64-NEXT:    or a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX2-RV64-NEXT:    sw a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    srliw a5, a1, 1
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX2-RV64-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV64-NEXT:    srliw a5, a1, 1
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX2-RV64-NEXT:    sw a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v25, (sp)
+; LMULMAX2-RV64-NEXT:    vse32.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctlz_v4i32:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a2, a1
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    lui a1, 349525
+; LMULMAX1-RV32-NEXT:    addi a6, a1, 1365
+; LMULMAX1-RV32-NEXT:    and a3, a3, a6
+; LMULMAX1-RV32-NEXT:    sub a3, a2, a3
+; LMULMAX1-RV32-NEXT:    lui a2, 209715
+; LMULMAX1-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV32-NEXT:    and a4, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a3, 2
+; LMULMAX1-RV32-NEXT:    and a3, a3, a2
+; LMULMAX1-RV32-NEXT:    add a3, a4, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a3, 4
+; LMULMAX1-RV32-NEXT:    add a4, a3, a4
+; LMULMAX1-RV32-NEXT:    lui a3, 61681
+; LMULMAX1-RV32-NEXT:    addi a3, a3, -241
+; LMULMAX1-RV32-NEXT:    and a5, a4, a3
+; LMULMAX1-RV32-NEXT:    lui a4, 4112
+; LMULMAX1-RV32-NEXT:    addi a4, a4, 257
+; LMULMAX1-RV32-NEXT:    mul a5, a5, a4
+; LMULMAX1-RV32-NEXT:    srli a5, a5, 24
+; LMULMAX1-RV32-NEXT:    sw a5, 0(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a5, 1, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a5, v26
+; LMULMAX1-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX1-RV32-NEXT:    or a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 4(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctlz_v4i32:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    srliw a2, a1, 1
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a2, a1
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    lui a1, 21845
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a6, a1, 1365
+; LMULMAX1-RV64-NEXT:    and a3, a3, a6
+; LMULMAX1-RV64-NEXT:    sub a3, a2, a3
+; LMULMAX1-RV64-NEXT:    lui a2, 13107
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    and a4, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a3, 2
+; LMULMAX1-RV64-NEXT:    and a3, a3, a2
+; LMULMAX1-RV64-NEXT:    add a3, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 4
+; LMULMAX1-RV64-NEXT:    add a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 3855
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 241
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 241
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    lui a4, 4112
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 257
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX1-RV64-NEXT:    mul a5, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a5, 56
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -32
+; LMULMAX1-RV64-NEXT:    sw a5, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a5, 1, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a5, v26
+; LMULMAX1-RV64-NEXT:    srliw a1, a5, 1
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 32
+; LMULMAX1-RV64-NEXT:    srli a5, a5, 32
+; LMULMAX1-RV64-NEXT:    or a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    srliw a5, a1, 1
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    srliw a5, a1, 1
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a5
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 4(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <4 x i32>, <4 x i32>* %x
+  %b = load <4 x i32>, <4 x i32>* %y
+  %c = call <4 x i32> @llvm.ctlz.v4i32(<4 x i32> %a, i1 false)
+  store <4 x i32> %c, <4 x i32>* %x
+  ret void
+}
+declare <4 x i32> @llvm.ctlz.v4i32(<4 x i32>, i1)
+
+define void @ctlz_v2i64(<2 x i64>* %x, <2 x i64>* %y) {
+; LMULMAX2-RV32-LABEL: ctlz_v2i64:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle64.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    sw zero, 12(sp)
+; LMULMAX2-RV32-NEXT:    sw zero, 4(sp)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v25
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a4, a1, 1365
+; LMULMAX2-RV32-NEXT:    lui a1, 209715
+; LMULMAX2-RV32-NEXT:    addi a3, a1, 819
+; LMULMAX2-RV32-NEXT:    lui a1, 61681
+; LMULMAX2-RV32-NEXT:    addi a7, a1, -241
+; LMULMAX2-RV32-NEXT:    lui a2, 4112
+; LMULMAX2-RV32-NEXT:    addi a6, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vx v26, v25, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    addi a2, a2, 257
+; LMULMAX2-RV32-NEXT:    bnez a1, .LBB3_2
+; LMULMAX2-RV32-NEXT:  # %bb.1:
+; LMULMAX2-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV32-NEXT:    or a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a5, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB3_3
+; LMULMAX2-RV32-NEXT:  .LBB3_2:
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB3_3:
+; LMULMAX2-RV32-NEXT:    sw a5, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV32-NEXT:    vsrl.vx v26, v25, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v25
+; LMULMAX2-RV32-NEXT:    bnez a1, .LBB3_5
+; LMULMAX2-RV32-NEXT:  # %bb.4:
+; LMULMAX2-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV32-NEXT:    or a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a4, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX2-RV32-NEXT:    and a4, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a4, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB3_6
+; LMULMAX2-RV32-NEXT:  .LBB3_5:
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a4, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX2-RV32-NEXT:    and a4, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a4, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB3_6:
+; LMULMAX2-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vse64.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctlz_v2i64:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    lui a3, 21845
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 1365
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a6, a3, 1365
+; LMULMAX2-RV64-NEXT:    and a2, a2, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    lui a2, 13107
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    and a4, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a4, a1
+; LMULMAX2-RV64-NEXT:    srli a4, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a4
+; LMULMAX2-RV64-NEXT:    lui a4, 3855
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    lui a5, 4112
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sd a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a3
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 1
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a3
+; LMULMAX2-RV64-NEXT:    and a3, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a3, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sd a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v25, (sp)
+; LMULMAX2-RV64-NEXT:    vse64.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctlz_v2i64:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    sw zero, 12(sp)
+; LMULMAX1-RV32-NEXT:    sw zero, 4(sp)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a5, v25
+; LMULMAX1-RV32-NEXT:    lui a1, 349525
+; LMULMAX1-RV32-NEXT:    addi a4, a1, 1365
+; LMULMAX1-RV32-NEXT:    lui a1, 209715
+; LMULMAX1-RV32-NEXT:    addi a3, a1, 819
+; LMULMAX1-RV32-NEXT:    lui a1, 61681
+; LMULMAX1-RV32-NEXT:    addi a7, a1, -241
+; LMULMAX1-RV32-NEXT:    lui a2, 4112
+; LMULMAX1-RV32-NEXT:    addi a6, zero, 32
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vx v26, v25, a6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    addi a2, a2, 257
+; LMULMAX1-RV32-NEXT:    bnez a1, .LBB3_2
+; LMULMAX1-RV32-NEXT:  # %bb.1:
+; LMULMAX1-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX1-RV32-NEXT:    or a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a4
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a7
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a5, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB3_3
+; LMULMAX1-RV32-NEXT:  .LBB3_2:
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a4
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a7
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB3_3:
+; LMULMAX1-RV32-NEXT:    sw a5, 0(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vsrl.vx v26, v25, a6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    vmv.x.s a5, v25
+; LMULMAX1-RV32-NEXT:    bnez a1, .LBB3_5
+; LMULMAX1-RV32-NEXT:  # %bb.4:
+; LMULMAX1-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX1-RV32-NEXT:    or a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a4, a5, a4
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX1-RV32-NEXT:    and a4, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a4, a1
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a3
+; LMULMAX1-RV32-NEXT:    and a1, a1, a7
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB3_6
+; LMULMAX1-RV32-NEXT:  .LBB3_5:
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a5
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a4, a5, a4
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX1-RV32-NEXT:    and a4, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a4, a1
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a3
+; LMULMAX1-RV32-NEXT:    and a1, a1, a7
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB3_6:
+; LMULMAX1-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctlz_v2i64:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    lui a3, 21845
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a6, a3, 1365
+; LMULMAX1-RV64-NEXT:    and a2, a2, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    lui a2, 13107
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    and a4, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a4, a1
+; LMULMAX1-RV64-NEXT:    srli a4, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a4
+; LMULMAX1-RV64-NEXT:    lui a4, 3855
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    lui a5, 4112
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sd a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a3
+; LMULMAX1-RV64-NEXT:    and a3, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a3, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sd a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle64.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <2 x i64>, <2 x i64>* %x
+  %b = load <2 x i64>, <2 x i64>* %y
+  %c = call <2 x i64> @llvm.ctlz.v2i64(<2 x i64> %a, i1 false)
+  store <2 x i64> %c, <2 x i64>* %x
+  ret void
+}
+declare <2 x i64> @llvm.ctlz.v2i64(<2 x i64>, i1)
+
+define void @ctlz_v32i8(<32 x i8>* %x, <32 x i8>* %y) {
+; LMULMAX2-RV32-LABEL: ctlz_v32i8:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    addi a6, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetvli a2, a6, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX2-RV32-NEXT:    andi a2, a2, 255
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    not a3, a2
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV32-NEXT:    lui a2, 349525
+; LMULMAX2-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV32-NEXT:    and a4, a4, a7
+; LMULMAX2-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 209715
+; LMULMAX2-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV32-NEXT:    and a4, a4, a3
+; LMULMAX2-RV32-NEXT:    add a4, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV32-NEXT:    add a5, a4, a5
+; LMULMAX2-RV32-NEXT:    lui a4, 61681
+; LMULMAX2-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV32-NEXT:    and a1, a5, a4
+; LMULMAX2-RV32-NEXT:    lui a5, 4112
+; LMULMAX2-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX2-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV32-NEXT:    vsetvli a1, a6, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vse8.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctlz_v32i8:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    addi a6, zero, 32
+; LMULMAX2-RV64-NEXT:    vsetvli a2, a6, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX2-RV64-NEXT:    andi a2, a2, 255
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    not a3, a2
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV64-NEXT:    lui a2, 21845
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 13107
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV64-NEXT:    and a4, a4, a3
+; LMULMAX2-RV64-NEXT:    add a4, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV64-NEXT:    add a5, a4, a5
+; LMULMAX2-RV64-NEXT:    lui a4, 3855
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    and a1, a5, a4
+; LMULMAX2-RV64-NEXT:    lui a5, 4112
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX2-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV64-NEXT:    vsetvli a1, a6, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vse8.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctlz_v32i8:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV32-NEXT:    vle8.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    vle8.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    andi a2, a2, 255
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a3, a2
+; LMULMAX1-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV32-NEXT:    lui a2, 349525
+; LMULMAX1-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV32-NEXT:    and a4, a4, a7
+; LMULMAX1-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV32-NEXT:    lui a3, 209715
+; LMULMAX1-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV32-NEXT:    and a5, a4, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV32-NEXT:    and a4, a4, a3
+; LMULMAX1-RV32-NEXT:    add a4, a5, a4
+; LMULMAX1-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV32-NEXT:    add a5, a4, a5
+; LMULMAX1-RV32-NEXT:    lui a4, 61681
+; LMULMAX1-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV32-NEXT:    and a1, a5, a4
+; LMULMAX1-RV32-NEXT:    lui a5, 4112
+; LMULMAX1-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 16(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 15
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 31(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 14
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 30(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 13
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 29(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 12
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 28(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 11
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 27(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 10
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 26(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 9
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 25(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 8
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 24(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 23(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 22(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 21(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 20(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 19(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 18(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 17(sp)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 0(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -24
+; LMULMAX1-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV32-NEXT:    vle8.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vse8.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vse8.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctlz_v32i8:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV64-NEXT:    vle8.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    vle8.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    andi a2, a2, 255
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a3, a2
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 21845
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 13107
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV64-NEXT:    and a4, a4, a3
+; LMULMAX1-RV64-NEXT:    add a4, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV64-NEXT:    add a5, a4, a5
+; LMULMAX1-RV64-NEXT:    lui a4, 3855
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    and a1, a5, a4
+; LMULMAX1-RV64-NEXT:    lui a5, 4112
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 16(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 15
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 31(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 14
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 30(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 13
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 29(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 12
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 28(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 11
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 27(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 10
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 26(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 9
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 25(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 8
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 24(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 23(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 22(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 21(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 20(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 19(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 18(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 17(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    andi a1, a1, 255
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -56
+; LMULMAX1-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV64-NEXT:    vle8.v v26, (a1)
+; LMULMAX1-RV64-NEXT:    vse8.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vse8.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <32 x i8>, <32 x i8>* %x
+  %b = load <32 x i8>, <32 x i8>* %y
+  %c = call <32 x i8> @llvm.ctlz.v32i8(<32 x i8> %a, i1 false)
+  store <32 x i8> %c, <32 x i8>* %x
+  ret void
+}
+declare <32 x i8> @llvm.ctlz.v32i8(<32 x i8>, i1)
+
+define void @ctlz_v16i16(<16 x i16>* %x, <16 x i16>* %y) {
+; LMULMAX2-RV32-LABEL: ctlz_v16i16:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 16
+; LMULMAX2-RV32-NEXT:    addi a6, a1, -1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a6
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX2-RV32-NEXT:    or a2, a2, a3
+; LMULMAX2-RV32-NEXT:    not a3, a2
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV32-NEXT:    lui a2, 349525
+; LMULMAX2-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV32-NEXT:    and a4, a4, a7
+; LMULMAX2-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 209715
+; LMULMAX2-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV32-NEXT:    and a4, a4, a3
+; LMULMAX2-RV32-NEXT:    add a4, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV32-NEXT:    add a5, a4, a5
+; LMULMAX2-RV32-NEXT:    lui a4, 61681
+; LMULMAX2-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV32-NEXT:    and a1, a5, a4
+; LMULMAX2-RV32-NEXT:    lui a5, 4112
+; LMULMAX2-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 30(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 26(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 22(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 18(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    and a1, a1, a6
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX2-RV32-NEXT:    sh a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vse16.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctlz_v16i16:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX2-RV64-NEXT:    lui a1, 16
+; LMULMAX2-RV64-NEXT:    addiw a6, a1, -1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a6
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX2-RV64-NEXT:    or a2, a2, a3
+; LMULMAX2-RV64-NEXT:    not a3, a2
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV64-NEXT:    lui a2, 21845
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 13107
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV64-NEXT:    and a4, a4, a3
+; LMULMAX2-RV64-NEXT:    add a4, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV64-NEXT:    add a5, a4, a5
+; LMULMAX2-RV64-NEXT:    lui a4, 3855
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    and a1, a5, a4
+; LMULMAX2-RV64-NEXT:    lui a5, 4112
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 30(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 26(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 22(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 18(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    and a1, a1, a6
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX2-RV64-NEXT:    sh a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vse16.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctlz_v16i16:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV32-NEXT:    vle16.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    lui a2, 16
+; LMULMAX1-RV32-NEXT:    addi a7, a2, -1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a3
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a4, a1, 1
+; LMULMAX1-RV32-NEXT:    lui a3, 349525
+; LMULMAX1-RV32-NEXT:    addi t0, a3, 1365
+; LMULMAX1-RV32-NEXT:    and a4, a4, t0
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX1-RV32-NEXT:    lui a4, 209715
+; LMULMAX1-RV32-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV32-NEXT:    and a5, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    lui a5, 61681
+; LMULMAX1-RV32-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV32-NEXT:    and a2, a1, a5
+; LMULMAX1-RV32-NEXT:    lui a1, 4112
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 16(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 1, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 30(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 28(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 26(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 24(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 22(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 20(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 18(sp)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 0(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 14(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 10(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 6(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -16
+; LMULMAX1-RV32-NEXT:    sh a2, 4(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -16
+; LMULMAX1-RV32-NEXT:    sh a1, 2(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle16.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV32-NEXT:    vle16.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vse16.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctlz_v16i16:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV64-NEXT:    vle16.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    lui a2, 16
+; LMULMAX1-RV64-NEXT:    addiw a7, a2, -1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a3
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a4, a1, 1
+; LMULMAX1-RV64-NEXT:    lui a3, 21845
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi t0, a3, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, t0
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a4
+; LMULMAX1-RV64-NEXT:    lui a4, 13107
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 819
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV64-NEXT:    and a5, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    lui a5, 3855
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV64-NEXT:    and a2, a1, a5
+; LMULMAX1-RV64-NEXT:    lui a1, 4112
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 16(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a2, 1, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 30(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 28(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 26(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 24(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 22(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 20(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 18(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 0(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 14(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 10(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 6(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    addi a2, a2, -48
+; LMULMAX1-RV64-NEXT:    sh a2, 4(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -48
+; LMULMAX1-RV64-NEXT:    sh a1, 2(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle16.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV64-NEXT:    vle16.v v26, (a1)
+; LMULMAX1-RV64-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vse16.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <16 x i16>, <16 x i16>* %x
+  %b = load <16 x i16>, <16 x i16>* %y
+  %c = call <16 x i16> @llvm.ctlz.v16i16(<16 x i16> %a, i1 false)
+  store <16 x i16> %c, <16 x i16>* %x
+  ret void
+}
+declare <16 x i16> @llvm.ctlz.v16i16(<16 x i16>, i1)
+
+define void @ctlz_v8i32(<8 x i32>* %x, <8 x i32>* %y) {
+; LMULMAX2-RV32-LABEL: ctlz_v8i32:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a2
+; LMULMAX2-RV32-NEXT:    not a2, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV32-NEXT:    and a3, a3, a6
+; LMULMAX2-RV32-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV32-NEXT:    lui a2, 209715
+; LMULMAX2-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV32-NEXT:    and a4, a3, a2
+; LMULMAX2-RV32-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV32-NEXT:    and a3, a3, a2
+; LMULMAX2-RV32-NEXT:    add a3, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV32-NEXT:    add a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 61681
+; LMULMAX2-RV32-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    lui a4, 4112
+; LMULMAX2-RV32-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV32-NEXT:    mul a5, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a5, 24
+; LMULMAX2-RV32-NEXT:    sw a5, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a5, 1, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v28
+; LMULMAX2-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV32-NEXT:    or a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vse32.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctlz_v8i32:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    srliw a2, a1, 1
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a2, a1
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 21845
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV64-NEXT:    lui a2, 13107
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    and a4, a3, a2
+; LMULMAX2-RV64-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV64-NEXT:    and a3, a3, a2
+; LMULMAX2-RV64-NEXT:    add a3, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV64-NEXT:    add a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 3855
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    lui a4, 4112
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 257
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV64-NEXT:    mul a5, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a5, 56
+; LMULMAX2-RV64-NEXT:    addi a5, a5, -32
+; LMULMAX2-RV64-NEXT:    sw a5, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a5, 1, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a5, v28
+; LMULMAX2-RV64-NEXT:    srliw a1, a5, 1
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 32
+; LMULMAX2-RV64-NEXT:    srli a5, a5, 32
+; LMULMAX2-RV64-NEXT:    or a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX2-RV64-NEXT:    sw a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    srliw a5, a1, 1
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX2-RV64-NEXT:    sw a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    srliw a5, a1, 1
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX2-RV64-NEXT:    sw a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    srliw a5, a1, 1
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX2-RV64-NEXT:    sw a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    srliw a5, a1, 1
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX2-RV64-NEXT:    sw a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    srliw a5, a1, 1
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX2-RV64-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    srliw a5, a1, 1
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX2-RV64-NEXT:    sw a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vse32.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctlz_v8i32:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV32-NEXT:    vle32.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a3
+; LMULMAX1-RV32-NEXT:    not a3, a2
+; LMULMAX1-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV32-NEXT:    lui a2, 349525
+; LMULMAX1-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV32-NEXT:    and a4, a4, a7
+; LMULMAX1-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV32-NEXT:    lui a3, 209715
+; LMULMAX1-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV32-NEXT:    and a5, a4, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV32-NEXT:    and a4, a4, a3
+; LMULMAX1-RV32-NEXT:    add a4, a5, a4
+; LMULMAX1-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV32-NEXT:    add a5, a4, a5
+; LMULMAX1-RV32-NEXT:    lui a4, 61681
+; LMULMAX1-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV32-NEXT:    and a1, a5, a4
+; LMULMAX1-RV32-NEXT:    lui a5, 4112
+; LMULMAX1-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 16(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 28(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 24(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 20(sp)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 0(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 4(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV32-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vse32.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctlz_v8i32:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV64-NEXT:    vle32.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    srliw a3, a2, 1
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 32
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a3, a2
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 21845
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 13107
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV64-NEXT:    and a4, a4, a3
+; LMULMAX1-RV64-NEXT:    add a4, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV64-NEXT:    add a5, a4, a5
+; LMULMAX1-RV64-NEXT:    lui a4, 3855
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    and a1, a5, a4
+; LMULMAX1-RV64-NEXT:    lui a5, 4112
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 16(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 1, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    srliw a2, a1, 1
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 28(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    srliw a2, a1, 1
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 24(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    srliw a2, a1, 1
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 20(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    srliw a2, a1, 1
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    srliw a2, a1, 1
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    srliw a2, a1, 1
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    srliw a2, a1, 1
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -32
+; LMULMAX1-RV64-NEXT:    sw a1, 4(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV64-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-RV64-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vse32.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <8 x i32>, <8 x i32>* %x
+  %b = load <8 x i32>, <8 x i32>* %y
+  %c = call <8 x i32> @llvm.ctlz.v8i32(<8 x i32> %a, i1 false)
+  store <8 x i32> %c, <8 x i32>* %x
+  ret void
+}
+declare <8 x i32> @llvm.ctlz.v8i32(<8 x i32>, i1)
+
+define void @ctlz_v4i64(<4 x i64>* %x, <4 x i64>* %y) {
+; LMULMAX2-RV32-LABEL: ctlz_v4i64:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle64.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    sw zero, 28(sp)
+; LMULMAX2-RV32-NEXT:    sw zero, 20(sp)
+; LMULMAX2-RV32-NEXT:    sw zero, 12(sp)
+; LMULMAX2-RV32-NEXT:    sw zero, 4(sp)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a4, a1, 1365
+; LMULMAX2-RV32-NEXT:    lui a1, 209715
+; LMULMAX2-RV32-NEXT:    addi a3, a1, 819
+; LMULMAX2-RV32-NEXT:    lui a1, 61681
+; LMULMAX2-RV32-NEXT:    addi a7, a1, -241
+; LMULMAX2-RV32-NEXT:    lui a2, 4112
+; LMULMAX2-RV32-NEXT:    addi a6, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vx v28, v26, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    addi a2, a2, 257
+; LMULMAX2-RV32-NEXT:    bnez a1, .LBB7_2
+; LMULMAX2-RV32-NEXT:  # %bb.1:
+; LMULMAX2-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV32-NEXT:    or a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a5, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB7_3
+; LMULMAX2-RV32-NEXT:  .LBB7_2:
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB7_3:
+; LMULMAX2-RV32-NEXT:    sw a5, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vsrl.vx v30, v28, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v30
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v28
+; LMULMAX2-RV32-NEXT:    bnez a1, .LBB7_5
+; LMULMAX2-RV32-NEXT:  # %bb.4:
+; LMULMAX2-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV32-NEXT:    or a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a5, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB7_6
+; LMULMAX2-RV32-NEXT:  .LBB7_5:
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB7_6:
+; LMULMAX2-RV32-NEXT:    sw a5, 24(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vsrl.vx v30, v28, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v30
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v28
+; LMULMAX2-RV32-NEXT:    bnez a1, .LBB7_8
+; LMULMAX2-RV32-NEXT:  # %bb.7:
+; LMULMAX2-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV32-NEXT:    or a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a5, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB7_9
+; LMULMAX2-RV32-NEXT:  .LBB7_8:
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB7_9:
+; LMULMAX2-RV32-NEXT:    sw a5, 16(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vsrl.vx v28, v26, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v26
+; LMULMAX2-RV32-NEXT:    bnez a1, .LBB7_11
+; LMULMAX2-RV32-NEXT:  # %bb.10:
+; LMULMAX2-RV32-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV32-NEXT:    or a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a4, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX2-RV32-NEXT:    and a4, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a4, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB7_12
+; LMULMAX2-RV32-NEXT:  .LBB7_11:
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV32-NEXT:    or a1, a1, a5
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a4, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX2-RV32-NEXT:    and a4, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a4, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB7_12:
+; LMULMAX2-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vse64.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctlz_v4i64:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a2
+; LMULMAX2-RV64-NEXT:    not a2, a1
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 21845
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV64-NEXT:    lui a2, 13107
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    and a4, a3, a2
+; LMULMAX2-RV64-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV64-NEXT:    and a3, a3, a2
+; LMULMAX2-RV64-NEXT:    add a3, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV64-NEXT:    add a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 3855
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    lui a4, 4112
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 257
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV64-NEXT:    mul a5, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a5, 56
+; LMULMAX2-RV64-NEXT:    sd a5, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a5, 1, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a5, v28
+; LMULMAX2-RV64-NEXT:    srli a1, a5, 1
+; LMULMAX2-RV64-NEXT:    or a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sd a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sd a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 2
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 8
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 16
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 32
+; LMULMAX2-RV64-NEXT:    or a1, a1, a5
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sd a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vse64.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctlz_v4i64:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV32-NEXT:    vle64.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    sw zero, 28(sp)
+; LMULMAX1-RV32-NEXT:    sw zero, 20(sp)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    lui a2, 349525
+; LMULMAX1-RV32-NEXT:    addi a5, a2, 1365
+; LMULMAX1-RV32-NEXT:    lui a2, 209715
+; LMULMAX1-RV32-NEXT:    addi a4, a2, 819
+; LMULMAX1-RV32-NEXT:    lui a2, 61681
+; LMULMAX1-RV32-NEXT:    addi t0, a2, -241
+; LMULMAX1-RV32-NEXT:    lui a3, 4112
+; LMULMAX1-RV32-NEXT:    addi a7, zero, 32
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vx v27, v26, a7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    addi a3, a3, 257
+; LMULMAX1-RV32-NEXT:    bnez a2, .LBB7_2
+; LMULMAX1-RV32-NEXT:  # %bb.1:
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB7_3
+; LMULMAX1-RV32-NEXT:  .LBB7_2:
+; LMULMAX1-RV32-NEXT:    srli a1, a2, 1
+; LMULMAX1-RV32-NEXT:    or a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB7_3:
+; LMULMAX1-RV32-NEXT:    sw a1, 16(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV32-NEXT:    vsrl.vx v27, v26, a7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    bnez a1, .LBB7_5
+; LMULMAX1-RV32-NEXT:  # %bb.4:
+; LMULMAX1-RV32-NEXT:    srli a1, a2, 1
+; LMULMAX1-RV32-NEXT:    or a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB7_6
+; LMULMAX1-RV32-NEXT:  .LBB7_5:
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB7_6:
+; LMULMAX1-RV32-NEXT:    sw a1, 24(sp)
+; LMULMAX1-RV32-NEXT:    sw zero, 12(sp)
+; LMULMAX1-RV32-NEXT:    sw zero, 4(sp)
+; LMULMAX1-RV32-NEXT:    vsetvli zero, zero, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vx v26, v25, a7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    bnez a2, .LBB7_8
+; LMULMAX1-RV32-NEXT:  # %bb.7:
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB7_9
+; LMULMAX1-RV32-NEXT:  .LBB7_8:
+; LMULMAX1-RV32-NEXT:    srli a1, a2, 1
+; LMULMAX1-RV32-NEXT:    or a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB7_9:
+; LMULMAX1-RV32-NEXT:    sw a1, 0(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vsrl.vx v26, v25, a7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV32-NEXT:    bnez a1, .LBB7_11
+; LMULMAX1-RV32-NEXT:  # %bb.10:
+; LMULMAX1-RV32-NEXT:    srli a1, a2, 1
+; LMULMAX1-RV32-NEXT:    or a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB7_12
+; LMULMAX1-RV32-NEXT:  .LBB7_11:
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a2
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB7_12:
+; LMULMAX1-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV32-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vse64.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctlz_v4i64:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV64-NEXT:    vle64.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 2
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 8
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a3
+; LMULMAX1-RV64-NEXT:    not a3, a2
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 21845
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 13107
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV64-NEXT:    and a4, a4, a3
+; LMULMAX1-RV64-NEXT:    add a4, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV64-NEXT:    add a5, a4, a5
+; LMULMAX1-RV64-NEXT:    lui a4, 3855
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    and a1, a5, a4
+; LMULMAX1-RV64-NEXT:    lui a5, 4112
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sd a1, 16(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sd a1, 24(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sd a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 2
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 8
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a2
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sd a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle64.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV64-NEXT:    vle64.v v26, (a1)
+; LMULMAX1-RV64-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vse64.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <4 x i64>, <4 x i64>* %x
+  %b = load <4 x i64>, <4 x i64>* %y
+  %c = call <4 x i64> @llvm.ctlz.v4i64(<4 x i64> %a, i1 false)
+  store <4 x i64> %c, <4 x i64>* %x
+  ret void
+}
+declare <4 x i64> @llvm.ctlz.v4i64(<4 x i64>, i1)
diff --git a/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-ctpop.ll b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-ctpop.ll
new file mode 100644
index 00000000000000..a007f503a5ac7a
--- /dev/null
+++ b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-ctpop.ll
@@ -0,0 +1,1090 @@
+; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
+; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2,LMULMAX2-RV32
+; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2,LMULMAX2-RV64
+; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1,LMULMAX1-RV32
+; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1,LMULMAX1-RV64
+
+define void @ctpop_v16i8(<16 x i8>* %x, <16 x i8>* %y) {
+; CHECK-LABEL: ctpop_v16i8:
+; CHECK:       # %bb.0:
+; CHECK-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; CHECK-NEXT:    vle8.v v25, (a0)
+; CHECK-NEXT:    vsrl.vi v26, v25, 1
+; CHECK-NEXT:    addi a1, zero, 85
+; CHECK-NEXT:    vand.vx v26, v26, a1
+; CHECK-NEXT:    vsub.vv v25, v25, v26
+; CHECK-NEXT:    addi a1, zero, 51
+; CHECK-NEXT:    vand.vx v26, v25, a1
+; CHECK-NEXT:    vsrl.vi v25, v25, 2
+; CHECK-NEXT:    vand.vx v25, v25, a1
+; CHECK-NEXT:    vadd.vv v25, v26, v25
+; CHECK-NEXT:    vsrl.vi v26, v25, 4
+; CHECK-NEXT:    vadd.vv v25, v25, v26
+; CHECK-NEXT:    vand.vi v25, v25, 15
+; CHECK-NEXT:    vse8.v v25, (a0)
+; CHECK-NEXT:    ret
+  %a = load <16 x i8>, <16 x i8>* %x
+  %b = load <16 x i8>, <16 x i8>* %y
+  %c = call <16 x i8> @llvm.ctpop.v16i8(<16 x i8> %a)
+  store <16 x i8> %c, <16 x i8>* %x
+  ret void
+}
+declare <16 x i8> @llvm.ctpop.v16i8(<16 x i8>)
+
+define void @ctpop_v8i16(<8 x i16>* %x, <8 x i16>* %y) {
+; LMULMAX2-RV32-LABEL: ctpop_v8i16:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v25, 1
+; LMULMAX2-RV32-NEXT:    lui a1, 5
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 3
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v25, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX2-RV32-NEXT:    vand.vx v25, v25, a1
+; LMULMAX2-RV32-NEXT:    vadd.vv v25, v26, v25
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v25, 4
+; LMULMAX2-RV32-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 1
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -241
+; LMULMAX2-RV32-NEXT:    vand.vx v25, v25, a1
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 257
+; LMULMAX2-RV32-NEXT:    vmul.vx v25, v25, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v25, v25, 8
+; LMULMAX2-RV32-NEXT:    vse16.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctpop_v8i16:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v25, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 5
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX2-RV64-NEXT:    lui a1, 3
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 819
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v25, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX2-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX2-RV64-NEXT:    vadd.vv v25, v26, v25
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v25, 4
+; LMULMAX2-RV64-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX2-RV64-NEXT:    lui a1, 1
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, -241
+; LMULMAX2-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 257
+; LMULMAX2-RV64-NEXT:    vmul.vx v25, v25, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v25, v25, 8
+; LMULMAX2-RV64-NEXT:    vse16.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctpop_v8i16:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vsrl.vi v26, v25, 1
+; LMULMAX1-RV32-NEXT:    lui a1, 5
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX1-RV32-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX1-RV32-NEXT:    lui a1, 3
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 819
+; LMULMAX1-RV32-NEXT:    vand.vx v26, v25, a1
+; LMULMAX1-RV32-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-RV32-NEXT:    vand.vx v25, v25, a1
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v26, v25
+; LMULMAX1-RV32-NEXT:    vsrl.vi v26, v25, 4
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX1-RV32-NEXT:    lui a1, 1
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -241
+; LMULMAX1-RV32-NEXT:    vand.vx v25, v25, a1
+; LMULMAX1-RV32-NEXT:    addi a1, zero, 257
+; LMULMAX1-RV32-NEXT:    vmul.vx v25, v25, a1
+; LMULMAX1-RV32-NEXT:    vsrl.vi v25, v25, 8
+; LMULMAX1-RV32-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctpop_v8i16:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    lui a1, 5
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX1-RV64-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX1-RV64-NEXT:    lui a1, 3
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 819
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v25, a1
+; LMULMAX1-RV64-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v26, v25
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX1-RV64-NEXT:    lui a1, 1
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, -241
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    addi a1, zero, 257
+; LMULMAX1-RV64-NEXT:    vmul.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    vsrl.vi v25, v25, 8
+; LMULMAX1-RV64-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <8 x i16>, <8 x i16>* %x
+  %b = load <8 x i16>, <8 x i16>* %y
+  %c = call <8 x i16> @llvm.ctpop.v8i16(<8 x i16> %a)
+  store <8 x i16> %c, <8 x i16>* %x
+  ret void
+}
+declare <8 x i16> @llvm.ctpop.v8i16(<8 x i16>)
+
+define void @ctpop_v4i32(<4 x i32>* %x, <4 x i32>* %y) {
+; LMULMAX2-RV32-LABEL: ctpop_v4i32:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v25, 1
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 209715
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v25, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX2-RV32-NEXT:    vand.vx v25, v25, a1
+; LMULMAX2-RV32-NEXT:    vadd.vv v25, v26, v25
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v25, 4
+; LMULMAX2-RV32-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 61681
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -241
+; LMULMAX2-RV32-NEXT:    vand.vx v25, v25, a1
+; LMULMAX2-RV32-NEXT:    lui a1, 4112
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 257
+; LMULMAX2-RV32-NEXT:    vmul.vx v25, v25, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v25, v25, 24
+; LMULMAX2-RV32-NEXT:    vse32.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctpop_v4i32:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v25, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 349525
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX2-RV64-NEXT:    lui a1, 209715
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 819
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v25, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX2-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX2-RV64-NEXT:    vadd.vv v25, v26, v25
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v25, 4
+; LMULMAX2-RV64-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX2-RV64-NEXT:    lui a1, 61681
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, -241
+; LMULMAX2-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX2-RV64-NEXT:    lui a1, 4112
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX2-RV64-NEXT:    vmul.vx v25, v25, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v25, v25, 24
+; LMULMAX2-RV64-NEXT:    vse32.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctpop_v4i32:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vsrl.vi v26, v25, 1
+; LMULMAX1-RV32-NEXT:    lui a1, 349525
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX1-RV32-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX1-RV32-NEXT:    lui a1, 209715
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 819
+; LMULMAX1-RV32-NEXT:    vand.vx v26, v25, a1
+; LMULMAX1-RV32-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-RV32-NEXT:    vand.vx v25, v25, a1
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v26, v25
+; LMULMAX1-RV32-NEXT:    vsrl.vi v26, v25, 4
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX1-RV32-NEXT:    lui a1, 61681
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -241
+; LMULMAX1-RV32-NEXT:    vand.vx v25, v25, a1
+; LMULMAX1-RV32-NEXT:    lui a1, 4112
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV32-NEXT:    vmul.vx v25, v25, a1
+; LMULMAX1-RV32-NEXT:    vsrl.vi v25, v25, 24
+; LMULMAX1-RV32-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctpop_v4i32:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    lui a1, 349525
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX1-RV64-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX1-RV64-NEXT:    lui a1, 209715
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 819
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v25, a1
+; LMULMAX1-RV64-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v26, v25
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX1-RV64-NEXT:    lui a1, 61681
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, -241
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    lui a1, 4112
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX1-RV64-NEXT:    vmul.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    vsrl.vi v25, v25, 24
+; LMULMAX1-RV64-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <4 x i32>, <4 x i32>* %x
+  %b = load <4 x i32>, <4 x i32>* %y
+  %c = call <4 x i32> @llvm.ctpop.v4i32(<4 x i32> %a)
+  store <4 x i32> %c, <4 x i32>* %x
+  ret void
+}
+declare <4 x i32> @llvm.ctpop.v4i32(<4 x i32>)
+
+define void @ctpop_v2i64(<2 x i64>* %x, <2 x i64>* %y) {
+; LMULMAX2-RV32-LABEL: ctpop_v2i64:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle64.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    lui a1, %hi(.LCPI3_0)
+; LMULMAX2-RV32-NEXT:    addi a1, a1, %lo(.LCPI3_0)
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (a1)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vv v26, v25, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.v.x v27, a1
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vand.vv v26, v26, v27
+; LMULMAX2-RV32-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 209715
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.v.x v26, a1
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vand.vv v27, v25, v26
+; LMULMAX2-RV32-NEXT:    lui a1, %hi(.LCPI3_1)
+; LMULMAX2-RV32-NEXT:    addi a1, a1, %lo(.LCPI3_1)
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v28, (a1)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vv v25, v25, v28
+; LMULMAX2-RV32-NEXT:    vand.vv v25, v25, v26
+; LMULMAX2-RV32-NEXT:    vadd.vv v25, v27, v25
+; LMULMAX2-RV32-NEXT:    lui a1, %hi(.LCPI3_2)
+; LMULMAX2-RV32-NEXT:    addi a1, a1, %lo(.LCPI3_2)
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (a1)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vv v26, v25, v26
+; LMULMAX2-RV32-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 61681
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -241
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.v.x v26, a1
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vand.vv v25, v25, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 4112
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 257
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.v.x v26, a1
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vmul.vv v25, v25, v26
+; LMULMAX2-RV32-NEXT:    lui a1, %hi(.LCPI3_3)
+; LMULMAX2-RV32-NEXT:    addi a1, a1, %lo(.LCPI3_3)
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (a1)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vv v25, v25, v26
+; LMULMAX2-RV32-NEXT:    vse64.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctpop_v2i64:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v25, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 21845
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX2-RV64-NEXT:    lui a1, 13107
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 819
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v25, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX2-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX2-RV64-NEXT:    vadd.vv v25, v26, v25
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v25, 4
+; LMULMAX2-RV64-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX2-RV64-NEXT:    lui a1, 3855
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 241
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -241
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 241
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -241
+; LMULMAX2-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX2-RV64-NEXT:    lui a1, 4112
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX2-RV64-NEXT:    vmul.vx v25, v25, a1
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 56
+; LMULMAX2-RV64-NEXT:    vsrl.vx v25, v25, a1
+; LMULMAX2-RV64-NEXT:    vse64.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctpop_v2i64:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    lui a1, %hi(.LCPI3_0)
+; LMULMAX1-RV32-NEXT:    addi a1, a1, %lo(.LCPI3_0)
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vv v26, v25, v26
+; LMULMAX1-RV32-NEXT:    lui a1, 349525
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmv.v.x v27, a1
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vand.vv v26, v26, v27
+; LMULMAX1-RV32-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX1-RV32-NEXT:    lui a1, 209715
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 819
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmv.v.x v26, a1
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vand.vv v27, v25, v26
+; LMULMAX1-RV32-NEXT:    lui a1, %hi(.LCPI3_1)
+; LMULMAX1-RV32-NEXT:    addi a1, a1, %lo(.LCPI3_1)
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v28, (a1)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vv v25, v25, v28
+; LMULMAX1-RV32-NEXT:    vand.vv v25, v25, v26
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v27, v25
+; LMULMAX1-RV32-NEXT:    lui a1, %hi(.LCPI3_2)
+; LMULMAX1-RV32-NEXT:    addi a1, a1, %lo(.LCPI3_2)
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vv v26, v25, v26
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX1-RV32-NEXT:    lui a1, 61681
+; LMULMAX1-RV32-NEXT:    addi a1, a1, -241
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmv.v.x v26, a1
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vand.vv v25, v25, v26
+; LMULMAX1-RV32-NEXT:    lui a1, 4112
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmv.v.x v26, a1
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmul.vv v25, v25, v26
+; LMULMAX1-RV32-NEXT:    lui a1, %hi(.LCPI3_3)
+; LMULMAX1-RV32-NEXT:    addi a1, a1, %lo(.LCPI3_3)
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vv v25, v25, v26
+; LMULMAX1-RV32-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctpop_v2i64:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    lui a1, 21845
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX1-RV64-NEXT:    vsub.vv v25, v25, v26
+; LMULMAX1-RV64-NEXT:    lui a1, 13107
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 819
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 819
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 819
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 819
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v25, a1
+; LMULMAX1-RV64-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v26, v25
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v25, v26
+; LMULMAX1-RV64-NEXT:    lui a1, 3855
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 241
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -241
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 241
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, -241
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    lui a1, 4112
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    vmul.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    addi a1, zero, 56
+; LMULMAX1-RV64-NEXT:    vsrl.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <2 x i64>, <2 x i64>* %x
+  %b = load <2 x i64>, <2 x i64>* %y
+  %c = call <2 x i64> @llvm.ctpop.v2i64(<2 x i64> %a)
+  store <2 x i64> %c, <2 x i64>* %x
+  ret void
+}
+declare <2 x i64> @llvm.ctpop.v2i64(<2 x i64>)
+
+define void @ctpop_v32i8(<32 x i8>* %x, <32 x i8>* %y) {
+; LMULMAX2-LABEL: ctpop_v32i8:
+; LMULMAX2:       # %bb.0:
+; LMULMAX2-NEXT:    addi a1, zero, 32
+; LMULMAX2-NEXT:    vsetvli a1, a1, e8,m2,ta,mu
+; LMULMAX2-NEXT:    vle8.v v26, (a0)
+; LMULMAX2-NEXT:    vsrl.vi v28, v26, 1
+; LMULMAX2-NEXT:    addi a1, zero, 85
+; LMULMAX2-NEXT:    vand.vx v28, v28, a1
+; LMULMAX2-NEXT:    vsub.vv v26, v26, v28
+; LMULMAX2-NEXT:    addi a1, zero, 51
+; LMULMAX2-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-NEXT:    vadd.vv v26, v28, v26
+; LMULMAX2-NEXT:    vsrl.vi v28, v26, 4
+; LMULMAX2-NEXT:    vadd.vv v26, v26, v28
+; LMULMAX2-NEXT:    vand.vi v26, v26, 15
+; LMULMAX2-NEXT:    vse8.v v26, (a0)
+; LMULMAX2-NEXT:    ret
+;
+; LMULMAX1-LABEL: ctpop_v32i8:
+; LMULMAX1:       # %bb.0:
+; LMULMAX1-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-NEXT:    addi a1, a0, 16
+; LMULMAX1-NEXT:    vle8.v v25, (a1)
+; LMULMAX1-NEXT:    vle8.v v26, (a0)
+; LMULMAX1-NEXT:    vsrl.vi v27, v25, 1
+; LMULMAX1-NEXT:    addi a2, zero, 85
+; LMULMAX1-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-NEXT:    vsub.vv v25, v25, v27
+; LMULMAX1-NEXT:    addi a3, zero, 51
+; LMULMAX1-NEXT:    vand.vx v27, v25, a3
+; LMULMAX1-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-NEXT:    vand.vx v25, v25, a3
+; LMULMAX1-NEXT:    vadd.vv v25, v27, v25
+; LMULMAX1-NEXT:    vsrl.vi v27, v25, 4
+; LMULMAX1-NEXT:    vadd.vv v25, v25, v27
+; LMULMAX1-NEXT:    vand.vi v25, v25, 15
+; LMULMAX1-NEXT:    vsrl.vi v27, v26, 1
+; LMULMAX1-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-NEXT:    vsub.vv v26, v26, v27
+; LMULMAX1-NEXT:    vand.vx v27, v26, a3
+; LMULMAX1-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX1-NEXT:    vand.vx v26, v26, a3
+; LMULMAX1-NEXT:    vadd.vv v26, v27, v26
+; LMULMAX1-NEXT:    vsrl.vi v27, v26, 4
+; LMULMAX1-NEXT:    vadd.vv v26, v26, v27
+; LMULMAX1-NEXT:    vand.vi v26, v26, 15
+; LMULMAX1-NEXT:    vse8.v v26, (a0)
+; LMULMAX1-NEXT:    vse8.v v25, (a1)
+; LMULMAX1-NEXT:    ret
+  %a = load <32 x i8>, <32 x i8>* %x
+  %b = load <32 x i8>, <32 x i8>* %y
+  %c = call <32 x i8> @llvm.ctpop.v32i8(<32 x i8> %a)
+  store <32 x i8> %c, <32 x i8>* %x
+  ret void
+}
+declare <32 x i8> @llvm.ctpop.v32i8(<32 x i8>)
+
+define void @ctpop_v16i16(<16 x i16>* %x, <16 x i16>* %y) {
+; LMULMAX2-RV32-LABEL: ctpop_v16i16:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vsrl.vi v28, v26, 1
+; LMULMAX2-RV32-NEXT:    lui a1, 5
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV32-NEXT:    vand.vx v28, v28, a1
+; LMULMAX2-RV32-NEXT:    vsub.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    lui a1, 3
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV32-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vadd.vv v26, v28, v26
+; LMULMAX2-RV32-NEXT:    vsrl.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vadd.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    lui a1, 1
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -241
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    addi a1, zero, 257
+; LMULMAX2-RV32-NEXT:    vmul.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 8
+; LMULMAX2-RV32-NEXT:    vse16.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctpop_v16i16:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsrl.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 5
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v28, a1
+; LMULMAX2-RV64-NEXT:    vsub.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    lui a1, 3
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 819
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vadd.vv v26, v28, v26
+; LMULMAX2-RV64-NEXT:    vsrl.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vadd.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    lui a1, 1
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, -241
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 257
+; LMULMAX2-RV64-NEXT:    vmul.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 8
+; LMULMAX2-RV64-NEXT:    vse16.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctpop_v16i16:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    addi a1, a0, 16
+; LMULMAX1-RV32-NEXT:    vle16.v v25, (a1)
+; LMULMAX1-RV32-NEXT:    vle16.v v26, (a0)
+; LMULMAX1-RV32-NEXT:    vsrl.vi v27, v25, 1
+; LMULMAX1-RV32-NEXT:    lui a2, 5
+; LMULMAX1-RV32-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV32-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-RV32-NEXT:    vsub.vv v25, v25, v27
+; LMULMAX1-RV32-NEXT:    lui a3, 3
+; LMULMAX1-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV32-NEXT:    vand.vx v27, v25, a3
+; LMULMAX1-RV32-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-RV32-NEXT:    vand.vx v25, v25, a3
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v27, v25
+; LMULMAX1-RV32-NEXT:    vsrl.vi v27, v25, 4
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v25, v27
+; LMULMAX1-RV32-NEXT:    lui a4, 1
+; LMULMAX1-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV32-NEXT:    vand.vx v25, v25, a4
+; LMULMAX1-RV32-NEXT:    addi a5, zero, 257
+; LMULMAX1-RV32-NEXT:    vmul.vx v25, v25, a5
+; LMULMAX1-RV32-NEXT:    vsrl.vi v25, v25, 8
+; LMULMAX1-RV32-NEXT:    vsrl.vi v27, v26, 1
+; LMULMAX1-RV32-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-RV32-NEXT:    vsub.vv v26, v26, v27
+; LMULMAX1-RV32-NEXT:    vand.vx v27, v26, a3
+; LMULMAX1-RV32-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX1-RV32-NEXT:    vand.vx v26, v26, a3
+; LMULMAX1-RV32-NEXT:    vadd.vv v26, v27, v26
+; LMULMAX1-RV32-NEXT:    vsrl.vi v27, v26, 4
+; LMULMAX1-RV32-NEXT:    vadd.vv v26, v26, v27
+; LMULMAX1-RV32-NEXT:    vand.vx v26, v26, a4
+; LMULMAX1-RV32-NEXT:    vmul.vx v26, v26, a5
+; LMULMAX1-RV32-NEXT:    vsrl.vi v26, v26, 8
+; LMULMAX1-RV32-NEXT:    vse16.v v26, (a0)
+; LMULMAX1-RV32-NEXT:    vse16.v v25, (a1)
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctpop_v16i16:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a1, a0, 16
+; LMULMAX1-RV64-NEXT:    vle16.v v25, (a1)
+; LMULMAX1-RV64-NEXT:    vle16.v v26, (a0)
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v25, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 5
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-RV64-NEXT:    vsub.vv v25, v25, v27
+; LMULMAX1-RV64-NEXT:    lui a3, 3
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v25, a3
+; LMULMAX1-RV64-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a3
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v27, v25
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v25, 4
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v25, v27
+; LMULMAX1-RV64-NEXT:    lui a4, 1
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, -241
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a4
+; LMULMAX1-RV64-NEXT:    addi a5, zero, 257
+; LMULMAX1-RV64-NEXT:    vmul.vx v25, v25, a5
+; LMULMAX1-RV64-NEXT:    vsrl.vi v25, v25, 8
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v26, 1
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-RV64-NEXT:    vsub.vv v26, v26, v27
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v26, a3
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v26, a3
+; LMULMAX1-RV64-NEXT:    vadd.vv v26, v27, v26
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v26, 4
+; LMULMAX1-RV64-NEXT:    vadd.vv v26, v26, v27
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v26, a4
+; LMULMAX1-RV64-NEXT:    vmul.vx v26, v26, a5
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v26, 8
+; LMULMAX1-RV64-NEXT:    vse16.v v26, (a0)
+; LMULMAX1-RV64-NEXT:    vse16.v v25, (a1)
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <16 x i16>, <16 x i16>* %x
+  %b = load <16 x i16>, <16 x i16>* %y
+  %c = call <16 x i16> @llvm.ctpop.v16i16(<16 x i16> %a)
+  store <16 x i16> %c, <16 x i16>* %x
+  ret void
+}
+declare <16 x i16> @llvm.ctpop.v16i16(<16 x i16>)
+
+define void @ctpop_v8i32(<8 x i32>* %x, <8 x i32>* %y) {
+; LMULMAX2-RV32-LABEL: ctpop_v8i32:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vsrl.vi v28, v26, 1
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV32-NEXT:    vand.vx v28, v28, a1
+; LMULMAX2-RV32-NEXT:    vsub.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    lui a1, 209715
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV32-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vadd.vv v26, v28, v26
+; LMULMAX2-RV32-NEXT:    vsrl.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vadd.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    lui a1, 61681
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -241
+; LMULMAX2-RV32-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    lui a1, 4112
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 257
+; LMULMAX2-RV32-NEXT:    vmul.vx v26, v26, a1
+; LMULMAX2-RV32-NEXT:    vsrl.vi v26, v26, 24
+; LMULMAX2-RV32-NEXT:    vse32.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctpop_v8i32:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsrl.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 349525
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v28, a1
+; LMULMAX2-RV64-NEXT:    vsub.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    lui a1, 209715
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 819
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vadd.vv v26, v28, v26
+; LMULMAX2-RV64-NEXT:    vsrl.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vadd.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    lui a1, 61681
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, -241
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    lui a1, 4112
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX2-RV64-NEXT:    vmul.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 24
+; LMULMAX2-RV64-NEXT:    vse32.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctpop_v8i32:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    addi a1, a0, 16
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (a1)
+; LMULMAX1-RV32-NEXT:    vle32.v v26, (a0)
+; LMULMAX1-RV32-NEXT:    vsrl.vi v27, v25, 1
+; LMULMAX1-RV32-NEXT:    lui a2, 349525
+; LMULMAX1-RV32-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV32-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-RV32-NEXT:    vsub.vv v25, v25, v27
+; LMULMAX1-RV32-NEXT:    lui a3, 209715
+; LMULMAX1-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV32-NEXT:    vand.vx v27, v25, a3
+; LMULMAX1-RV32-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-RV32-NEXT:    vand.vx v25, v25, a3
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v27, v25
+; LMULMAX1-RV32-NEXT:    vsrl.vi v27, v25, 4
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v25, v27
+; LMULMAX1-RV32-NEXT:    lui a4, 61681
+; LMULMAX1-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV32-NEXT:    vand.vx v25, v25, a4
+; LMULMAX1-RV32-NEXT:    lui a5, 4112
+; LMULMAX1-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV32-NEXT:    vmul.vx v25, v25, a5
+; LMULMAX1-RV32-NEXT:    vsrl.vi v25, v25, 24
+; LMULMAX1-RV32-NEXT:    vsrl.vi v27, v26, 1
+; LMULMAX1-RV32-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-RV32-NEXT:    vsub.vv v26, v26, v27
+; LMULMAX1-RV32-NEXT:    vand.vx v27, v26, a3
+; LMULMAX1-RV32-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX1-RV32-NEXT:    vand.vx v26, v26, a3
+; LMULMAX1-RV32-NEXT:    vadd.vv v26, v27, v26
+; LMULMAX1-RV32-NEXT:    vsrl.vi v27, v26, 4
+; LMULMAX1-RV32-NEXT:    vadd.vv v26, v26, v27
+; LMULMAX1-RV32-NEXT:    vand.vx v26, v26, a4
+; LMULMAX1-RV32-NEXT:    vmul.vx v26, v26, a5
+; LMULMAX1-RV32-NEXT:    vsrl.vi v26, v26, 24
+; LMULMAX1-RV32-NEXT:    vse32.v v26, (a0)
+; LMULMAX1-RV32-NEXT:    vse32.v v25, (a1)
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctpop_v8i32:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a1, a0, 16
+; LMULMAX1-RV64-NEXT:    vle32.v v25, (a1)
+; LMULMAX1-RV64-NEXT:    vle32.v v26, (a0)
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v25, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 349525
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-RV64-NEXT:    vsub.vv v25, v25, v27
+; LMULMAX1-RV64-NEXT:    lui a3, 209715
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v25, a3
+; LMULMAX1-RV64-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a3
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v27, v25
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v25, 4
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v25, v27
+; LMULMAX1-RV64-NEXT:    lui a4, 61681
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, -241
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a4
+; LMULMAX1-RV64-NEXT:    lui a5, 4112
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX1-RV64-NEXT:    vmul.vx v25, v25, a5
+; LMULMAX1-RV64-NEXT:    vsrl.vi v25, v25, 24
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v26, 1
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-RV64-NEXT:    vsub.vv v26, v26, v27
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v26, a3
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v26, a3
+; LMULMAX1-RV64-NEXT:    vadd.vv v26, v27, v26
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v26, 4
+; LMULMAX1-RV64-NEXT:    vadd.vv v26, v26, v27
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v26, a4
+; LMULMAX1-RV64-NEXT:    vmul.vx v26, v26, a5
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v26, 24
+; LMULMAX1-RV64-NEXT:    vse32.v v26, (a0)
+; LMULMAX1-RV64-NEXT:    vse32.v v25, (a1)
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <8 x i32>, <8 x i32>* %x
+  %b = load <8 x i32>, <8 x i32>* %y
+  %c = call <8 x i32> @llvm.ctpop.v8i32(<8 x i32> %a)
+  store <8 x i32> %c, <8 x i32>* %x
+  ret void
+}
+declare <8 x i32> @llvm.ctpop.v8i32(<8 x i32>)
+
+define void @ctpop_v4i64(<4 x i64>* %x, <4 x i64>* %y) {
+; LMULMAX2-RV32-LABEL: ctpop_v4i64:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle64.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    lui a1, %hi(.LCPI7_0)
+; LMULMAX2-RV32-NEXT:    addi a1, a1, %lo(.LCPI7_0)
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v28, (a1)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vv v28, v26, v28
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.v.x v30, a1
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vand.vv v28, v28, v30
+; LMULMAX2-RV32-NEXT:    vsub.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    lui a1, 209715
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.v.x v28, a1
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vand.vv v30, v26, v28
+; LMULMAX2-RV32-NEXT:    lui a1, %hi(.LCPI7_1)
+; LMULMAX2-RV32-NEXT:    addi a1, a1, %lo(.LCPI7_1)
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v8, (a1)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vv v26, v26, v8
+; LMULMAX2-RV32-NEXT:    vand.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    vadd.vv v26, v30, v26
+; LMULMAX2-RV32-NEXT:    lui a1, %hi(.LCPI7_2)
+; LMULMAX2-RV32-NEXT:    addi a1, a1, %lo(.LCPI7_2)
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v28, (a1)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vv v28, v26, v28
+; LMULMAX2-RV32-NEXT:    vadd.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    lui a1, 61681
+; LMULMAX2-RV32-NEXT:    addi a1, a1, -241
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.v.x v28, a1
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vand.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    lui a1, 4112
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 257
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmv.v.x v28, a1
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vmul.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    lui a1, %hi(.LCPI7_3)
+; LMULMAX2-RV32-NEXT:    addi a1, a1, %lo(.LCPI7_3)
+; LMULMAX2-RV32-NEXT:    vsetivli a2, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v28, (a1)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vv v26, v26, v28
+; LMULMAX2-RV32-NEXT:    vse64.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: ctpop_v4i64:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsrl.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 21845
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v28, a1
+; LMULMAX2-RV64-NEXT:    vsub.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    lui a1, 13107
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 819
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 819
+; LMULMAX2-RV64-NEXT:    vand.vx v28, v26, a1
+; LMULMAX2-RV64-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vadd.vv v26, v28, v26
+; LMULMAX2-RV64-NEXT:    vsrl.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vadd.vv v26, v26, v28
+; LMULMAX2-RV64-NEXT:    lui a1, 3855
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 241
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -241
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 241
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, -241
+; LMULMAX2-RV64-NEXT:    vand.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    lui a1, 4112
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX2-RV64-NEXT:    vmul.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 56
+; LMULMAX2-RV64-NEXT:    vsrl.vx v26, v26, a1
+; LMULMAX2-RV64-NEXT:    vse64.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: ctpop_v4i64:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    addi a1, a0, 16
+; LMULMAX1-RV32-NEXT:    vle64.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    lui a2, %hi(.LCPI7_0)
+; LMULMAX1-RV32-NEXT:    addi a2, a2, %lo(.LCPI7_0)
+; LMULMAX1-RV32-NEXT:    vsetivli a3, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v27, (a2)
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vv v28, v26, v27
+; LMULMAX1-RV32-NEXT:    lui a2, 349525
+; LMULMAX1-RV32-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV32-NEXT:    vsetivli a3, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmv.v.x v29, a2
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vand.vv v28, v28, v29
+; LMULMAX1-RV32-NEXT:    vsub.vv v26, v26, v28
+; LMULMAX1-RV32-NEXT:    lui a2, 209715
+; LMULMAX1-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV32-NEXT:    vsetivli a3, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmv.v.x v28, a2
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vand.vv v30, v26, v28
+; LMULMAX1-RV32-NEXT:    lui a2, %hi(.LCPI7_1)
+; LMULMAX1-RV32-NEXT:    addi a2, a2, %lo(.LCPI7_1)
+; LMULMAX1-RV32-NEXT:    vsetivli a3, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v31, (a2)
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vv v26, v26, v31
+; LMULMAX1-RV32-NEXT:    vand.vv v26, v26, v28
+; LMULMAX1-RV32-NEXT:    vadd.vv v26, v30, v26
+; LMULMAX1-RV32-NEXT:    lui a2, %hi(.LCPI7_2)
+; LMULMAX1-RV32-NEXT:    addi a2, a2, %lo(.LCPI7_2)
+; LMULMAX1-RV32-NEXT:    vsetivli a3, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v30, (a2)
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vv v8, v26, v30
+; LMULMAX1-RV32-NEXT:    vadd.vv v26, v26, v8
+; LMULMAX1-RV32-NEXT:    lui a2, 61681
+; LMULMAX1-RV32-NEXT:    addi a2, a2, -241
+; LMULMAX1-RV32-NEXT:    vsetivli a3, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmv.v.x v8, a2
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vand.vv v26, v26, v8
+; LMULMAX1-RV32-NEXT:    lui a2, 4112
+; LMULMAX1-RV32-NEXT:    addi a2, a2, 257
+; LMULMAX1-RV32-NEXT:    vsetivli a3, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmv.v.x v9, a2
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmul.vv v26, v26, v9
+; LMULMAX1-RV32-NEXT:    lui a2, %hi(.LCPI7_3)
+; LMULMAX1-RV32-NEXT:    addi a2, a2, %lo(.LCPI7_3)
+; LMULMAX1-RV32-NEXT:    vsetivli a3, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v10, (a2)
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vv v26, v26, v10
+; LMULMAX1-RV32-NEXT:    vsrl.vv v27, v25, v27
+; LMULMAX1-RV32-NEXT:    vand.vv v27, v27, v29
+; LMULMAX1-RV32-NEXT:    vsub.vv v25, v25, v27
+; LMULMAX1-RV32-NEXT:    vand.vv v27, v25, v28
+; LMULMAX1-RV32-NEXT:    vsrl.vv v25, v25, v31
+; LMULMAX1-RV32-NEXT:    vand.vv v25, v25, v28
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v27, v25
+; LMULMAX1-RV32-NEXT:    vsrl.vv v27, v25, v30
+; LMULMAX1-RV32-NEXT:    vadd.vv v25, v25, v27
+; LMULMAX1-RV32-NEXT:    vand.vv v25, v25, v8
+; LMULMAX1-RV32-NEXT:    vmul.vv v25, v25, v9
+; LMULMAX1-RV32-NEXT:    vsrl.vv v25, v25, v10
+; LMULMAX1-RV32-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vse64.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: ctpop_v4i64:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV64-NEXT:    vle64.v v25, (a6)
+; LMULMAX1-RV64-NEXT:    vle64.v v26, (a0)
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v25, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 21845
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-RV64-NEXT:    vsub.vv v25, v25, v27
+; LMULMAX1-RV64-NEXT:    lui a3, 13107
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v25, a3
+; LMULMAX1-RV64-NEXT:    vsrl.vi v25, v25, 2
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a3
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v27, v25
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v25, 4
+; LMULMAX1-RV64-NEXT:    vadd.vv v25, v25, v27
+; LMULMAX1-RV64-NEXT:    lui a4, 3855
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    vand.vx v25, v25, a4
+; LMULMAX1-RV64-NEXT:    lui a5, 4112
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    vmul.vx v25, v25, a5
+; LMULMAX1-RV64-NEXT:    addi a1, zero, 56
+; LMULMAX1-RV64-NEXT:    vsrl.vx v25, v25, a1
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v26, 1
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v27, a2
+; LMULMAX1-RV64-NEXT:    vsub.vv v26, v26, v27
+; LMULMAX1-RV64-NEXT:    vand.vx v27, v26, a3
+; LMULMAX1-RV64-NEXT:    vsrl.vi v26, v26, 2
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v26, a3
+; LMULMAX1-RV64-NEXT:    vadd.vv v26, v27, v26
+; LMULMAX1-RV64-NEXT:    vsrl.vi v27, v26, 4
+; LMULMAX1-RV64-NEXT:    vadd.vv v26, v26, v27
+; LMULMAX1-RV64-NEXT:    vand.vx v26, v26, a4
+; LMULMAX1-RV64-NEXT:    vmul.vx v26, v26, a5
+; LMULMAX1-RV64-NEXT:    vsrl.vx v26, v26, a1
+; LMULMAX1-RV64-NEXT:    vse64.v v26, (a0)
+; LMULMAX1-RV64-NEXT:    vse64.v v25, (a6)
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <4 x i64>, <4 x i64>* %x
+  %b = load <4 x i64>, <4 x i64>* %y
+  %c = call <4 x i64> @llvm.ctpop.v4i64(<4 x i64> %a)
+  store <4 x i64> %c, <4 x i64>* %x
+  ret void
+}
+declare <4 x i64> @llvm.ctpop.v4i64(<4 x i64>)
diff --git a/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-cttz.ll b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-cttz.ll
new file mode 100644
index 00000000000000..c465cce84f1a70
--- /dev/null
+++ b/llvm/test/CodeGen/RISCV/rvv/fixed-vectors-cttz.ll
@@ -0,0 +1,8288 @@
+; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
+; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX2-RV32
+; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX2-RV64
+; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV32
+; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV64
+
+define void @cttz_v16i8(<16 x i8>* %x, <16 x i8>* %y) {
+; LMULMAX2-RV32-LABEL: cttz_v16i8:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a2, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV32-NEXT:    and a3, a3, a6
+; LMULMAX2-RV32-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV32-NEXT:    lui a2, 209715
+; LMULMAX2-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV32-NEXT:    and a4, a3, a2
+; LMULMAX2-RV32-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV32-NEXT:    and a3, a3, a2
+; LMULMAX2-RV32-NEXT:    add a3, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV32-NEXT:    add a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 61681
+; LMULMAX2-RV32-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    lui a4, 4112
+; LMULMAX2-RV32-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV32-NEXT:    mul a5, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a5, 24
+; LMULMAX2-RV32-NEXT:    sb a5, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a5, 1, e8,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v26
+; LMULMAX2-RV32-NEXT:    ori a5, a5, 256
+; LMULMAX2-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX2-RV32-NEXT:    not a5, a5
+; LMULMAX2-RV32-NEXT:    and a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v25, (sp)
+; LMULMAX2-RV32-NEXT:    vse8.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: cttz_v16i8:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a2, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 21845
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV64-NEXT:    lui a2, 13107
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    and a4, a3, a2
+; LMULMAX2-RV64-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV64-NEXT:    and a3, a3, a2
+; LMULMAX2-RV64-NEXT:    add a3, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV64-NEXT:    add a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 3855
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 241
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    lui a4, 4112
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 257
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV64-NEXT:    mul a5, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a5, 56
+; LMULMAX2-RV64-NEXT:    sb a5, 15(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a5, v26
+; LMULMAX2-RV64-NEXT:    ori a5, a5, 256
+; LMULMAX2-RV64-NEXT:    addi a1, a5, -1
+; LMULMAX2-RV64-NEXT:    not a5, a5
+; LMULMAX2-RV64-NEXT:    and a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV64-NEXT:    and a5, a5, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV64-NEXT:    and a5, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a5, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v25, (sp)
+; LMULMAX2-RV64-NEXT:    vse8.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: cttz_v16i8:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle8.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a2, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    lui a1, 349525
+; LMULMAX1-RV32-NEXT:    addi a6, a1, 1365
+; LMULMAX1-RV32-NEXT:    and a3, a3, a6
+; LMULMAX1-RV32-NEXT:    sub a3, a2, a3
+; LMULMAX1-RV32-NEXT:    lui a2, 209715
+; LMULMAX1-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV32-NEXT:    and a4, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a3, 2
+; LMULMAX1-RV32-NEXT:    and a3, a3, a2
+; LMULMAX1-RV32-NEXT:    add a3, a4, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a3, 4
+; LMULMAX1-RV32-NEXT:    add a4, a3, a4
+; LMULMAX1-RV32-NEXT:    lui a3, 61681
+; LMULMAX1-RV32-NEXT:    addi a3, a3, -241
+; LMULMAX1-RV32-NEXT:    and a5, a4, a3
+; LMULMAX1-RV32-NEXT:    lui a4, 4112
+; LMULMAX1-RV32-NEXT:    addi a4, a4, 257
+; LMULMAX1-RV32-NEXT:    mul a5, a5, a4
+; LMULMAX1-RV32-NEXT:    srli a5, a5, 24
+; LMULMAX1-RV32-NEXT:    sb a5, 0(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a5, 1, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-RV32-NEXT:    vmv.x.s a5, v26
+; LMULMAX1-RV32-NEXT:    ori a5, a5, 256
+; LMULMAX1-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX1-RV32-NEXT:    not a5, a5
+; LMULMAX1-RV32-NEXT:    and a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    vse8.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: cttz_v16i8:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle8.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a2, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    lui a1, 21845
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX1-RV64-NEXT:    addi a6, a1, 1365
+; LMULMAX1-RV64-NEXT:    and a3, a3, a6
+; LMULMAX1-RV64-NEXT:    sub a3, a2, a3
+; LMULMAX1-RV64-NEXT:    lui a2, 13107
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    and a4, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a3, 2
+; LMULMAX1-RV64-NEXT:    and a3, a3, a2
+; LMULMAX1-RV64-NEXT:    add a3, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 4
+; LMULMAX1-RV64-NEXT:    add a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 3855
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 241
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 241
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, -241
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    lui a4, 4112
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 257
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 16
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 257
+; LMULMAX1-RV64-NEXT:    mul a5, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a5, 56
+; LMULMAX1-RV64-NEXT:    sb a5, 15(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-RV64-NEXT:    vmv.x.s a5, v26
+; LMULMAX1-RV64-NEXT:    ori a5, a5, 256
+; LMULMAX1-RV64-NEXT:    addi a1, a5, -1
+; LMULMAX1-RV64-NEXT:    not a5, a5
+; LMULMAX1-RV64-NEXT:    and a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV64-NEXT:    and a5, a5, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV64-NEXT:    and a5, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    vse8.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <16 x i8>, <16 x i8>* %x
+  %b = load <16 x i8>, <16 x i8>* %y
+  %c = call <16 x i8> @llvm.cttz.v16i8(<16 x i8> %a, i1 false)
+  store <16 x i8> %c, <16 x i8>* %x
+  ret void
+}
+declare <16 x i8> @llvm.cttz.v16i8(<16 x i8>, i1)
+
+define void @cttz_v8i16(<8 x i16>* %x, <8 x i16>* %y) {
+; LMULMAX2-RV32-LABEL: cttz_v8i16:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a2, v25
+; LMULMAX2-RV32-NEXT:    lui a6, 16
+; LMULMAX2-RV32-NEXT:    or a2, a2, a6
+; LMULMAX2-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX2-RV32-NEXT:    not a2, a2
+; LMULMAX2-RV32-NEXT:    and a3, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV32-NEXT:    lui a2, 349525
+; LMULMAX2-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV32-NEXT:    and a4, a4, a7
+; LMULMAX2-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 209715
+; LMULMAX2-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV32-NEXT:    and a4, a4, a3
+; LMULMAX2-RV32-NEXT:    add a4, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV32-NEXT:    add a5, a4, a5
+; LMULMAX2-RV32-NEXT:    lui a4, 61681
+; LMULMAX2-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV32-NEXT:    and a1, a5, a4
+; LMULMAX2-RV32-NEXT:    lui a5, 4112
+; LMULMAX2-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e16,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v25, (sp)
+; LMULMAX2-RV32-NEXT:    vse16.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: cttz_v8i16:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e16,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX2-RV64-NEXT:    lui a6, 16
+; LMULMAX2-RV64-NEXT:    or a2, a2, a6
+; LMULMAX2-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX2-RV64-NEXT:    not a2, a2
+; LMULMAX2-RV64-NEXT:    and a3, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV64-NEXT:    lui a2, 21845
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 13107
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV64-NEXT:    and a4, a4, a3
+; LMULMAX2-RV64-NEXT:    add a4, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV64-NEXT:    add a5, a4, a5
+; LMULMAX2-RV64-NEXT:    lui a4, 3855
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    and a1, a5, a4
+; LMULMAX2-RV64-NEXT:    lui a5, 4112
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v25, (sp)
+; LMULMAX2-RV64-NEXT:    vse16.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: cttz_v8i16:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV32-NEXT:    lui a6, 16
+; LMULMAX1-RV32-NEXT:    or a2, a2, a6
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a3, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV32-NEXT:    lui a2, 349525
+; LMULMAX1-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV32-NEXT:    and a4, a4, a7
+; LMULMAX1-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV32-NEXT:    lui a3, 209715
+; LMULMAX1-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV32-NEXT:    and a5, a4, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV32-NEXT:    and a4, a4, a3
+; LMULMAX1-RV32-NEXT:    add a4, a5, a4
+; LMULMAX1-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV32-NEXT:    add a5, a4, a5
+; LMULMAX1-RV32-NEXT:    lui a4, 61681
+; LMULMAX1-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV32-NEXT:    and a1, a5, a4
+; LMULMAX1-RV32-NEXT:    lui a5, 4112
+; LMULMAX1-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sh a1, 0(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    or a1, a1, a6
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sh a1, 14(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    or a1, a1, a6
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sh a1, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    or a1, a1, a6
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sh a1, 10(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    or a1, a1, a6
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sh a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    or a1, a1, a6
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sh a1, 6(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    or a1, a1, a6
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sh a1, 4(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    or a1, a1, a6
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sh a1, 2(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle16.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: cttz_v8i16:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 1, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    lui a6, 16
+; LMULMAX1-RV64-NEXT:    or a2, a2, a6
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a3, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 21845
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 13107
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV64-NEXT:    and a4, a4, a3
+; LMULMAX1-RV64-NEXT:    add a4, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV64-NEXT:    add a5, a4, a5
+; LMULMAX1-RV64-NEXT:    lui a4, 3855
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    and a1, a5, a4
+; LMULMAX1-RV64-NEXT:    lui a5, 4112
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sh a1, 14(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    or a1, a1, a6
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sh a1, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    or a1, a1, a6
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sh a1, 10(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    or a1, a1, a6
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sh a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    or a1, a1, a6
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sh a1, 6(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    or a1, a1, a6
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sh a1, 4(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    or a1, a1, a6
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sh a1, 2(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    or a1, a1, a6
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sh a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle16.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <8 x i16>, <8 x i16>* %x
+  %b = load <8 x i16>, <8 x i16>* %y
+  %c = call <8 x i16> @llvm.cttz.v8i16(<8 x i16> %a, i1 false)
+  store <8 x i16> %c, <8 x i16>* %x
+  ret void
+}
+declare <8 x i16> @llvm.cttz.v8i16(<8 x i16>, i1)
+
+define void @cttz_v4i32(<4 x i32>* %x, <4 x i32>* %y) {
+; LMULMAX2-RV32-LABEL: cttz_v4i32:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    lui a3, 349525
+; LMULMAX2-RV32-NEXT:    addi a6, a3, 1365
+; LMULMAX2-RV32-NEXT:    and a2, a2, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    lui a2, 209715
+; LMULMAX2-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV32-NEXT:    and a4, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a4, a1
+; LMULMAX2-RV32-NEXT:    srli a4, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a4
+; LMULMAX2-RV32-NEXT:    lui a4, 61681
+; LMULMAX2-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    lui a5, 4112
+; LMULMAX2-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    addi a3, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 1
+; LMULMAX2-RV32-NEXT:    and a3, a3, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a3, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a3, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    addi a3, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 1
+; LMULMAX2-RV32-NEXT:    and a3, a3, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a3, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a3, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    addi a3, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 1
+; LMULMAX2-RV32-NEXT:    and a3, a3, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a3, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a3, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX2-RV32-NEXT:    vse32.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: cttz_v4i32:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 1
+; LMULMAX2-RV64-NEXT:    vsetivli a2, 1, e32,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX2-RV64-NEXT:    slli a6, a1, 32
+; LMULMAX2-RV64-NEXT:    or a2, a2, a6
+; LMULMAX2-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX2-RV64-NEXT:    not a2, a2
+; LMULMAX2-RV64-NEXT:    and a3, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV64-NEXT:    lui a2, 21845
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 13107
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV64-NEXT:    and a4, a4, a3
+; LMULMAX2-RV64-NEXT:    add a4, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV64-NEXT:    add a4, a4, a5
+; LMULMAX2-RV64-NEXT:    lui a5, 3855
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 241
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX2-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 241
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX2-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX2-RV64-NEXT:    and a4, a4, a5
+; LMULMAX2-RV64-NEXT:    lui a1, 4112
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX2-RV64-NEXT:    mul a4, a4, a1
+; LMULMAX2-RV64-NEXT:    srli a4, a4, 56
+; LMULMAX2-RV64-NEXT:    sw a4, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a4, v26
+; LMULMAX2-RV64-NEXT:    or a4, a4, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a4, -1
+; LMULMAX2-RV64-NEXT:    not a4, a4
+; LMULMAX2-RV64-NEXT:    and a2, a4, a2
+; LMULMAX2-RV64-NEXT:    srli a4, a2, 1
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a2, a2, a4
+; LMULMAX2-RV64-NEXT:    and a4, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX2-RV64-NEXT:    and a2, a2, a3
+; LMULMAX2-RV64-NEXT:    add a2, a4, a2
+; LMULMAX2-RV64-NEXT:    srli a4, a2, 4
+; LMULMAX2-RV64-NEXT:    add a2, a2, a4
+; LMULMAX2-RV64-NEXT:    and a2, a2, a5
+; LMULMAX2-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX2-RV64-NEXT:    sw a2, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX2-RV64-NEXT:    or a2, a2, a6
+; LMULMAX2-RV64-NEXT:    addi a4, a2, -1
+; LMULMAX2-RV64-NEXT:    not a2, a2
+; LMULMAX2-RV64-NEXT:    and a2, a2, a4
+; LMULMAX2-RV64-NEXT:    srli a4, a2, 1
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a2, a2, a4
+; LMULMAX2-RV64-NEXT:    and a4, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX2-RV64-NEXT:    and a2, a2, a3
+; LMULMAX2-RV64-NEXT:    add a2, a4, a2
+; LMULMAX2-RV64-NEXT:    srli a4, a2, 4
+; LMULMAX2-RV64-NEXT:    add a2, a2, a4
+; LMULMAX2-RV64-NEXT:    and a2, a2, a5
+; LMULMAX2-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX2-RV64-NEXT:    sw a2, 4(sp)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a2, v25
+; LMULMAX2-RV64-NEXT:    or a2, a2, a6
+; LMULMAX2-RV64-NEXT:    addi a4, a2, -1
+; LMULMAX2-RV64-NEXT:    not a2, a2
+; LMULMAX2-RV64-NEXT:    and a2, a2, a4
+; LMULMAX2-RV64-NEXT:    srli a4, a2, 1
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a2, a2, a4
+; LMULMAX2-RV64-NEXT:    and a4, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX2-RV64-NEXT:    and a2, a2, a3
+; LMULMAX2-RV64-NEXT:    add a2, a4, a2
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX2-RV64-NEXT:    add a2, a2, a3
+; LMULMAX2-RV64-NEXT:    and a2, a2, a5
+; LMULMAX2-RV64-NEXT:    mul a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sw a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v25, (sp)
+; LMULMAX2-RV64-NEXT:    vse32.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: cttz_v4i32:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    lui a3, 349525
+; LMULMAX1-RV32-NEXT:    addi a6, a3, 1365
+; LMULMAX1-RV32-NEXT:    and a2, a2, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    lui a2, 209715
+; LMULMAX1-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV32-NEXT:    and a4, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a4, a1
+; LMULMAX1-RV32-NEXT:    srli a4, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a4
+; LMULMAX1-RV32-NEXT:    lui a4, 61681
+; LMULMAX1-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    lui a5, 4112
+; LMULMAX1-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 0(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    addi a3, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a3
+; LMULMAX1-RV32-NEXT:    and a3, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a3, a1
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a3
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    addi a3, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a3
+; LMULMAX1-RV32-NEXT:    and a3, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a3, a1
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a3
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    addi a3, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, a6
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a3
+; LMULMAX1-RV32-NEXT:    and a3, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    add a1, a3, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 4(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: cttz_v4i32:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    addi a1, zero, 1
+; LMULMAX1-RV64-NEXT:    vsetivli a2, 1, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    slli a6, a1, 32
+; LMULMAX1-RV64-NEXT:    or a2, a2, a6
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a3, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 21845
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 13107
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV64-NEXT:    and a4, a4, a3
+; LMULMAX1-RV64-NEXT:    add a4, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV64-NEXT:    add a4, a4, a5
+; LMULMAX1-RV64-NEXT:    lui a5, 3855
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV64-NEXT:    and a4, a4, a5
+; LMULMAX1-RV64-NEXT:    lui a1, 4112
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    mul a4, a4, a1
+; LMULMAX1-RV64-NEXT:    srli a4, a4, 56
+; LMULMAX1-RV64-NEXT:    sw a4, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a4, v26
+; LMULMAX1-RV64-NEXT:    or a4, a4, a6
+; LMULMAX1-RV64-NEXT:    addi a2, a4, -1
+; LMULMAX1-RV64-NEXT:    not a4, a4
+; LMULMAX1-RV64-NEXT:    and a2, a4, a2
+; LMULMAX1-RV64-NEXT:    srli a4, a2, 1
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a4
+; LMULMAX1-RV64-NEXT:    and a4, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    add a2, a4, a2
+; LMULMAX1-RV64-NEXT:    srli a4, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a4
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sw a2, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a6
+; LMULMAX1-RV64-NEXT:    addi a4, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a4, a2, 1
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a4
+; LMULMAX1-RV64-NEXT:    and a4, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    add a2, a4, a2
+; LMULMAX1-RV64-NEXT:    srli a4, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a4
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sw a2, 4(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV64-NEXT:    or a2, a2, a6
+; LMULMAX1-RV64-NEXT:    addi a4, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a4, a2, 1
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a4
+; LMULMAX1-RV64-NEXT:    and a4, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    add a2, a4, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sw a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <4 x i32>, <4 x i32>* %x
+  %b = load <4 x i32>, <4 x i32>* %y
+  %c = call <4 x i32> @llvm.cttz.v4i32(<4 x i32> %a, i1 false)
+  store <4 x i32> %c, <4 x i32>* %x
+  ret void
+}
+declare <4 x i32> @llvm.cttz.v4i32(<4 x i32>, i1)
+
+define void @cttz_v2i64(<2 x i64>* %x, <2 x i64>* %y) {
+; LMULMAX2-RV32-LABEL: cttz_v2i64:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle64.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    sw zero, 12(sp)
+; LMULMAX2-RV32-NEXT:    sw zero, 4(sp)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v25
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a4, a1, 1365
+; LMULMAX2-RV32-NEXT:    lui a1, 209715
+; LMULMAX2-RV32-NEXT:    addi a3, a1, 819
+; LMULMAX2-RV32-NEXT:    lui a1, 61681
+; LMULMAX2-RV32-NEXT:    addi a7, a1, -241
+; LMULMAX2-RV32-NEXT:    lui a1, 4112
+; LMULMAX2-RV32-NEXT:    addi a2, a1, 257
+; LMULMAX2-RV32-NEXT:    addi a6, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vx v26, v25, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    bnez a5, .LBB3_2
+; LMULMAX2-RV32-NEXT:  # %bb.1:
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a5, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB3_3
+; LMULMAX2-RV32-NEXT:  .LBB3_2:
+; LMULMAX2-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX2-RV32-NEXT:    not a5, a5
+; LMULMAX2-RV32-NEXT:    and a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB3_3:
+; LMULMAX2-RV32-NEXT:    sw a5, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v25
+; LMULMAX2-RV32-NEXT:    vsrl.vx v25, v25, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV32-NEXT:    bnez a5, .LBB3_5
+; LMULMAX2-RV32-NEXT:  # %bb.4:
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a4, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX2-RV32-NEXT:    and a4, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a4, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB3_6
+; LMULMAX2-RV32-NEXT:  .LBB3_5:
+; LMULMAX2-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX2-RV32-NEXT:    not a5, a5
+; LMULMAX2-RV32-NEXT:    and a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a4, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX2-RV32-NEXT:    and a4, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a4, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB3_6:
+; LMULMAX2-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV32-NEXT:    vse64.v v25, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: cttz_v2i64:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    lui a3, 21845
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 1365
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a6, a3, 1365
+; LMULMAX2-RV64-NEXT:    and a2, a2, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    lui a2, 13107
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    and a4, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a4, a1
+; LMULMAX2-RV64-NEXT:    srli a4, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a4
+; LMULMAX2-RV64-NEXT:    lui a4, 3855
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    lui a5, 4112
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sd a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX2-RV64-NEXT:    addi a3, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 1
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a3
+; LMULMAX2-RV64-NEXT:    and a3, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a3, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sd a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v25, (sp)
+; LMULMAX2-RV64-NEXT:    vse64.v v25, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: cttz_v2i64:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    sw zero, 12(sp)
+; LMULMAX1-RV32-NEXT:    sw zero, 4(sp)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a5, v25
+; LMULMAX1-RV32-NEXT:    lui a1, 349525
+; LMULMAX1-RV32-NEXT:    addi a4, a1, 1365
+; LMULMAX1-RV32-NEXT:    lui a1, 209715
+; LMULMAX1-RV32-NEXT:    addi a3, a1, 819
+; LMULMAX1-RV32-NEXT:    lui a1, 61681
+; LMULMAX1-RV32-NEXT:    addi a7, a1, -241
+; LMULMAX1-RV32-NEXT:    lui a1, 4112
+; LMULMAX1-RV32-NEXT:    addi a2, a1, 257
+; LMULMAX1-RV32-NEXT:    addi a6, zero, 32
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vx v26, v25, a6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    bnez a5, .LBB3_2
+; LMULMAX1-RV32-NEXT:  # %bb.1:
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a4
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a7
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a5, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB3_3
+; LMULMAX1-RV32-NEXT:  .LBB3_2:
+; LMULMAX1-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX1-RV32-NEXT:    not a5, a5
+; LMULMAX1-RV32-NEXT:    and a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a5, a5, a4
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a5, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    and a1, a1, a7
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB3_3:
+; LMULMAX1-RV32-NEXT:    sw a5, 0(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a5, v25
+; LMULMAX1-RV32-NEXT:    vsrl.vx v25, v25, a6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    bnez a5, .LBB3_5
+; LMULMAX1-RV32-NEXT:  # %bb.4:
+; LMULMAX1-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a4, a5, a4
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX1-RV32-NEXT:    and a4, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a4, a1
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a3
+; LMULMAX1-RV32-NEXT:    and a1, a1, a7
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB3_6
+; LMULMAX1-RV32-NEXT:  .LBB3_5:
+; LMULMAX1-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX1-RV32-NEXT:    not a5, a5
+; LMULMAX1-RV32-NEXT:    and a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX1-RV32-NEXT:    and a4, a5, a4
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX1-RV32-NEXT:    and a4, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a4, a1
+; LMULMAX1-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a3
+; LMULMAX1-RV32-NEXT:    and a1, a1, a7
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB3_6:
+; LMULMAX1-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: cttz_v2i64:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -16
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 16
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    lui a3, 21845
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a6, a3, 1365
+; LMULMAX1-RV64-NEXT:    and a2, a2, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    lui a2, 13107
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX1-RV64-NEXT:    and a4, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a4, a1
+; LMULMAX1-RV64-NEXT:    srli a4, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a4
+; LMULMAX1-RV64-NEXT:    lui a4, 3855
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    lui a5, 4112
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sd a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    addi a3, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a1, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, a6
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a3
+; LMULMAX1-RV64-NEXT:    and a3, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    add a1, a3, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sd a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle64.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 16
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <2 x i64>, <2 x i64>* %x
+  %b = load <2 x i64>, <2 x i64>* %y
+  %c = call <2 x i64> @llvm.cttz.v2i64(<2 x i64> %a, i1 false)
+  store <2 x i64> %c, <2 x i64>* %x
+  ret void
+}
+declare <2 x i64> @llvm.cttz.v2i64(<2 x i64>, i1)
+
+define void @cttz_v32i8(<32 x i8>* %x, <32 x i8>* %y) {
+; LMULMAX2-RV32-LABEL: cttz_v32i8:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    addi a6, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetvli a2, a6, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX2-RV32-NEXT:    ori a2, a2, 256
+; LMULMAX2-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX2-RV32-NEXT:    not a2, a2
+; LMULMAX2-RV32-NEXT:    and a3, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV32-NEXT:    lui a2, 349525
+; LMULMAX2-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV32-NEXT:    and a4, a4, a7
+; LMULMAX2-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 209715
+; LMULMAX2-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV32-NEXT:    and a4, a4, a3
+; LMULMAX2-RV32-NEXT:    add a4, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV32-NEXT:    add a5, a4, a5
+; LMULMAX2-RV32-NEXT:    lui a4, 61681
+; LMULMAX2-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV32-NEXT:    and a1, a5, a4
+; LMULMAX2-RV32-NEXT:    lui a5, 4112
+; LMULMAX2-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV32-NEXT:    vsetvli a1, a6, e8,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vse8.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: cttz_v32i8:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    addi a6, zero, 32
+; LMULMAX2-RV64-NEXT:    vsetvli a2, a6, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsetivli a2, 1, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 31
+; LMULMAX2-RV64-NEXT:    vmv.x.s a2, v28
+; LMULMAX2-RV64-NEXT:    ori a2, a2, 256
+; LMULMAX2-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX2-RV64-NEXT:    not a2, a2
+; LMULMAX2-RV64-NEXT:    and a3, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV64-NEXT:    lui a2, 21845
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 13107
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV64-NEXT:    and a4, a4, a3
+; LMULMAX2-RV64-NEXT:    add a4, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV64-NEXT:    add a5, a4, a5
+; LMULMAX2-RV64-NEXT:    lui a4, 3855
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    and a1, a5, a4
+; LMULMAX2-RV64-NEXT:    lui a5, 4112
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 31(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 30
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 30(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 29
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 29(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 28
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 27
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 27(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 26
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 26(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 25
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 25(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 24
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 23
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 23(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 22
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 22(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 21
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 21(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 20
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 19
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 19(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 18
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 18(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 17
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 17(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 16
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetvli a1, a6, e8,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle8.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vse8.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: cttz_v32i8:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV32-NEXT:    vle8.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    vle8.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    ori a2, a2, 256
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a3, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV32-NEXT:    lui a2, 349525
+; LMULMAX1-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV32-NEXT:    and a4, a4, a7
+; LMULMAX1-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV32-NEXT:    lui a3, 209715
+; LMULMAX1-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV32-NEXT:    and a5, a4, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV32-NEXT:    and a4, a4, a3
+; LMULMAX1-RV32-NEXT:    add a4, a5, a4
+; LMULMAX1-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV32-NEXT:    add a5, a4, a5
+; LMULMAX1-RV32-NEXT:    lui a4, 61681
+; LMULMAX1-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV32-NEXT:    and a1, a5, a4
+; LMULMAX1-RV32-NEXT:    lui a5, 4112
+; LMULMAX1-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 16(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 15
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 31(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 14
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 30(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 13
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 29(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 12
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 28(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 11
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 27(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 10
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 26(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 9
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 25(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 8
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 24(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 23(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 22(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 21(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 20(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 19(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 18(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 17(sp)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 0(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 15(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 14(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 13(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 11(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 10(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 9(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 7(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 6(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 5(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 4(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 3(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 2(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sb a1, 1(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV32-NEXT:    vle8.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vse8.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vse8.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: cttz_v32i8:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV64-NEXT:    vle8.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    vle8.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    ori a2, a2, 256
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a3, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 21845
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 13107
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV64-NEXT:    and a4, a4, a3
+; LMULMAX1-RV64-NEXT:    add a4, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV64-NEXT:    add a5, a4, a5
+; LMULMAX1-RV64-NEXT:    lui a4, 3855
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV64-NEXT:    and a1, a5, a4
+; LMULMAX1-RV64-NEXT:    lui a5, 4112
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 16(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 1, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 15
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 31(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 14
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 30(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 13
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 29(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 12
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 28(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 11
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 27(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 10
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 26(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 9
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 25(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 8
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 24(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 23(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 22(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 21(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 20(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 19(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 18(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 17(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 15
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 15(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 14
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 14(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 13
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 13(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 12
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 11
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 11(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 10
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 10(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 9
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 9(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 8
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 7(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 6(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 5(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 4(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 3(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 2(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 1(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV64-NEXT:    ori a1, a1, 256
+; LMULMAX1-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a2
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV64-NEXT:    and a2, a2, a7
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a2, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    add a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sb a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 16, e8,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle8.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV64-NEXT:    vle8.v v26, (a1)
+; LMULMAX1-RV64-NEXT:    vse8.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vse8.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <32 x i8>, <32 x i8>* %x
+  %b = load <32 x i8>, <32 x i8>* %y
+  %c = call <32 x i8> @llvm.cttz.v32i8(<32 x i8> %a, i1 false)
+  store <32 x i8> %c, <32 x i8>* %x
+  ret void
+}
+declare <32 x i8> @llvm.cttz.v32i8(<32 x i8>, i1)
+
+define void @cttz_v16i16(<16 x i16>* %x, <16 x i16>* %y) {
+; LMULMAX2-RV32-LABEL: cttz_v16i16:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX2-RV32-NEXT:    lui a6, 16
+; LMULMAX2-RV32-NEXT:    or a2, a2, a6
+; LMULMAX2-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX2-RV32-NEXT:    not a2, a2
+; LMULMAX2-RV32-NEXT:    and a3, a2, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV32-NEXT:    lui a2, 349525
+; LMULMAX2-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV32-NEXT:    and a4, a4, a7
+; LMULMAX2-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 209715
+; LMULMAX2-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV32-NEXT:    and a4, a4, a3
+; LMULMAX2-RV32-NEXT:    add a4, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV32-NEXT:    add a5, a4, a5
+; LMULMAX2-RV32-NEXT:    lui a4, 61681
+; LMULMAX2-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV32-NEXT:    and a1, a5, a4
+; LMULMAX2-RV32-NEXT:    lui a5, 4112
+; LMULMAX2-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 30(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 26(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 22(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 18(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 14(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 10(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 6(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    or a1, a1, a6
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV32-NEXT:    and a2, a2, a7
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a2, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a2, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a4
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sh a1, 2(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle16.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vse16.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: cttz_v16i16:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 15
+; LMULMAX2-RV64-NEXT:    vmv.x.s a2, v28
+; LMULMAX2-RV64-NEXT:    lui a6, 16
+; LMULMAX2-RV64-NEXT:    or a2, a2, a6
+; LMULMAX2-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX2-RV64-NEXT:    not a2, a2
+; LMULMAX2-RV64-NEXT:    and a3, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV64-NEXT:    lui a2, 21845
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 13107
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV64-NEXT:    and a4, a4, a3
+; LMULMAX2-RV64-NEXT:    add a4, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV64-NEXT:    add a5, a4, a5
+; LMULMAX2-RV64-NEXT:    lui a4, 3855
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    and a1, a5, a4
+; LMULMAX2-RV64-NEXT:    lui a5, 4112
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 30(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 14
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 13
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 26(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 12
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 11
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 22(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 10
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 9
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 18(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 8
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 14(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 10(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 6(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 2(sp)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sh a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 16, e16,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle16.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vse16.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: cttz_v16i16:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV32-NEXT:    vle16.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    lui a7, 16
+; LMULMAX1-RV32-NEXT:    or a1, a1, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a1, 1
+; LMULMAX1-RV32-NEXT:    lui a3, 349525
+; LMULMAX1-RV32-NEXT:    addi t0, a3, 1365
+; LMULMAX1-RV32-NEXT:    and a4, a4, t0
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX1-RV32-NEXT:    lui a4, 209715
+; LMULMAX1-RV32-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV32-NEXT:    and a5, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a5, a1
+; LMULMAX1-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a5
+; LMULMAX1-RV32-NEXT:    lui a5, 61681
+; LMULMAX1-RV32-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV32-NEXT:    and a2, a1, a5
+; LMULMAX1-RV32-NEXT:    lui a1, 4112
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 16(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 1, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 30(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 28(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 26(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 24(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 22(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 20(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 18(sp)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 0(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 14(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 10(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 6(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 24
+; LMULMAX1-RV32-NEXT:    sh a2, 4(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV32-NEXT:    or a2, a2, a7
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV32-NEXT:    and a3, a3, t0
+; LMULMAX1-RV32-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a3, a2, a4
+; LMULMAX1-RV32-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV32-NEXT:    and a2, a2, a4
+; LMULMAX1-RV32-NEXT:    add a2, a3, a2
+; LMULMAX1-RV32-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV32-NEXT:    add a2, a2, a3
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    mul a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sh a1, 2(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle16.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV32-NEXT:    vle16.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vse16.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: cttz_v16i16:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV64-NEXT:    vle16.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    vle16.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    lui a7, 16
+; LMULMAX1-RV64-NEXT:    or a1, a1, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a1, 1
+; LMULMAX1-RV64-NEXT:    lui a3, 21845
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi t0, a3, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, t0
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a4
+; LMULMAX1-RV64-NEXT:    lui a4, 13107
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 819
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV64-NEXT:    and a5, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    lui a5, 3855
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV64-NEXT:    and a2, a1, a5
+; LMULMAX1-RV64-NEXT:    lui a1, 4112
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 16(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a2, 1, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 30(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 28(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 26(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 24(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 22(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 20(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 18(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 7
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 14(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 6
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 5
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 10(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 4
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 6(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 4(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sh a2, 2(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sh a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 8, e16,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle16.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV64-NEXT:    vle16.v v26, (a1)
+; LMULMAX1-RV64-NEXT:    vse16.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vse16.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <16 x i16>, <16 x i16>* %x
+  %b = load <16 x i16>, <16 x i16>* %y
+  %c = call <16 x i16> @llvm.cttz.v16i16(<16 x i16> %a, i1 false)
+  store <16 x i16> %c, <16 x i16>* %x
+  ret void
+}
+declare <16 x i16> @llvm.cttz.v16i16(<16 x i16>, i1)
+
+define void @cttz_v8i32(<8 x i32>* %x, <8 x i32>* %y) {
+; LMULMAX2-RV32-LABEL: cttz_v8i32:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a2, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV32-NEXT:    and a3, a3, a6
+; LMULMAX2-RV32-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV32-NEXT:    lui a2, 209715
+; LMULMAX2-RV32-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV32-NEXT:    and a4, a3, a2
+; LMULMAX2-RV32-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV32-NEXT:    and a3, a3, a2
+; LMULMAX2-RV32-NEXT:    add a3, a4, a3
+; LMULMAX2-RV32-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV32-NEXT:    add a4, a3, a4
+; LMULMAX2-RV32-NEXT:    lui a3, 61681
+; LMULMAX2-RV32-NEXT:    addi a3, a3, -241
+; LMULMAX2-RV32-NEXT:    and a5, a4, a3
+; LMULMAX2-RV32-NEXT:    lui a4, 4112
+; LMULMAX2-RV32-NEXT:    addi a4, a4, 257
+; LMULMAX2-RV32-NEXT:    mul a5, a5, a4
+; LMULMAX2-RV32-NEXT:    srli a5, a5, 24
+; LMULMAX2-RV32-NEXT:    sw a5, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a5, 1, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v28
+; LMULMAX2-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX2-RV32-NEXT:    not a5, a5
+; LMULMAX2-RV32-NEXT:    and a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 28(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 24(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 20(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 16(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 12(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a6
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a2
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a4
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    sw a1, 4(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vse32.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: cttz_v8i32:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi a1, zero, 1
+; LMULMAX2-RV64-NEXT:    vsetivli a2, 1, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 7
+; LMULMAX2-RV64-NEXT:    vmv.x.s a2, v28
+; LMULMAX2-RV64-NEXT:    slli a6, a1, 32
+; LMULMAX2-RV64-NEXT:    or a2, a2, a6
+; LMULMAX2-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX2-RV64-NEXT:    not a2, a2
+; LMULMAX2-RV64-NEXT:    and a3, a2, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX2-RV64-NEXT:    lui a2, 21845
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX2-RV64-NEXT:    and a4, a4, a7
+; LMULMAX2-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a3, 13107
+; LMULMAX2-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX2-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX2-RV64-NEXT:    and a5, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX2-RV64-NEXT:    and a4, a4, a3
+; LMULMAX2-RV64-NEXT:    add a4, a5, a4
+; LMULMAX2-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX2-RV64-NEXT:    add a5, a4, a5
+; LMULMAX2-RV64-NEXT:    lui a4, 3855
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    and a1, a5, a4
+; LMULMAX2-RV64-NEXT:    lui a5, 4112
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sw a1, 28(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 6
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sw a1, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 5
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sw a1, 20(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 4
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sw a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sw a1, 12(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sw a1, 4(sp)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    or a1, a1, a6
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 1
+; LMULMAX2-RV64-NEXT:    and a2, a2, a7
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a2, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    add a1, a2, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sw a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle32.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vse32.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: cttz_v8i32:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV32-NEXT:    vle32.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a3, a2, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV32-NEXT:    lui a2, 349525
+; LMULMAX1-RV32-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV32-NEXT:    and a4, a4, a7
+; LMULMAX1-RV32-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV32-NEXT:    lui a3, 209715
+; LMULMAX1-RV32-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV32-NEXT:    and a5, a4, a3
+; LMULMAX1-RV32-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV32-NEXT:    and a4, a4, a3
+; LMULMAX1-RV32-NEXT:    add a4, a5, a4
+; LMULMAX1-RV32-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV32-NEXT:    add a5, a4, a5
+; LMULMAX1-RV32-NEXT:    lui a4, 61681
+; LMULMAX1-RV32-NEXT:    addi a4, a4, -241
+; LMULMAX1-RV32-NEXT:    and a1, a5, a4
+; LMULMAX1-RV32-NEXT:    lui a5, 4112
+; LMULMAX1-RV32-NEXT:    addi a5, a5, 257
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 16(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 28(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v27
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 24(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 20(sp)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 0(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 12(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a7
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a3
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a5
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    sw a1, 4(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV32-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vse32.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: cttz_v8i32:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV64-NEXT:    vle32.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    vle32.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV64-NEXT:    addi a2, zero, 1
+; LMULMAX1-RV64-NEXT:    slli a7, a2, 32
+; LMULMAX1-RV64-NEXT:    or a1, a1, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a1, -1
+; LMULMAX1-RV64-NEXT:    not a1, a1
+; LMULMAX1-RV64-NEXT:    and a1, a1, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a1, 1
+; LMULMAX1-RV64-NEXT:    lui a3, 21845
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 1365
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi t0, a3, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, t0
+; LMULMAX1-RV64-NEXT:    sub a1, a1, a4
+; LMULMAX1-RV64-NEXT:    lui a4, 13107
+; LMULMAX1-RV64-NEXT:    addiw a4, a4, 819
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX1-RV64-NEXT:    addi a4, a4, 819
+; LMULMAX1-RV64-NEXT:    and a5, a1, a4
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV64-NEXT:    and a1, a1, a4
+; LMULMAX1-RV64-NEXT:    add a1, a5, a1
+; LMULMAX1-RV64-NEXT:    srli a5, a1, 4
+; LMULMAX1-RV64-NEXT:    add a1, a1, a5
+; LMULMAX1-RV64-NEXT:    lui a5, 3855
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV64-NEXT:    and a2, a1, a5
+; LMULMAX1-RV64-NEXT:    lui a1, 4112
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sw a2, 16(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a2, 1, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sw a2, 28(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sw a2, 24(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sw a2, 20(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 3
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sw a2, 12(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 2
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sw a2, 8(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sw a2, 4(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV64-NEXT:    or a2, a2, a7
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX1-RV64-NEXT:    and a3, a3, t0
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a3, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    add a2, a3, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sw a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV64-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-RV64-NEXT:    vse32.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vse32.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <8 x i32>, <8 x i32>* %x
+  %b = load <8 x i32>, <8 x i32>* %y
+  %c = call <8 x i32> @llvm.cttz.v8i32(<8 x i32> %a, i1 false)
+  store <8 x i32> %c, <8 x i32>* %x
+  ret void
+}
+declare <8 x i32> @llvm.cttz.v8i32(<8 x i32>, i1)
+
+define void @cttz_v4i64(<4 x i64>* %x, <4 x i64>* %y) {
+; LMULMAX2-RV32-LABEL: cttz_v4i64:
+; LMULMAX2-RV32:       # %bb.0:
+; LMULMAX2-RV32-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV32-NEXT:    sw ra, 60(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    sw s0, 56(sp) # 4-byte Folded Spill
+; LMULMAX2-RV32-NEXT:    .cfi_offset ra, -4
+; LMULMAX2-RV32-NEXT:    .cfi_offset s0, -8
+; LMULMAX2-RV32-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV32-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV32-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle64.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    sw zero, 28(sp)
+; LMULMAX2-RV32-NEXT:    sw zero, 20(sp)
+; LMULMAX2-RV32-NEXT:    sw zero, 12(sp)
+; LMULMAX2-RV32-NEXT:    sw zero, 4(sp)
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v26
+; LMULMAX2-RV32-NEXT:    lui a1, 349525
+; LMULMAX2-RV32-NEXT:    addi a4, a1, 1365
+; LMULMAX2-RV32-NEXT:    lui a1, 209715
+; LMULMAX2-RV32-NEXT:    addi a3, a1, 819
+; LMULMAX2-RV32-NEXT:    lui a1, 61681
+; LMULMAX2-RV32-NEXT:    addi a7, a1, -241
+; LMULMAX2-RV32-NEXT:    lui a1, 4112
+; LMULMAX2-RV32-NEXT:    addi a2, a1, 257
+; LMULMAX2-RV32-NEXT:    addi a6, zero, 32
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vsrl.vx v28, v26, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    bnez a5, .LBB7_2
+; LMULMAX2-RV32-NEXT:  # %bb.1:
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a5, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB7_3
+; LMULMAX2-RV32-NEXT:  .LBB7_2:
+; LMULMAX2-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX2-RV32-NEXT:    not a5, a5
+; LMULMAX2-RV32-NEXT:    and a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB7_3:
+; LMULMAX2-RV32-NEXT:    sw a5, 0(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v28
+; LMULMAX2-RV32-NEXT:    vsrl.vx v28, v28, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    bnez a5, .LBB7_5
+; LMULMAX2-RV32-NEXT:  # %bb.4:
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a5, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB7_6
+; LMULMAX2-RV32-NEXT:  .LBB7_5:
+; LMULMAX2-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX2-RV32-NEXT:    not a5, a5
+; LMULMAX2-RV32-NEXT:    and a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB7_6:
+; LMULMAX2-RV32-NEXT:    sw a5, 24(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v28
+; LMULMAX2-RV32-NEXT:    vsrl.vx v28, v28, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV32-NEXT:    bnez a5, .LBB7_8
+; LMULMAX2-RV32-NEXT:  # %bb.7:
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a5, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB7_9
+; LMULMAX2-RV32-NEXT:  .LBB7_8:
+; LMULMAX2-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX2-RV32-NEXT:    not a5, a5
+; LMULMAX2-RV32-NEXT:    and a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a5, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a5, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a5
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB7_9:
+; LMULMAX2-RV32-NEXT:    sw a5, 16(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 1, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX2-RV32-NEXT:    vmv.x.s a5, v26
+; LMULMAX2-RV32-NEXT:    vsrl.vx v26, v26, a6
+; LMULMAX2-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV32-NEXT:    bnez a5, .LBB7_11
+; LMULMAX2-RV32-NEXT:  # %bb.10:
+; LMULMAX2-RV32-NEXT:    addi a5, a1, -1
+; LMULMAX2-RV32-NEXT:    not a1, a1
+; LMULMAX2-RV32-NEXT:    and a1, a1, a5
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a4, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX2-RV32-NEXT:    and a4, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a4, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX2-RV32-NEXT:    j .LBB7_12
+; LMULMAX2-RV32-NEXT:  .LBB7_11:
+; LMULMAX2-RV32-NEXT:    addi a1, a5, -1
+; LMULMAX2-RV32-NEXT:    not a5, a5
+; LMULMAX2-RV32-NEXT:    and a1, a5, a1
+; LMULMAX2-RV32-NEXT:    srli a5, a1, 1
+; LMULMAX2-RV32-NEXT:    and a4, a5, a4
+; LMULMAX2-RV32-NEXT:    sub a1, a1, a4
+; LMULMAX2-RV32-NEXT:    and a4, a1, a3
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV32-NEXT:    and a1, a1, a3
+; LMULMAX2-RV32-NEXT:    add a1, a4, a1
+; LMULMAX2-RV32-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV32-NEXT:    add a1, a1, a3
+; LMULMAX2-RV32-NEXT:    and a1, a1, a7
+; LMULMAX2-RV32-NEXT:    mul a1, a1, a2
+; LMULMAX2-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX2-RV32-NEXT:  .LBB7_12:
+; LMULMAX2-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 8, e32,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vle32.v v26, (sp)
+; LMULMAX2-RV32-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV32-NEXT:    vse64.v v26, (a0)
+; LMULMAX2-RV32-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV32-NEXT:    lw s0, 56(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    lw ra, 60(sp) # 4-byte Folded Reload
+; LMULMAX2-RV32-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV32-NEXT:    ret
+;
+; LMULMAX2-RV64-LABEL: cttz_v4i64:
+; LMULMAX2-RV64:       # %bb.0:
+; LMULMAX2-RV64-NEXT:    addi sp, sp, -64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa_offset 64
+; LMULMAX2-RV64-NEXT:    sd ra, 56(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    sd s0, 48(sp) # 8-byte Folded Spill
+; LMULMAX2-RV64-NEXT:    .cfi_offset ra, -8
+; LMULMAX2-RV64-NEXT:    .cfi_offset s0, -16
+; LMULMAX2-RV64-NEXT:    addi s0, sp, 64
+; LMULMAX2-RV64-NEXT:    .cfi_def_cfa s0, 0
+; LMULMAX2-RV64-NEXT:    andi sp, sp, -32
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 1, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 3
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    addi a2, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a2, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a3, a2, 1
+; LMULMAX2-RV64-NEXT:    lui a1, 21845
+; LMULMAX2-RV64-NEXT:    addiw a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a1, a1, 1365
+; LMULMAX2-RV64-NEXT:    slli a1, a1, 12
+; LMULMAX2-RV64-NEXT:    addi a6, a1, 1365
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a3, a2, a3
+; LMULMAX2-RV64-NEXT:    lui a2, 13107
+; LMULMAX2-RV64-NEXT:    addiw a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX2-RV64-NEXT:    addi a2, a2, 819
+; LMULMAX2-RV64-NEXT:    and a4, a3, a2
+; LMULMAX2-RV64-NEXT:    srli a3, a3, 2
+; LMULMAX2-RV64-NEXT:    and a3, a3, a2
+; LMULMAX2-RV64-NEXT:    add a3, a4, a3
+; LMULMAX2-RV64-NEXT:    srli a4, a3, 4
+; LMULMAX2-RV64-NEXT:    add a3, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a4, 3855
+; LMULMAX2-RV64-NEXT:    addiw a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, 241
+; LMULMAX2-RV64-NEXT:    slli a4, a4, 12
+; LMULMAX2-RV64-NEXT:    addi a4, a4, -241
+; LMULMAX2-RV64-NEXT:    and a3, a3, a4
+; LMULMAX2-RV64-NEXT:    lui a5, 4112
+; LMULMAX2-RV64-NEXT:    addiw a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    slli a5, a5, 16
+; LMULMAX2-RV64-NEXT:    addi a5, a5, 257
+; LMULMAX2-RV64-NEXT:    mul a3, a3, a5
+; LMULMAX2-RV64-NEXT:    srli a3, a3, 56
+; LMULMAX2-RV64-NEXT:    sd a3, 24(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 2
+; LMULMAX2-RV64-NEXT:    vmv.x.s a3, v28
+; LMULMAX2-RV64-NEXT:    addi a1, a3, -1
+; LMULMAX2-RV64-NEXT:    not a3, a3
+; LMULMAX2-RV64-NEXT:    and a1, a3, a1
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 1
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a3
+; LMULMAX2-RV64-NEXT:    and a3, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a3, a1
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a3
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sd a1, 16(sp)
+; LMULMAX2-RV64-NEXT:    vslidedown.vi v28, v26, 1
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v28
+; LMULMAX2-RV64-NEXT:    addi a3, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 1
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a3
+; LMULMAX2-RV64-NEXT:    and a3, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a3, a1
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a3
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sd a1, 8(sp)
+; LMULMAX2-RV64-NEXT:    vmv.x.s a1, v26
+; LMULMAX2-RV64-NEXT:    addi a3, a1, -1
+; LMULMAX2-RV64-NEXT:    not a1, a1
+; LMULMAX2-RV64-NEXT:    and a1, a1, a3
+; LMULMAX2-RV64-NEXT:    srli a3, a1, 1
+; LMULMAX2-RV64-NEXT:    and a3, a3, a6
+; LMULMAX2-RV64-NEXT:    sub a1, a1, a3
+; LMULMAX2-RV64-NEXT:    and a3, a1, a2
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a2
+; LMULMAX2-RV64-NEXT:    add a1, a3, a1
+; LMULMAX2-RV64-NEXT:    srli a2, a1, 4
+; LMULMAX2-RV64-NEXT:    add a1, a1, a2
+; LMULMAX2-RV64-NEXT:    and a1, a1, a4
+; LMULMAX2-RV64-NEXT:    mul a1, a1, a5
+; LMULMAX2-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX2-RV64-NEXT:    sd a1, 0(sp)
+; LMULMAX2-RV64-NEXT:    vsetivli a1, 4, e64,m2,ta,mu
+; LMULMAX2-RV64-NEXT:    vle64.v v26, (sp)
+; LMULMAX2-RV64-NEXT:    vse64.v v26, (a0)
+; LMULMAX2-RV64-NEXT:    addi sp, s0, -64
+; LMULMAX2-RV64-NEXT:    ld s0, 48(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    ld ra, 56(sp) # 8-byte Folded Reload
+; LMULMAX2-RV64-NEXT:    addi sp, sp, 64
+; LMULMAX2-RV64-NEXT:    ret
+;
+; LMULMAX1-RV32-LABEL: cttz_v4i64:
+; LMULMAX1-RV32:       # %bb.0:
+; LMULMAX1-RV32-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV32-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV32-NEXT:    vle64.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    sw zero, 28(sp)
+; LMULMAX1-RV32-NEXT:    sw zero, 20(sp)
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    lui a2, 349525
+; LMULMAX1-RV32-NEXT:    addi a5, a2, 1365
+; LMULMAX1-RV32-NEXT:    lui a2, 209715
+; LMULMAX1-RV32-NEXT:    addi a4, a2, 819
+; LMULMAX1-RV32-NEXT:    lui a2, 61681
+; LMULMAX1-RV32-NEXT:    addi t0, a2, -241
+; LMULMAX1-RV32-NEXT:    lui a2, 4112
+; LMULMAX1-RV32-NEXT:    addi a3, a2, 257
+; LMULMAX1-RV32-NEXT:    addi a7, zero, 32
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vx v27, v26, a7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV32-NEXT:    bnez a1, .LBB7_2
+; LMULMAX1-RV32-NEXT:  # %bb.1:
+; LMULMAX1-RV32-NEXT:    addi a1, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB7_3
+; LMULMAX1-RV32-NEXT:  .LBB7_2:
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB7_3:
+; LMULMAX1-RV32-NEXT:    sw a1, 16(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v26, v26, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v26
+; LMULMAX1-RV32-NEXT:    vsrl.vx v26, v26, a7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    bnez a1, .LBB7_5
+; LMULMAX1-RV32-NEXT:  # %bb.4:
+; LMULMAX1-RV32-NEXT:    addi a1, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB7_6
+; LMULMAX1-RV32-NEXT:  .LBB7_5:
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB7_6:
+; LMULMAX1-RV32-NEXT:    sw a1, 24(sp)
+; LMULMAX1-RV32-NEXT:    sw zero, 12(sp)
+; LMULMAX1-RV32-NEXT:    sw zero, 4(sp)
+; LMULMAX1-RV32-NEXT:    vsetvli zero, zero, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    vsetivli a2, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vsrl.vx v26, v25, a7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV32-NEXT:    bnez a1, .LBB7_8
+; LMULMAX1-RV32-NEXT:  # %bb.7:
+; LMULMAX1-RV32-NEXT:    addi a1, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB7_9
+; LMULMAX1-RV32-NEXT:  .LBB7_8:
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB7_9:
+; LMULMAX1-RV32-NEXT:    sw a1, 0(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 1, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vslidedown.vi v25, v25, 1
+; LMULMAX1-RV32-NEXT:    vmv.x.s a1, v25
+; LMULMAX1-RV32-NEXT:    vsrl.vx v25, v25, a7
+; LMULMAX1-RV32-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV32-NEXT:    bnez a1, .LBB7_11
+; LMULMAX1-RV32-NEXT:  # %bb.10:
+; LMULMAX1-RV32-NEXT:    addi a1, a2, -1
+; LMULMAX1-RV32-NEXT:    not a2, a2
+; LMULMAX1-RV32-NEXT:    and a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:    addi a1, a1, 32
+; LMULMAX1-RV32-NEXT:    j .LBB7_12
+; LMULMAX1-RV32-NEXT:  .LBB7_11:
+; LMULMAX1-RV32-NEXT:    addi a2, a1, -1
+; LMULMAX1-RV32-NEXT:    not a1, a1
+; LMULMAX1-RV32-NEXT:    and a1, a1, a2
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 1
+; LMULMAX1-RV32-NEXT:    and a2, a2, a5
+; LMULMAX1-RV32-NEXT:    sub a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a2, a1, a4
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 2
+; LMULMAX1-RV32-NEXT:    and a1, a1, a4
+; LMULMAX1-RV32-NEXT:    add a1, a2, a1
+; LMULMAX1-RV32-NEXT:    srli a2, a1, 4
+; LMULMAX1-RV32-NEXT:    add a1, a1, a2
+; LMULMAX1-RV32-NEXT:    and a1, a1, t0
+; LMULMAX1-RV32-NEXT:    mul a1, a1, a3
+; LMULMAX1-RV32-NEXT:    srli a1, a1, 24
+; LMULMAX1-RV32-NEXT:  .LBB7_12:
+; LMULMAX1-RV32-NEXT:    sw a1, 8(sp)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 4, e32,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vle32.v v25, (sp)
+; LMULMAX1-RV32-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV32-NEXT:    vle32.v v26, (a1)
+; LMULMAX1-RV32-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV32-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV32-NEXT:    vse64.v v26, (a6)
+; LMULMAX1-RV32-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV32-NEXT:    ret
+;
+; LMULMAX1-RV64-LABEL: cttz_v4i64:
+; LMULMAX1-RV64:       # %bb.0:
+; LMULMAX1-RV64-NEXT:    addi sp, sp, -32
+; LMULMAX1-RV64-NEXT:    .cfi_def_cfa_offset 32
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    addi a6, a0, 16
+; LMULMAX1-RV64-NEXT:    vle64.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    vle64.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vsetivli a2, 1, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v27, v26, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v27
+; LMULMAX1-RV64-NEXT:    addi a3, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a3, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a3, 1
+; LMULMAX1-RV64-NEXT:    lui a2, 21845
+; LMULMAX1-RV64-NEXT:    addiw a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a2, a2, 1365
+; LMULMAX1-RV64-NEXT:    slli a2, a2, 12
+; LMULMAX1-RV64-NEXT:    addi a7, a2, 1365
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a4, a3, a4
+; LMULMAX1-RV64-NEXT:    lui a3, 13107
+; LMULMAX1-RV64-NEXT:    addiw a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    slli a3, a3, 12
+; LMULMAX1-RV64-NEXT:    addi a3, a3, 819
+; LMULMAX1-RV64-NEXT:    and a5, a4, a3
+; LMULMAX1-RV64-NEXT:    srli a4, a4, 2
+; LMULMAX1-RV64-NEXT:    and a4, a4, a3
+; LMULMAX1-RV64-NEXT:    add a4, a5, a4
+; LMULMAX1-RV64-NEXT:    srli a5, a4, 4
+; LMULMAX1-RV64-NEXT:    add a4, a4, a5
+; LMULMAX1-RV64-NEXT:    lui a5, 3855
+; LMULMAX1-RV64-NEXT:    addiw a5, a5, 241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, 241
+; LMULMAX1-RV64-NEXT:    slli a5, a5, 12
+; LMULMAX1-RV64-NEXT:    addi a5, a5, -241
+; LMULMAX1-RV64-NEXT:    and a4, a4, a5
+; LMULMAX1-RV64-NEXT:    lui a1, 4112
+; LMULMAX1-RV64-NEXT:    addiw a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    slli a1, a1, 16
+; LMULMAX1-RV64-NEXT:    addi a1, a1, 257
+; LMULMAX1-RV64-NEXT:    mul a4, a4, a1
+; LMULMAX1-RV64-NEXT:    srli a4, a4, 56
+; LMULMAX1-RV64-NEXT:    sd a4, 24(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a4, v26
+; LMULMAX1-RV64-NEXT:    addi a2, a4, -1
+; LMULMAX1-RV64-NEXT:    not a4, a4
+; LMULMAX1-RV64-NEXT:    and a2, a4, a2
+; LMULMAX1-RV64-NEXT:    srli a4, a2, 1
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a4
+; LMULMAX1-RV64-NEXT:    and a4, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    add a2, a4, a2
+; LMULMAX1-RV64-NEXT:    srli a4, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a4
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sd a2, 16(sp)
+; LMULMAX1-RV64-NEXT:    vslidedown.vi v26, v25, 1
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v26
+; LMULMAX1-RV64-NEXT:    addi a4, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a4, a2, 1
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a4
+; LMULMAX1-RV64-NEXT:    and a4, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    add a2, a4, a2
+; LMULMAX1-RV64-NEXT:    srli a4, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a4
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a2, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 56
+; LMULMAX1-RV64-NEXT:    sd a2, 8(sp)
+; LMULMAX1-RV64-NEXT:    vmv.x.s a2, v25
+; LMULMAX1-RV64-NEXT:    addi a4, a2, -1
+; LMULMAX1-RV64-NEXT:    not a2, a2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a4
+; LMULMAX1-RV64-NEXT:    srli a4, a2, 1
+; LMULMAX1-RV64-NEXT:    and a4, a4, a7
+; LMULMAX1-RV64-NEXT:    sub a2, a2, a4
+; LMULMAX1-RV64-NEXT:    and a4, a2, a3
+; LMULMAX1-RV64-NEXT:    srli a2, a2, 2
+; LMULMAX1-RV64-NEXT:    and a2, a2, a3
+; LMULMAX1-RV64-NEXT:    add a2, a4, a2
+; LMULMAX1-RV64-NEXT:    srli a3, a2, 4
+; LMULMAX1-RV64-NEXT:    add a2, a2, a3
+; LMULMAX1-RV64-NEXT:    and a2, a2, a5
+; LMULMAX1-RV64-NEXT:    mul a1, a2, a1
+; LMULMAX1-RV64-NEXT:    srli a1, a1, 56
+; LMULMAX1-RV64-NEXT:    sd a1, 0(sp)
+; LMULMAX1-RV64-NEXT:    vsetivli a1, 2, e64,m1,ta,mu
+; LMULMAX1-RV64-NEXT:    vle64.v v25, (sp)
+; LMULMAX1-RV64-NEXT:    addi a1, sp, 16
+; LMULMAX1-RV64-NEXT:    vle64.v v26, (a1)
+; LMULMAX1-RV64-NEXT:    vse64.v v25, (a0)
+; LMULMAX1-RV64-NEXT:    vse64.v v26, (a6)
+; LMULMAX1-RV64-NEXT:    addi sp, sp, 32
+; LMULMAX1-RV64-NEXT:    ret
+  %a = load <4 x i64>, <4 x i64>* %x
+  %b = load <4 x i64>, <4 x i64>* %y
+  %c = call <4 x i64> @llvm.cttz.v4i64(<4 x i64> %a, i1 false)
+  store <4 x i64> %c, <4 x i64>* %x
+  ret void
+}
+declare <4 x i64> @llvm.cttz.v4i64(<4 x i64>, i1)