diff --git a/llvm/test/CodeGen/X86/vec-strict-inttofp-128.ll b/llvm/test/CodeGen/X86/vec-strict-inttofp-128.ll index fbb5ac0892198..465a2d7b8ded9 100644 --- a/llvm/test/CodeGen/X86/vec-strict-inttofp-128.ll +++ b/llvm/test/CodeGen/X86/vec-strict-inttofp-128.ll @@ -1,6 +1,8 @@ ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py ; RUN: llc < %s -mtriple=i686-unknown-unknown -mattr=+sse2 -O3 | FileCheck %s --check-prefixes=SSE,SSE-32 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 -O3 | FileCheck %s --check-prefixes=SSE,SSE-64 +; RUN: llc < %s -mtriple=i686-unknown-unknown -mattr=+sse2 -O3 | FileCheck %s --check-prefixes=SSE41,SSE41-32 +; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 -O3 | FileCheck %s --check-prefixes=SSE41,SSE41-64 ; RUN: llc < %s -mtriple=i686-unknown-unknown -mattr=+avx -O3 | FileCheck %s --check-prefixes=AVX,AVX1,AVX-32,AVX1-32 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx -O3 | FileCheck %s --check-prefixes=AVX,AVX1,AVX-64,AVX1-64 ; RUN: llc < %s -mtriple=i686-unknown-unknown -mattr=+avx512f -O3 | FileCheck %s --check-prefixes=AVX,AVX512F,AVX-32,AVX512F-32 @@ -42,6 +44,12 @@ define <2 x float> @sitofp_v2i32_v2f32(<2 x i32> %x) #0 { ; SSE-NEXT: cvtdq2ps %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: sitofp_v2i32_v2f32: +; SSE41: # %bb.0: +; SSE41-NEXT: movq {{.*#+}} xmm0 = xmm0[0],zero +; SSE41-NEXT: cvtdq2ps %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: sitofp_v2i32_v2f32: ; AVX: # %bb.0: ; AVX-NEXT: vmovq {{.*#+}} xmm0 = xmm0[0],zero @@ -64,6 +72,16 @@ define <2 x float> @uitofp_v2i32_v2f32(<2 x i32> %x) #0 { ; SSE-NEXT: cvtpd2ps %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: uitofp_v2i32_v2f32: +; SSE41: # %bb.0: +; SSE41-NEXT: xorpd %xmm1, %xmm1 +; SSE41-NEXT: unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1] +; SSE41-NEXT: movapd {{.*#+}} xmm1 = [4.503599627370496E+15,4.503599627370496E+15] +; SSE41-NEXT: orpd %xmm1, %xmm0 +; SSE41-NEXT: subpd %xmm1, %xmm0 +; SSE41-NEXT: cvtpd2ps %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX1-LABEL: uitofp_v2i32_v2f32: ; AVX1: # %bb.0: ; AVX1-NEXT: vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero @@ -143,6 +161,42 @@ define <2 x float> @sitofp_v2i64_v2f32(<2 x i64> %x) #0 { ; SSE-64-NEXT: movaps %xmm1, %xmm0 ; SSE-64-NEXT: retq ; +; SSE41-32-LABEL: sitofp_v2i64_v2f32: +; SSE41-32: # %bb.0: +; SSE41-32-NEXT: pushl %ebp +; SSE41-32-NEXT: .cfi_def_cfa_offset 8 +; SSE41-32-NEXT: .cfi_offset %ebp, -8 +; SSE41-32-NEXT: movl %esp, %ebp +; SSE41-32-NEXT: .cfi_def_cfa_register %ebp +; SSE41-32-NEXT: andl $-8, %esp +; SSE41-32-NEXT: subl $24, %esp +; SSE41-32-NEXT: movq %xmm0, {{[0-9]+}}(%esp) +; SSE41-32-NEXT: pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1] +; SSE41-32-NEXT: movq %xmm0, {{[0-9]+}}(%esp) +; SSE41-32-NEXT: fildll {{[0-9]+}}(%esp) +; SSE41-32-NEXT: fstps (%esp) +; SSE41-32-NEXT: fildll {{[0-9]+}}(%esp) +; SSE41-32-NEXT: fstps {{[0-9]+}}(%esp) +; SSE41-32-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero +; SSE41-32-NEXT: movss {{.*#+}} xmm1 = mem[0],zero,zero,zero +; SSE41-32-NEXT: unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1] +; SSE41-32-NEXT: movl %ebp, %esp +; SSE41-32-NEXT: popl %ebp +; SSE41-32-NEXT: .cfi_def_cfa %esp, 4 +; SSE41-32-NEXT: retl +; +; SSE41-64-LABEL: sitofp_v2i64_v2f32: +; SSE41-64: # %bb.0: +; SSE41-64-NEXT: movq %xmm0, %rax +; SSE41-64-NEXT: cvtsi2ss %rax, %xmm1 +; SSE41-64-NEXT: pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1] +; SSE41-64-NEXT: movq %xmm0, %rax +; SSE41-64-NEXT: xorps %xmm0, %xmm0 +; SSE41-64-NEXT: cvtsi2ss %rax, %xmm0 +; SSE41-64-NEXT: unpcklps {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1] +; SSE41-64-NEXT: movaps %xmm1, %xmm0 +; SSE41-64-NEXT: retq +; ; AVX-32-LABEL: sitofp_v2i64_v2f32: ; AVX-32: # %bb.0: ; AVX-32-NEXT: pushl %ebp @@ -276,6 +330,77 @@ define <2 x float> @uitofp_v2i64_v2f32(<2 x i64> %x) #0 { ; SSE-64-NEXT: unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1] ; SSE-64-NEXT: retq ; +; SSE41-32-LABEL: uitofp_v2i64_v2f32: +; SSE41-32: # %bb.0: +; SSE41-32-NEXT: pushl %ebp +; SSE41-32-NEXT: .cfi_def_cfa_offset 8 +; SSE41-32-NEXT: .cfi_offset %ebp, -8 +; SSE41-32-NEXT: movl %esp, %ebp +; SSE41-32-NEXT: .cfi_def_cfa_register %ebp +; SSE41-32-NEXT: andl $-8, %esp +; SSE41-32-NEXT: subl $24, %esp +; SSE41-32-NEXT: pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1] +; SSE41-32-NEXT: movq %xmm1, {{[0-9]+}}(%esp) +; SSE41-32-NEXT: movq %xmm0, {{[0-9]+}}(%esp) +; SSE41-32-NEXT: pshufd {{.*#+}} xmm1 = xmm0[3,1,2,3] +; SSE41-32-NEXT: movd %xmm1, %eax +; SSE41-32-NEXT: xorl %ecx, %ecx +; SSE41-32-NEXT: testl %eax, %eax +; SSE41-32-NEXT: setns %cl +; SSE41-32-NEXT: fildll {{[0-9]+}}(%esp) +; SSE41-32-NEXT: fadds {{\.LCPI.*}}(,%ecx,4) +; SSE41-32-NEXT: fstps (%esp) +; SSE41-32-NEXT: pshufd {{.*#+}} xmm0 = xmm0[1,1,2,3] +; SSE41-32-NEXT: movd %xmm0, %eax +; SSE41-32-NEXT: xorl %ecx, %ecx +; SSE41-32-NEXT: testl %eax, %eax +; SSE41-32-NEXT: setns %cl +; SSE41-32-NEXT: fildll {{[0-9]+}}(%esp) +; SSE41-32-NEXT: fadds {{\.LCPI.*}}(,%ecx,4) +; SSE41-32-NEXT: fstps {{[0-9]+}}(%esp) +; SSE41-32-NEXT: movss {{.*#+}} xmm1 = mem[0],zero,zero,zero +; SSE41-32-NEXT: movss {{.*#+}} xmm0 = mem[0],zero,zero,zero +; SSE41-32-NEXT: unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1] +; SSE41-32-NEXT: movl %ebp, %esp +; SSE41-32-NEXT: popl %ebp +; SSE41-32-NEXT: .cfi_def_cfa %esp, 4 +; SSE41-32-NEXT: retl +; +; SSE41-64-LABEL: uitofp_v2i64_v2f32: +; SSE41-64: # %bb.0: +; SSE41-64-NEXT: movdqa %xmm0, %xmm1 +; SSE41-64-NEXT: movq %xmm0, %rax +; SSE41-64-NEXT: movq %rax, %rcx +; SSE41-64-NEXT: shrq %rcx +; SSE41-64-NEXT: movl %eax, %edx +; SSE41-64-NEXT: andl $1, %edx +; SSE41-64-NEXT: orq %rcx, %rdx +; SSE41-64-NEXT: testq %rax, %rax +; SSE41-64-NEXT: cmovnsq %rax, %rdx +; SSE41-64-NEXT: xorps %xmm0, %xmm0 +; SSE41-64-NEXT: cvtsi2ss %rdx, %xmm0 +; SSE41-64-NEXT: jns .LBB3_2 +; SSE41-64-NEXT: # %bb.1: +; SSE41-64-NEXT: addss %xmm0, %xmm0 +; SSE41-64-NEXT: .LBB3_2: +; SSE41-64-NEXT: pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1] +; SSE41-64-NEXT: movq %xmm1, %rax +; SSE41-64-NEXT: movq %rax, %rcx +; SSE41-64-NEXT: shrq %rcx +; SSE41-64-NEXT: movl %eax, %edx +; SSE41-64-NEXT: andl $1, %edx +; SSE41-64-NEXT: orq %rcx, %rdx +; SSE41-64-NEXT: testq %rax, %rax +; SSE41-64-NEXT: cmovnsq %rax, %rdx +; SSE41-64-NEXT: xorps %xmm1, %xmm1 +; SSE41-64-NEXT: cvtsi2ss %rdx, %xmm1 +; SSE41-64-NEXT: jns .LBB3_4 +; SSE41-64-NEXT: # %bb.3: +; SSE41-64-NEXT: addss %xmm1, %xmm1 +; SSE41-64-NEXT: .LBB3_4: +; SSE41-64-NEXT: unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1] +; SSE41-64-NEXT: retq +; ; AVX-32-LABEL: uitofp_v2i64_v2f32: ; AVX-32: # %bb.0: ; AVX-32-NEXT: pushl %ebp @@ -382,6 +507,13 @@ define <4 x float> @sitofp_v4i1_v4f32(<4 x i1> %x) #0 { ; SSE-NEXT: cvtdq2ps %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: sitofp_v4i1_v4f32: +; SSE41: # %bb.0: +; SSE41-NEXT: pslld $31, %xmm0 +; SSE41-NEXT: psrad $31, %xmm0 +; SSE41-NEXT: cvtdq2ps %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: sitofp_v4i1_v4f32: ; AVX: # %bb.0: ; AVX-NEXT: vpslld $31, %xmm0, %xmm0 @@ -407,6 +539,18 @@ define <4 x float> @uitofp_v4i1_v4f32(<4 x i1> %x) #0 { ; SSE-64-NEXT: cvtdq2ps %xmm0, %xmm0 ; SSE-64-NEXT: retq ; +; SSE41-32-LABEL: uitofp_v4i1_v4f32: +; SSE41-32: # %bb.0: +; SSE41-32-NEXT: andps {{\.LCPI.*}}, %xmm0 +; SSE41-32-NEXT: cvtdq2ps %xmm0, %xmm0 +; SSE41-32-NEXT: retl +; +; SSE41-64-LABEL: uitofp_v4i1_v4f32: +; SSE41-64: # %bb.0: +; SSE41-64-NEXT: andps {{.*}}(%rip), %xmm0 +; SSE41-64-NEXT: cvtdq2ps %xmm0, %xmm0 +; SSE41-64-NEXT: retq +; ; AVX1-32-LABEL: uitofp_v4i1_v4f32: ; AVX1-32: # %bb.0: ; AVX1-32-NEXT: vandps {{\.LCPI.*}}, %xmm0, %xmm0 @@ -471,6 +615,14 @@ define <4 x float> @sitofp_v4i8_v4f32(<4 x i8> %x) #0 { ; SSE-NEXT: cvtdq2ps %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: sitofp_v4i8_v4f32: +; SSE41: # %bb.0: +; SSE41-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7] +; SSE41-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3] +; SSE41-NEXT: psrad $24, %xmm0 +; SSE41-NEXT: cvtdq2ps %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: sitofp_v4i8_v4f32: ; AVX: # %bb.0: ; AVX-NEXT: vpmovsxbd %xmm0, %xmm0 @@ -491,6 +643,14 @@ define <4 x float> @uitofp_v4i8_v4f32(<4 x i8> %x) #0 { ; SSE-NEXT: cvtdq2ps %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: uitofp_v4i8_v4f32: +; SSE41: # %bb.0: +; SSE41-NEXT: pxor %xmm1, %xmm1 +; SSE41-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7] +; SSE41-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3] +; SSE41-NEXT: cvtdq2ps %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: uitofp_v4i8_v4f32: ; AVX: # %bb.0: ; AVX-NEXT: vpmovzxbd {{.*#+}} xmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero @@ -510,6 +670,13 @@ define <4 x float> @sitofp_v4i16_v4f32(<4 x i16> %x) #0 { ; SSE-NEXT: cvtdq2ps %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: sitofp_v4i16_v4f32: +; SSE41: # %bb.0: +; SSE41-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3] +; SSE41-NEXT: psrad $16, %xmm0 +; SSE41-NEXT: cvtdq2ps %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: sitofp_v4i16_v4f32: ; AVX: # %bb.0: ; AVX-NEXT: vpmovsxwd %xmm0, %xmm0 @@ -529,6 +696,13 @@ define <4 x float> @uitofp_v4i16_v4f32(<4 x i16> %x) #0 { ; SSE-NEXT: cvtdq2ps %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: uitofp_v4i16_v4f32: +; SSE41: # %bb.0: +; SSE41-NEXT: pxor %xmm1, %xmm1 +; SSE41-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3] +; SSE41-NEXT: cvtdq2ps %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: uitofp_v4i16_v4f32: ; AVX: # %bb.0: ; AVX-NEXT: vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero @@ -546,6 +720,11 @@ define <4 x float> @sitofp_v4i32_v4f32(<4 x i32> %x) #0 { ; SSE-NEXT: cvtdq2ps %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: sitofp_v4i32_v4f32: +; SSE41: # %bb.0: +; SSE41-NEXT: cvtdq2ps %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: sitofp_v4i32_v4f32: ; AVX: # %bb.0: ; AVX-NEXT: vcvtdq2ps %xmm0, %xmm0 @@ -579,6 +758,28 @@ define <4 x float> @uitofp_v4i32_v4f32(<4 x i32> %x) #0 { ; SSE-64-NEXT: addps %xmm1, %xmm0 ; SSE-64-NEXT: retq ; +; SSE41-32-LABEL: uitofp_v4i32_v4f32: +; SSE41-32: # %bb.0: +; SSE41-32-NEXT: movdqa {{.*#+}} xmm1 = [65535,65535,65535,65535] +; SSE41-32-NEXT: pand %xmm0, %xmm1 +; SSE41-32-NEXT: por {{\.LCPI.*}}, %xmm1 +; SSE41-32-NEXT: psrld $16, %xmm0 +; SSE41-32-NEXT: por {{\.LCPI.*}}, %xmm0 +; SSE41-32-NEXT: subps {{\.LCPI.*}}, %xmm0 +; SSE41-32-NEXT: addps %xmm1, %xmm0 +; SSE41-32-NEXT: retl +; +; SSE41-64-LABEL: uitofp_v4i32_v4f32: +; SSE41-64: # %bb.0: +; SSE41-64-NEXT: movdqa {{.*#+}} xmm1 = [65535,65535,65535,65535] +; SSE41-64-NEXT: pand %xmm0, %xmm1 +; SSE41-64-NEXT: por {{.*}}(%rip), %xmm1 +; SSE41-64-NEXT: psrld $16, %xmm0 +; SSE41-64-NEXT: por {{.*}}(%rip), %xmm0 +; SSE41-64-NEXT: subps {{.*}}(%rip), %xmm0 +; SSE41-64-NEXT: addps %xmm1, %xmm0 +; SSE41-64-NEXT: retq +; ; AVX1-32-LABEL: uitofp_v4i32_v4f32: ; AVX1-32: # %bb.0: ; AVX1-32-NEXT: vpblendw {{.*#+}} xmm1 = xmm0[0],mem[1],xmm0[2],mem[3],xmm0[4],mem[5],xmm0[6],mem[7] @@ -637,6 +838,14 @@ define <2 x double> @sitofp_v2i1_v2f64(<2 x i1> %x) #0 { ; SSE-NEXT: cvtdq2pd %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: sitofp_v2i1_v2f64: +; SSE41: # %bb.0: +; SSE41-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3] +; SSE41-NEXT: pslld $31, %xmm0 +; SSE41-NEXT: psrad $31, %xmm0 +; SSE41-NEXT: cvtdq2pd %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: sitofp_v2i1_v2f64: ; AVX: # %bb.0: ; AVX-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[0,2,2,3] @@ -665,6 +874,20 @@ define <2 x double> @uitofp_v2i1_v2f64(<2 x i1> %x) #0 { ; SSE-64-NEXT: cvtdq2pd %xmm0, %xmm0 ; SSE-64-NEXT: retq ; +; SSE41-32-LABEL: uitofp_v2i1_v2f64: +; SSE41-32: # %bb.0: +; SSE41-32-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3] +; SSE41-32-NEXT: pand {{\.LCPI.*}}, %xmm0 +; SSE41-32-NEXT: cvtdq2pd %xmm0, %xmm0 +; SSE41-32-NEXT: retl +; +; SSE41-64-LABEL: uitofp_v2i1_v2f64: +; SSE41-64: # %bb.0: +; SSE41-64-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3] +; SSE41-64-NEXT: pand {{.*}}(%rip), %xmm0 +; SSE41-64-NEXT: cvtdq2pd %xmm0, %xmm0 +; SSE41-64-NEXT: retq +; ; AVX1-32-LABEL: uitofp_v2i1_v2f64: ; AVX1-32: # %bb.0: ; AVX1-32-NEXT: vpermilps {{.*#+}} xmm0 = xmm0[0,2,2,3] @@ -737,6 +960,14 @@ define <2 x double> @sitofp_v2i8_v2f64(<2 x i8> %x) #0 { ; SSE-NEXT: cvtdq2pd %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: sitofp_v2i8_v2f64: +; SSE41: # %bb.0: +; SSE41-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7] +; SSE41-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3] +; SSE41-NEXT: psrad $24, %xmm0 +; SSE41-NEXT: cvtdq2pd %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: sitofp_v2i8_v2f64: ; AVX: # %bb.0: ; AVX-NEXT: vpmovsxbd %xmm0, %xmm0 @@ -757,6 +988,14 @@ define <2 x double> @uitofp_v2i8_v2f64(<2 x i8> %x) #0 { ; SSE-NEXT: cvtdq2pd %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: uitofp_v2i8_v2f64: +; SSE41: # %bb.0: +; SSE41-NEXT: pxor %xmm1, %xmm1 +; SSE41-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7] +; SSE41-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3] +; SSE41-NEXT: cvtdq2pd %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: uitofp_v2i8_v2f64: ; AVX: # %bb.0: ; AVX-NEXT: vpmovzxbd {{.*#+}} xmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero @@ -776,6 +1015,13 @@ define <2 x double> @sitofp_v2i16_v2f64(<2 x i16> %x) #0 { ; SSE-NEXT: cvtdq2pd %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: sitofp_v2i16_v2f64: +; SSE41: # %bb.0: +; SSE41-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3] +; SSE41-NEXT: psrad $16, %xmm0 +; SSE41-NEXT: cvtdq2pd %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: sitofp_v2i16_v2f64: ; AVX: # %bb.0: ; AVX-NEXT: vpmovsxwd %xmm0, %xmm0 @@ -795,6 +1041,13 @@ define <2 x double> @uitofp_v2i16_v2f64(<2 x i16> %x) #0 { ; SSE-NEXT: cvtdq2pd %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: uitofp_v2i16_v2f64: +; SSE41: # %bb.0: +; SSE41-NEXT: pxor %xmm1, %xmm1 +; SSE41-NEXT: punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3] +; SSE41-NEXT: cvtdq2pd %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: uitofp_v2i16_v2f64: ; AVX: # %bb.0: ; AVX-NEXT: vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero @@ -812,6 +1065,11 @@ define <2 x double> @sitofp_v2i32_v2f64(<2 x i32> %x) #0 { ; SSE-NEXT: cvtdq2pd %xmm0, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: sitofp_v2i32_v2f64: +; SSE41: # %bb.0: +; SSE41-NEXT: cvtdq2pd %xmm0, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX-LABEL: sitofp_v2i32_v2f64: ; AVX: # %bb.0: ; AVX-NEXT: vcvtdq2pd %xmm0, %xmm0 @@ -832,6 +1090,15 @@ define <2 x double> @uitofp_v2i32_v2f64(<2 x i32> %x) #0 { ; SSE-NEXT: subpd %xmm1, %xmm0 ; SSE-NEXT: ret{{[l|q]}} ; +; SSE41-LABEL: uitofp_v2i32_v2f64: +; SSE41: # %bb.0: +; SSE41-NEXT: xorpd %xmm1, %xmm1 +; SSE41-NEXT: unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1] +; SSE41-NEXT: movapd {{.*#+}} xmm1 = [4.503599627370496E+15,4.503599627370496E+15] +; SSE41-NEXT: orpd %xmm1, %xmm0 +; SSE41-NEXT: subpd %xmm1, %xmm0 +; SSE41-NEXT: ret{{[l|q]}} +; ; AVX1-LABEL: uitofp_v2i32_v2f64: ; AVX1: # %bb.0: ; AVX1-NEXT: vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero @@ -907,6 +1174,41 @@ define <2 x double> @sitofp_v2i64_v2f64(<2 x i64> %x) #0 { ; SSE-64-NEXT: movapd %xmm1, %xmm0 ; SSE-64-NEXT: retq ; +; SSE41-32-LABEL: sitofp_v2i64_v2f64: +; SSE41-32: # %bb.0: +; SSE41-32-NEXT: pushl %ebp +; SSE41-32-NEXT: .cfi_def_cfa_offset 8 +; SSE41-32-NEXT: .cfi_offset %ebp, -8 +; SSE41-32-NEXT: movl %esp, %ebp +; SSE41-32-NEXT: .cfi_def_cfa_register %ebp +; SSE41-32-NEXT: andl $-8, %esp +; SSE41-32-NEXT: subl $32, %esp +; SSE41-32-NEXT: movq %xmm0, {{[0-9]+}}(%esp) +; SSE41-32-NEXT: pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1] +; SSE41-32-NEXT: movq %xmm0, {{[0-9]+}}(%esp) +; SSE41-32-NEXT: fildll {{[0-9]+}}(%esp) +; SSE41-32-NEXT: fstpl {{[0-9]+}}(%esp) +; SSE41-32-NEXT: fildll {{[0-9]+}}(%esp) +; SSE41-32-NEXT: fstpl (%esp) +; SSE41-32-NEXT: movsd {{.*#+}} xmm0 = mem[0],zero +; SSE41-32-NEXT: movhps {{.*#+}} xmm0 = xmm0[0,1],mem[0,1] +; SSE41-32-NEXT: movl %ebp, %esp +; SSE41-32-NEXT: popl %ebp +; SSE41-32-NEXT: .cfi_def_cfa %esp, 4 +; SSE41-32-NEXT: retl +; +; SSE41-64-LABEL: sitofp_v2i64_v2f64: +; SSE41-64: # %bb.0: +; SSE41-64-NEXT: movq %xmm0, %rax +; SSE41-64-NEXT: cvtsi2sd %rax, %xmm1 +; SSE41-64-NEXT: pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1] +; SSE41-64-NEXT: movq %xmm0, %rax +; SSE41-64-NEXT: xorps %xmm0, %xmm0 +; SSE41-64-NEXT: cvtsi2sd %rax, %xmm0 +; SSE41-64-NEXT: unpcklpd {{.*#+}} xmm1 = xmm1[0],xmm0[0] +; SSE41-64-NEXT: movapd %xmm1, %xmm0 +; SSE41-64-NEXT: retq +; ; AVX-32-LABEL: sitofp_v2i64_v2f64: ; AVX-32: # %bb.0: ; AVX-32-NEXT: pushl %ebp @@ -980,6 +1282,28 @@ define <2 x double> @uitofp_v2i64_v2f64(<2 x i64> %x) #0 { ; SSE-64-NEXT: addpd %xmm1, %xmm0 ; SSE-64-NEXT: retq ; +; SSE41-32-LABEL: uitofp_v2i64_v2f64: +; SSE41-32: # %bb.0: +; SSE41-32-NEXT: movdqa {{.*#+}} xmm1 = [4294967295,0,4294967295,0] +; SSE41-32-NEXT: pand %xmm0, %xmm1 +; SSE41-32-NEXT: por {{\.LCPI.*}}, %xmm1 +; SSE41-32-NEXT: psrlq $32, %xmm0 +; SSE41-32-NEXT: por {{\.LCPI.*}}, %xmm0 +; SSE41-32-NEXT: subpd {{\.LCPI.*}}, %xmm0 +; SSE41-32-NEXT: addpd %xmm1, %xmm0 +; SSE41-32-NEXT: retl +; +; SSE41-64-LABEL: uitofp_v2i64_v2f64: +; SSE41-64: # %bb.0: +; SSE41-64-NEXT: movdqa {{.*#+}} xmm1 = [4294967295,4294967295] +; SSE41-64-NEXT: pand %xmm0, %xmm1 +; SSE41-64-NEXT: por {{.*}}(%rip), %xmm1 +; SSE41-64-NEXT: psrlq $32, %xmm0 +; SSE41-64-NEXT: por {{.*}}(%rip), %xmm0 +; SSE41-64-NEXT: subpd {{.*}}(%rip), %xmm0 +; SSE41-64-NEXT: addpd %xmm1, %xmm0 +; SSE41-64-NEXT: retq +; ; AVX1-32-LABEL: uitofp_v2i64_v2f64: ; AVX1-32: # %bb.0: ; AVX1-32-NEXT: vpxor %xmm1, %xmm1, %xmm1