/
rsaz-avx2.s
1697 lines (1578 loc) Β· 37.4 KB
/
rsaz-avx2.s
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
.text
.globl rsaz_1024_sqr_avx2
.type rsaz_1024_sqr_avx2,@function
.align 64
rsaz_1024_sqr_avx2:
leaq (%rsp),%rax
pushq %rbx
pushq %rbp
pushq %r12
pushq %r13
pushq %r14
pushq %r15
vzeroupper
movq %rax,%rbp
movq %rdx,%r13
subq $832,%rsp
movq %r13,%r15
subq $-128,%rdi
subq $-128,%rsi
subq $-128,%r13
andq $4095,%r15
addq $320,%r15
shrq $12,%r15
vpxor %ymm9,%ymm9,%ymm9
jz .Lsqr_1024_no_n_copy
subq $320,%rsp
vmovdqu 0-128(%r13),%ymm0
andq $-2048,%rsp
vmovdqu 32-128(%r13),%ymm1
vmovdqu 64-128(%r13),%ymm2
vmovdqu 96-128(%r13),%ymm3
vmovdqu 128-128(%r13),%ymm4
vmovdqu 160-128(%r13),%ymm5
vmovdqu 192-128(%r13),%ymm6
vmovdqu 224-128(%r13),%ymm7
vmovdqu 256-128(%r13),%ymm8
leaq 832+128(%rsp),%r13
vmovdqu %ymm0,0-128(%r13)
vmovdqu %ymm1,32-128(%r13)
vmovdqu %ymm2,64-128(%r13)
vmovdqu %ymm3,96-128(%r13)
vmovdqu %ymm4,128-128(%r13)
vmovdqu %ymm5,160-128(%r13)
vmovdqu %ymm6,192-128(%r13)
vmovdqu %ymm7,224-128(%r13)
vmovdqu %ymm8,256-128(%r13)
vmovdqu %ymm9,288-128(%r13)
.Lsqr_1024_no_n_copy:
andq $-1024,%rsp
vmovdqu 32-128(%rsi),%ymm1
vmovdqu 64-128(%rsi),%ymm2
vmovdqu 96-128(%rsi),%ymm3
vmovdqu 128-128(%rsi),%ymm4
vmovdqu 160-128(%rsi),%ymm5
vmovdqu 192-128(%rsi),%ymm6
vmovdqu 224-128(%rsi),%ymm7
vmovdqu 256-128(%rsi),%ymm8
leaq 192(%rsp),%rbx
vmovdqu .Land_mask(%rip),%ymm15
jmp .LOOP_GRANDE_SQR_1024
.align 32
.LOOP_GRANDE_SQR_1024:
leaq 576+128(%rsp),%r9
leaq 448(%rsp),%r12
vpaddq %ymm1,%ymm1,%ymm1
vpbroadcastq 0-128(%rsi),%ymm10
vpaddq %ymm2,%ymm2,%ymm2
vmovdqa %ymm1,0-128(%r9)
vpaddq %ymm3,%ymm3,%ymm3
vmovdqa %ymm2,32-128(%r9)
vpaddq %ymm4,%ymm4,%ymm4
vmovdqa %ymm3,64-128(%r9)
vpaddq %ymm5,%ymm5,%ymm5
vmovdqa %ymm4,96-128(%r9)
vpaddq %ymm6,%ymm6,%ymm6
vmovdqa %ymm5,128-128(%r9)
vpaddq %ymm7,%ymm7,%ymm7
vmovdqa %ymm6,160-128(%r9)
vpaddq %ymm8,%ymm8,%ymm8
vmovdqa %ymm7,192-128(%r9)
vpxor %ymm9,%ymm9,%ymm9
vmovdqa %ymm8,224-128(%r9)
vpmuludq 0-128(%rsi),%ymm10,%ymm0
vpbroadcastq 32-128(%rsi),%ymm11
vmovdqu %ymm9,288-192(%rbx)
vpmuludq %ymm10,%ymm1,%ymm1
vmovdqu %ymm9,320-448(%r12)
vpmuludq %ymm10,%ymm2,%ymm2
vmovdqu %ymm9,352-448(%r12)
vpmuludq %ymm10,%ymm3,%ymm3
vmovdqu %ymm9,384-448(%r12)
vpmuludq %ymm10,%ymm4,%ymm4
vmovdqu %ymm9,416-448(%r12)
vpmuludq %ymm10,%ymm5,%ymm5
vmovdqu %ymm9,448-448(%r12)
vpmuludq %ymm10,%ymm6,%ymm6
vmovdqu %ymm9,480-448(%r12)
vpmuludq %ymm10,%ymm7,%ymm7
vmovdqu %ymm9,512-448(%r12)
vpmuludq %ymm10,%ymm8,%ymm8
vpbroadcastq 64-128(%rsi),%ymm10
vmovdqu %ymm9,544-448(%r12)
movq %rsi,%r15
movl $4,%r14d
jmp .Lsqr_entry_1024
.align 32
.LOOP_SQR_1024:
vpbroadcastq 32-128(%r15),%ymm11
vpmuludq 0-128(%rsi),%ymm10,%ymm0
vpaddq 0-192(%rbx),%ymm0,%ymm0
vpmuludq 0-128(%r9),%ymm10,%ymm1
vpaddq 32-192(%rbx),%ymm1,%ymm1
vpmuludq 32-128(%r9),%ymm10,%ymm2
vpaddq 64-192(%rbx),%ymm2,%ymm2
vpmuludq 64-128(%r9),%ymm10,%ymm3
vpaddq 96-192(%rbx),%ymm3,%ymm3
vpmuludq 96-128(%r9),%ymm10,%ymm4
vpaddq 128-192(%rbx),%ymm4,%ymm4
vpmuludq 128-128(%r9),%ymm10,%ymm5
vpaddq 160-192(%rbx),%ymm5,%ymm5
vpmuludq 160-128(%r9),%ymm10,%ymm6
vpaddq 192-192(%rbx),%ymm6,%ymm6
vpmuludq 192-128(%r9),%ymm10,%ymm7
vpaddq 224-192(%rbx),%ymm7,%ymm7
vpmuludq 224-128(%r9),%ymm10,%ymm8
vpbroadcastq 64-128(%r15),%ymm10
vpaddq 256-192(%rbx),%ymm8,%ymm8
.Lsqr_entry_1024:
vmovdqu %ymm0,0-192(%rbx)
vmovdqu %ymm1,32-192(%rbx)
vpmuludq 32-128(%rsi),%ymm11,%ymm12
vpaddq %ymm12,%ymm2,%ymm2
vpmuludq 32-128(%r9),%ymm11,%ymm14
vpaddq %ymm14,%ymm3,%ymm3
vpmuludq 64-128(%r9),%ymm11,%ymm13
vpaddq %ymm13,%ymm4,%ymm4
vpmuludq 96-128(%r9),%ymm11,%ymm12
vpaddq %ymm12,%ymm5,%ymm5
vpmuludq 128-128(%r9),%ymm11,%ymm14
vpaddq %ymm14,%ymm6,%ymm6
vpmuludq 160-128(%r9),%ymm11,%ymm13
vpaddq %ymm13,%ymm7,%ymm7
vpmuludq 192-128(%r9),%ymm11,%ymm12
vpaddq %ymm12,%ymm8,%ymm8
vpmuludq 224-128(%r9),%ymm11,%ymm0
vpbroadcastq 96-128(%r15),%ymm11
vpaddq 288-192(%rbx),%ymm0,%ymm0
vmovdqu %ymm2,64-192(%rbx)
vmovdqu %ymm3,96-192(%rbx)
vpmuludq 64-128(%rsi),%ymm10,%ymm13
vpaddq %ymm13,%ymm4,%ymm4
vpmuludq 64-128(%r9),%ymm10,%ymm12
vpaddq %ymm12,%ymm5,%ymm5
vpmuludq 96-128(%r9),%ymm10,%ymm14
vpaddq %ymm14,%ymm6,%ymm6
vpmuludq 128-128(%r9),%ymm10,%ymm13
vpaddq %ymm13,%ymm7,%ymm7
vpmuludq 160-128(%r9),%ymm10,%ymm12
vpaddq %ymm12,%ymm8,%ymm8
vpmuludq 192-128(%r9),%ymm10,%ymm14
vpaddq %ymm14,%ymm0,%ymm0
vpmuludq 224-128(%r9),%ymm10,%ymm1
vpbroadcastq 128-128(%r15),%ymm10
vpaddq 320-448(%r12),%ymm1,%ymm1
vmovdqu %ymm4,128-192(%rbx)
vmovdqu %ymm5,160-192(%rbx)
vpmuludq 96-128(%rsi),%ymm11,%ymm12
vpaddq %ymm12,%ymm6,%ymm6
vpmuludq 96-128(%r9),%ymm11,%ymm14
vpaddq %ymm14,%ymm7,%ymm7
vpmuludq 128-128(%r9),%ymm11,%ymm13
vpaddq %ymm13,%ymm8,%ymm8
vpmuludq 160-128(%r9),%ymm11,%ymm12
vpaddq %ymm12,%ymm0,%ymm0
vpmuludq 192-128(%r9),%ymm11,%ymm14
vpaddq %ymm14,%ymm1,%ymm1
vpmuludq 224-128(%r9),%ymm11,%ymm2
vpbroadcastq 160-128(%r15),%ymm11
vpaddq 352-448(%r12),%ymm2,%ymm2
vmovdqu %ymm6,192-192(%rbx)
vmovdqu %ymm7,224-192(%rbx)
vpmuludq 128-128(%rsi),%ymm10,%ymm12
vpaddq %ymm12,%ymm8,%ymm8
vpmuludq 128-128(%r9),%ymm10,%ymm14
vpaddq %ymm14,%ymm0,%ymm0
vpmuludq 160-128(%r9),%ymm10,%ymm13
vpaddq %ymm13,%ymm1,%ymm1
vpmuludq 192-128(%r9),%ymm10,%ymm12
vpaddq %ymm12,%ymm2,%ymm2
vpmuludq 224-128(%r9),%ymm10,%ymm3
vpbroadcastq 192-128(%r15),%ymm10
vpaddq 384-448(%r12),%ymm3,%ymm3
vmovdqu %ymm8,256-192(%rbx)
vmovdqu %ymm0,288-192(%rbx)
leaq 8(%rbx),%rbx
vpmuludq 160-128(%rsi),%ymm11,%ymm13
vpaddq %ymm13,%ymm1,%ymm1
vpmuludq 160-128(%r9),%ymm11,%ymm12
vpaddq %ymm12,%ymm2,%ymm2
vpmuludq 192-128(%r9),%ymm11,%ymm14
vpaddq %ymm14,%ymm3,%ymm3
vpmuludq 224-128(%r9),%ymm11,%ymm4
vpbroadcastq 224-128(%r15),%ymm11
vpaddq 416-448(%r12),%ymm4,%ymm4
vmovdqu %ymm1,320-448(%r12)
vmovdqu %ymm2,352-448(%r12)
vpmuludq 192-128(%rsi),%ymm10,%ymm12
vpaddq %ymm12,%ymm3,%ymm3
vpmuludq 192-128(%r9),%ymm10,%ymm14
vpbroadcastq 256-128(%r15),%ymm0
vpaddq %ymm14,%ymm4,%ymm4
vpmuludq 224-128(%r9),%ymm10,%ymm5
vpbroadcastq 0+8-128(%r15),%ymm10
vpaddq 448-448(%r12),%ymm5,%ymm5
vmovdqu %ymm3,384-448(%r12)
vmovdqu %ymm4,416-448(%r12)
leaq 8(%r15),%r15
vpmuludq 224-128(%rsi),%ymm11,%ymm12
vpaddq %ymm12,%ymm5,%ymm5
vpmuludq 224-128(%r9),%ymm11,%ymm6
vpaddq 480-448(%r12),%ymm6,%ymm6
vpmuludq 256-128(%rsi),%ymm0,%ymm7
vmovdqu %ymm5,448-448(%r12)
vpaddq 512-448(%r12),%ymm7,%ymm7
vmovdqu %ymm6,480-448(%r12)
vmovdqu %ymm7,512-448(%r12)
leaq 8(%r12),%r12
decl %r14d
jnz .LOOP_SQR_1024
vmovdqu 256(%rsp),%ymm8
vmovdqu 288(%rsp),%ymm1
vmovdqu 320(%rsp),%ymm2
leaq 192(%rsp),%rbx
vpsrlq $29,%ymm8,%ymm14
vpand %ymm15,%ymm8,%ymm8
vpsrlq $29,%ymm1,%ymm11
vpand %ymm15,%ymm1,%ymm1
vpermq $0x93,%ymm14,%ymm14
vpxor %ymm9,%ymm9,%ymm9
vpermq $0x93,%ymm11,%ymm11
vpblendd $3,%ymm9,%ymm14,%ymm10
vpblendd $3,%ymm14,%ymm11,%ymm14
vpaddq %ymm10,%ymm8,%ymm8
vpblendd $3,%ymm11,%ymm9,%ymm11
vpaddq %ymm14,%ymm1,%ymm1
vpaddq %ymm11,%ymm2,%ymm2
vmovdqu %ymm1,288-192(%rbx)
vmovdqu %ymm2,320-192(%rbx)
movq (%rsp),%rax
movq 8(%rsp),%r10
movq 16(%rsp),%r11
movq 24(%rsp),%r12
vmovdqu 32(%rsp),%ymm1
vmovdqu 64-192(%rbx),%ymm2
vmovdqu 96-192(%rbx),%ymm3
vmovdqu 128-192(%rbx),%ymm4
vmovdqu 160-192(%rbx),%ymm5
vmovdqu 192-192(%rbx),%ymm6
vmovdqu 224-192(%rbx),%ymm7
movq %rax,%r9
imull %ecx,%eax
andl $0x1fffffff,%eax
vmovd %eax,%xmm12
movq %rax,%rdx
imulq -128(%r13),%rax
vpbroadcastq %xmm12,%ymm12
addq %rax,%r9
movq %rdx,%rax
imulq 8-128(%r13),%rax
shrq $29,%r9
addq %rax,%r10
movq %rdx,%rax
imulq 16-128(%r13),%rax
addq %r9,%r10
addq %rax,%r11
imulq 24-128(%r13),%rdx
addq %rdx,%r12
movq %r10,%rax
imull %ecx,%eax
andl $0x1fffffff,%eax
movl $9,%r14d
jmp .LOOP_REDUCE_1024
.align 32
.LOOP_REDUCE_1024:
vmovd %eax,%xmm13
vpbroadcastq %xmm13,%ymm13
vpmuludq 32-128(%r13),%ymm12,%ymm10
movq %rax,%rdx
imulq -128(%r13),%rax
vpaddq %ymm10,%ymm1,%ymm1
addq %rax,%r10
vpmuludq 64-128(%r13),%ymm12,%ymm14
movq %rdx,%rax
imulq 8-128(%r13),%rax
vpaddq %ymm14,%ymm2,%ymm2
vpmuludq 96-128(%r13),%ymm12,%ymm11
.byte 0x67
addq %rax,%r11
.byte 0x67
movq %rdx,%rax
imulq 16-128(%r13),%rax
shrq $29,%r10
vpaddq %ymm11,%ymm3,%ymm3
vpmuludq 128-128(%r13),%ymm12,%ymm10
addq %rax,%r12
addq %r10,%r11
vpaddq %ymm10,%ymm4,%ymm4
vpmuludq 160-128(%r13),%ymm12,%ymm14
movq %r11,%rax
imull %ecx,%eax
vpaddq %ymm14,%ymm5,%ymm5
vpmuludq 192-128(%r13),%ymm12,%ymm11
andl $0x1fffffff,%eax
vpaddq %ymm11,%ymm6,%ymm6
vpmuludq 224-128(%r13),%ymm12,%ymm10
vpaddq %ymm10,%ymm7,%ymm7
vpmuludq 256-128(%r13),%ymm12,%ymm14
vmovd %eax,%xmm12
vpaddq %ymm14,%ymm8,%ymm8
vpbroadcastq %xmm12,%ymm12
vpmuludq 32-8-128(%r13),%ymm13,%ymm11
vmovdqu 96-8-128(%r13),%ymm14
movq %rax,%rdx
imulq -128(%r13),%rax
vpaddq %ymm11,%ymm1,%ymm1
vpmuludq 64-8-128(%r13),%ymm13,%ymm10
vmovdqu 128-8-128(%r13),%ymm11
addq %rax,%r11
movq %rdx,%rax
imulq 8-128(%r13),%rax
vpaddq %ymm10,%ymm2,%ymm2
addq %r12,%rax
shrq $29,%r11
vpmuludq %ymm13,%ymm14,%ymm14
vmovdqu 160-8-128(%r13),%ymm10
addq %r11,%rax
vpaddq %ymm14,%ymm3,%ymm3
vpmuludq %ymm13,%ymm11,%ymm11
vmovdqu 192-8-128(%r13),%ymm14
.byte 0x67
movq %rax,%r12
imull %ecx,%eax
vpaddq %ymm11,%ymm4,%ymm4
vpmuludq %ymm13,%ymm10,%ymm10
.byte 0xc4,0x41,0x7e,0x6f,0x9d,0x58,0x00,0x00,0x00
andl $0x1fffffff,%eax
vpaddq %ymm10,%ymm5,%ymm5
vpmuludq %ymm13,%ymm14,%ymm14
vmovdqu 256-8-128(%r13),%ymm10
vpaddq %ymm14,%ymm6,%ymm6
vpmuludq %ymm13,%ymm11,%ymm11
vmovdqu 288-8-128(%r13),%ymm9
vmovd %eax,%xmm0
imulq -128(%r13),%rax
vpaddq %ymm11,%ymm7,%ymm7
vpmuludq %ymm13,%ymm10,%ymm10
vmovdqu 32-16-128(%r13),%ymm14
vpbroadcastq %xmm0,%ymm0
vpaddq %ymm10,%ymm8,%ymm8
vpmuludq %ymm13,%ymm9,%ymm9
vmovdqu 64-16-128(%r13),%ymm11
addq %rax,%r12
vmovdqu 32-24-128(%r13),%ymm13
vpmuludq %ymm12,%ymm14,%ymm14
vmovdqu 96-16-128(%r13),%ymm10
vpaddq %ymm14,%ymm1,%ymm1
vpmuludq %ymm0,%ymm13,%ymm13
vpmuludq %ymm12,%ymm11,%ymm11
.byte 0xc4,0x41,0x7e,0x6f,0xb5,0xf0,0xff,0xff,0xff
vpaddq %ymm1,%ymm13,%ymm13
vpaddq %ymm11,%ymm2,%ymm2
vpmuludq %ymm12,%ymm10,%ymm10
vmovdqu 160-16-128(%r13),%ymm11
.byte 0x67
vmovq %xmm13,%rax
vmovdqu %ymm13,(%rsp)
vpaddq %ymm10,%ymm3,%ymm3
vpmuludq %ymm12,%ymm14,%ymm14
vmovdqu 192-16-128(%r13),%ymm10
vpaddq %ymm14,%ymm4,%ymm4
vpmuludq %ymm12,%ymm11,%ymm11
vmovdqu 224-16-128(%r13),%ymm14
vpaddq %ymm11,%ymm5,%ymm5
vpmuludq %ymm12,%ymm10,%ymm10
vmovdqu 256-16-128(%r13),%ymm11
vpaddq %ymm10,%ymm6,%ymm6
vpmuludq %ymm12,%ymm14,%ymm14
shrq $29,%r12
vmovdqu 288-16-128(%r13),%ymm10
addq %r12,%rax
vpaddq %ymm14,%ymm7,%ymm7
vpmuludq %ymm12,%ymm11,%ymm11
movq %rax,%r9
imull %ecx,%eax
vpaddq %ymm11,%ymm8,%ymm8
vpmuludq %ymm12,%ymm10,%ymm10
andl $0x1fffffff,%eax
vmovd %eax,%xmm12
vmovdqu 96-24-128(%r13),%ymm11
.byte 0x67
vpaddq %ymm10,%ymm9,%ymm9
vpbroadcastq %xmm12,%ymm12
vpmuludq 64-24-128(%r13),%ymm0,%ymm14
vmovdqu 128-24-128(%r13),%ymm10
movq %rax,%rdx
imulq -128(%r13),%rax
movq 8(%rsp),%r10
vpaddq %ymm14,%ymm2,%ymm1
vpmuludq %ymm0,%ymm11,%ymm11
vmovdqu 160-24-128(%r13),%ymm14
addq %rax,%r9
movq %rdx,%rax
imulq 8-128(%r13),%rax
.byte 0x67
shrq $29,%r9
movq 16(%rsp),%r11
vpaddq %ymm11,%ymm3,%ymm2
vpmuludq %ymm0,%ymm10,%ymm10
vmovdqu 192-24-128(%r13),%ymm11
addq %rax,%r10
movq %rdx,%rax
imulq 16-128(%r13),%rax
vpaddq %ymm10,%ymm4,%ymm3
vpmuludq %ymm0,%ymm14,%ymm14
vmovdqu 224-24-128(%r13),%ymm10
imulq 24-128(%r13),%rdx
addq %rax,%r11
leaq (%r9,%r10,1),%rax
vpaddq %ymm14,%ymm5,%ymm4
vpmuludq %ymm0,%ymm11,%ymm11
vmovdqu 256-24-128(%r13),%ymm14
movq %rax,%r10
imull %ecx,%eax
vpmuludq %ymm0,%ymm10,%ymm10
vpaddq %ymm11,%ymm6,%ymm5
vmovdqu 288-24-128(%r13),%ymm11
andl $0x1fffffff,%eax
vpaddq %ymm10,%ymm7,%ymm6
vpmuludq %ymm0,%ymm14,%ymm14
addq 24(%rsp),%rdx
vpaddq %ymm14,%ymm8,%ymm7
vpmuludq %ymm0,%ymm11,%ymm11
vpaddq %ymm11,%ymm9,%ymm8
vmovq %r12,%xmm9
movq %rdx,%r12
decl %r14d
jnz .LOOP_REDUCE_1024
leaq 448(%rsp),%r12
vpaddq %ymm9,%ymm13,%ymm0
vpxor %ymm9,%ymm9,%ymm9
vpaddq 288-192(%rbx),%ymm0,%ymm0
vpaddq 320-448(%r12),%ymm1,%ymm1
vpaddq 352-448(%r12),%ymm2,%ymm2
vpaddq 384-448(%r12),%ymm3,%ymm3
vpaddq 416-448(%r12),%ymm4,%ymm4
vpaddq 448-448(%r12),%ymm5,%ymm5
vpaddq 480-448(%r12),%ymm6,%ymm6
vpaddq 512-448(%r12),%ymm7,%ymm7
vpaddq 544-448(%r12),%ymm8,%ymm8
vpsrlq $29,%ymm0,%ymm14
vpand %ymm15,%ymm0,%ymm0
vpsrlq $29,%ymm1,%ymm11
vpand %ymm15,%ymm1,%ymm1
vpsrlq $29,%ymm2,%ymm12
vpermq $0x93,%ymm14,%ymm14
vpand %ymm15,%ymm2,%ymm2
vpsrlq $29,%ymm3,%ymm13
vpermq $0x93,%ymm11,%ymm11
vpand %ymm15,%ymm3,%ymm3
vpermq $0x93,%ymm12,%ymm12
vpblendd $3,%ymm9,%ymm14,%ymm10
vpermq $0x93,%ymm13,%ymm13
vpblendd $3,%ymm14,%ymm11,%ymm14
vpaddq %ymm10,%ymm0,%ymm0
vpblendd $3,%ymm11,%ymm12,%ymm11
vpaddq %ymm14,%ymm1,%ymm1
vpblendd $3,%ymm12,%ymm13,%ymm12
vpaddq %ymm11,%ymm2,%ymm2
vpblendd $3,%ymm13,%ymm9,%ymm13
vpaddq %ymm12,%ymm3,%ymm3
vpaddq %ymm13,%ymm4,%ymm4
vpsrlq $29,%ymm0,%ymm14
vpand %ymm15,%ymm0,%ymm0
vpsrlq $29,%ymm1,%ymm11
vpand %ymm15,%ymm1,%ymm1
vpsrlq $29,%ymm2,%ymm12
vpermq $0x93,%ymm14,%ymm14
vpand %ymm15,%ymm2,%ymm2
vpsrlq $29,%ymm3,%ymm13
vpermq $0x93,%ymm11,%ymm11
vpand %ymm15,%ymm3,%ymm3
vpermq $0x93,%ymm12,%ymm12
vpblendd $3,%ymm9,%ymm14,%ymm10
vpermq $0x93,%ymm13,%ymm13
vpblendd $3,%ymm14,%ymm11,%ymm14
vpaddq %ymm10,%ymm0,%ymm0
vpblendd $3,%ymm11,%ymm12,%ymm11
vpaddq %ymm14,%ymm1,%ymm1
vmovdqu %ymm0,0-128(%rdi)
vpblendd $3,%ymm12,%ymm13,%ymm12
vpaddq %ymm11,%ymm2,%ymm2
vmovdqu %ymm1,32-128(%rdi)
vpblendd $3,%ymm13,%ymm9,%ymm13
vpaddq %ymm12,%ymm3,%ymm3
vmovdqu %ymm2,64-128(%rdi)
vpaddq %ymm13,%ymm4,%ymm4
vmovdqu %ymm3,96-128(%rdi)
vpsrlq $29,%ymm4,%ymm14
vpand %ymm15,%ymm4,%ymm4
vpsrlq $29,%ymm5,%ymm11
vpand %ymm15,%ymm5,%ymm5
vpsrlq $29,%ymm6,%ymm12
vpermq $0x93,%ymm14,%ymm14
vpand %ymm15,%ymm6,%ymm6
vpsrlq $29,%ymm7,%ymm13
vpermq $0x93,%ymm11,%ymm11
vpand %ymm15,%ymm7,%ymm7
vpsrlq $29,%ymm8,%ymm0
vpermq $0x93,%ymm12,%ymm12
vpand %ymm15,%ymm8,%ymm8
vpermq $0x93,%ymm13,%ymm13
vpblendd $3,%ymm9,%ymm14,%ymm10
vpermq $0x93,%ymm0,%ymm0
vpblendd $3,%ymm14,%ymm11,%ymm14
vpaddq %ymm10,%ymm4,%ymm4
vpblendd $3,%ymm11,%ymm12,%ymm11
vpaddq %ymm14,%ymm5,%ymm5
vpblendd $3,%ymm12,%ymm13,%ymm12
vpaddq %ymm11,%ymm6,%ymm6
vpblendd $3,%ymm13,%ymm0,%ymm13
vpaddq %ymm12,%ymm7,%ymm7
vpaddq %ymm13,%ymm8,%ymm8
vpsrlq $29,%ymm4,%ymm14
vpand %ymm15,%ymm4,%ymm4
vpsrlq $29,%ymm5,%ymm11
vpand %ymm15,%ymm5,%ymm5
vpsrlq $29,%ymm6,%ymm12
vpermq $0x93,%ymm14,%ymm14
vpand %ymm15,%ymm6,%ymm6
vpsrlq $29,%ymm7,%ymm13
vpermq $0x93,%ymm11,%ymm11
vpand %ymm15,%ymm7,%ymm7
vpsrlq $29,%ymm8,%ymm0
vpermq $0x93,%ymm12,%ymm12
vpand %ymm15,%ymm8,%ymm8
vpermq $0x93,%ymm13,%ymm13
vpblendd $3,%ymm9,%ymm14,%ymm10
vpermq $0x93,%ymm0,%ymm0
vpblendd $3,%ymm14,%ymm11,%ymm14
vpaddq %ymm10,%ymm4,%ymm4
vpblendd $3,%ymm11,%ymm12,%ymm11
vpaddq %ymm14,%ymm5,%ymm5
vmovdqu %ymm4,128-128(%rdi)
vpblendd $3,%ymm12,%ymm13,%ymm12
vpaddq %ymm11,%ymm6,%ymm6
vmovdqu %ymm5,160-128(%rdi)
vpblendd $3,%ymm13,%ymm0,%ymm13
vpaddq %ymm12,%ymm7,%ymm7
vmovdqu %ymm6,192-128(%rdi)
vpaddq %ymm13,%ymm8,%ymm8
vmovdqu %ymm7,224-128(%rdi)
vmovdqu %ymm8,256-128(%rdi)
movq %rdi,%rsi
decl %r8d
jne .LOOP_GRANDE_SQR_1024
vzeroall
movq %rbp,%rax
movq -48(%rax),%r15
movq -40(%rax),%r14
movq -32(%rax),%r13
movq -24(%rax),%r12
movq -16(%rax),%rbp
movq -8(%rax),%rbx
leaq (%rax),%rsp
.Lsqr_1024_epilogue:
.byte 0xf3,0xc3
.size rsaz_1024_sqr_avx2,.-rsaz_1024_sqr_avx2
.globl rsaz_1024_mul_avx2
.type rsaz_1024_mul_avx2,@function
.align 64
rsaz_1024_mul_avx2:
leaq (%rsp),%rax
pushq %rbx
pushq %rbp
pushq %r12
pushq %r13
pushq %r14
pushq %r15
movq %rax,%rbp
vzeroall
movq %rdx,%r13
subq $64,%rsp
.byte 0x67,0x67
movq %rsi,%r15
andq $4095,%r15
addq $320,%r15
shrq $12,%r15
movq %rsi,%r15
cmovnzq %r13,%rsi
cmovnzq %r15,%r13
movq %rcx,%r15
subq $-128,%rsi
subq $-128,%rcx
subq $-128,%rdi
andq $4095,%r15
addq $320,%r15
.byte 0x67,0x67
shrq $12,%r15
jz .Lmul_1024_no_n_copy
subq $320,%rsp
vmovdqu 0-128(%rcx),%ymm0
andq $-512,%rsp
vmovdqu 32-128(%rcx),%ymm1
vmovdqu 64-128(%rcx),%ymm2
vmovdqu 96-128(%rcx),%ymm3
vmovdqu 128-128(%rcx),%ymm4
vmovdqu 160-128(%rcx),%ymm5
vmovdqu 192-128(%rcx),%ymm6
vmovdqu 224-128(%rcx),%ymm7
vmovdqu 256-128(%rcx),%ymm8
leaq 64+128(%rsp),%rcx
vmovdqu %ymm0,0-128(%rcx)
vpxor %ymm0,%ymm0,%ymm0
vmovdqu %ymm1,32-128(%rcx)
vpxor %ymm1,%ymm1,%ymm1
vmovdqu %ymm2,64-128(%rcx)
vpxor %ymm2,%ymm2,%ymm2
vmovdqu %ymm3,96-128(%rcx)
vpxor %ymm3,%ymm3,%ymm3
vmovdqu %ymm4,128-128(%rcx)
vpxor %ymm4,%ymm4,%ymm4
vmovdqu %ymm5,160-128(%rcx)
vpxor %ymm5,%ymm5,%ymm5
vmovdqu %ymm6,192-128(%rcx)
vpxor %ymm6,%ymm6,%ymm6
vmovdqu %ymm7,224-128(%rcx)
vpxor %ymm7,%ymm7,%ymm7
vmovdqu %ymm8,256-128(%rcx)
vmovdqa %ymm0,%ymm8
vmovdqu %ymm9,288-128(%rcx)
.Lmul_1024_no_n_copy:
andq $-64,%rsp
movq (%r13),%rbx
vpbroadcastq (%r13),%ymm10
vmovdqu %ymm0,(%rsp)
xorq %r9,%r9
.byte 0x67
xorq %r10,%r10
xorq %r11,%r11
xorq %r12,%r12
vmovdqu .Land_mask(%rip),%ymm15
movl $9,%r14d
vmovdqu %ymm9,288-128(%rdi)
jmp .Loop_mul_1024
.align 32
.Loop_mul_1024:
vpsrlq $29,%ymm3,%ymm9
movq %rbx,%rax
imulq -128(%rsi),%rax
addq %r9,%rax
movq %rbx,%r10
imulq 8-128(%rsi),%r10
addq 8(%rsp),%r10
movq %rax,%r9
imull %r8d,%eax
andl $0x1fffffff,%eax
movq %rbx,%r11
imulq 16-128(%rsi),%r11
addq 16(%rsp),%r11
movq %rbx,%r12
imulq 24-128(%rsi),%r12
addq 24(%rsp),%r12
vpmuludq 32-128(%rsi),%ymm10,%ymm0
vmovd %eax,%xmm11
vpaddq %ymm0,%ymm1,%ymm1
vpmuludq 64-128(%rsi),%ymm10,%ymm12
vpbroadcastq %xmm11,%ymm11
vpaddq %ymm12,%ymm2,%ymm2
vpmuludq 96-128(%rsi),%ymm10,%ymm13
vpand %ymm15,%ymm3,%ymm3
vpaddq %ymm13,%ymm3,%ymm3
vpmuludq 128-128(%rsi),%ymm10,%ymm0
vpaddq %ymm0,%ymm4,%ymm4
vpmuludq 160-128(%rsi),%ymm10,%ymm12
vpaddq %ymm12,%ymm5,%ymm5
vpmuludq 192-128(%rsi),%ymm10,%ymm13
vpaddq %ymm13,%ymm6,%ymm6
vpmuludq 224-128(%rsi),%ymm10,%ymm0
vpermq $0x93,%ymm9,%ymm9
vpaddq %ymm0,%ymm7,%ymm7
vpmuludq 256-128(%rsi),%ymm10,%ymm12
vpbroadcastq 8(%r13),%ymm10
vpaddq %ymm12,%ymm8,%ymm8
movq %rax,%rdx
imulq -128(%rcx),%rax
addq %rax,%r9
movq %rdx,%rax
imulq 8-128(%rcx),%rax
addq %rax,%r10
movq %rdx,%rax
imulq 16-128(%rcx),%rax
addq %rax,%r11
shrq $29,%r9
imulq 24-128(%rcx),%rdx
addq %rdx,%r12
addq %r9,%r10
vpmuludq 32-128(%rcx),%ymm11,%ymm13
vmovq %xmm10,%rbx
vpaddq %ymm13,%ymm1,%ymm1
vpmuludq 64-128(%rcx),%ymm11,%ymm0
vpaddq %ymm0,%ymm2,%ymm2
vpmuludq 96-128(%rcx),%ymm11,%ymm12
vpaddq %ymm12,%ymm3,%ymm3
vpmuludq 128-128(%rcx),%ymm11,%ymm13
vpaddq %ymm13,%ymm4,%ymm4
vpmuludq 160-128(%rcx),%ymm11,%ymm0
vpaddq %ymm0,%ymm5,%ymm5
vpmuludq 192-128(%rcx),%ymm11,%ymm12
vpaddq %ymm12,%ymm6,%ymm6
vpmuludq 224-128(%rcx),%ymm11,%ymm13
vpblendd $3,%ymm14,%ymm9,%ymm12
vpaddq %ymm13,%ymm7,%ymm7
vpmuludq 256-128(%rcx),%ymm11,%ymm0
vpaddq %ymm12,%ymm3,%ymm3
vpaddq %ymm0,%ymm8,%ymm8
movq %rbx,%rax
imulq -128(%rsi),%rax
addq %rax,%r10
vmovdqu -8+32-128(%rsi),%ymm12
movq %rbx,%rax
imulq 8-128(%rsi),%rax
addq %rax,%r11
vmovdqu -8+64-128(%rsi),%ymm13
movq %r10,%rax
vpblendd $0xfc,%ymm14,%ymm9,%ymm9
imull %r8d,%eax
vpaddq %ymm9,%ymm4,%ymm4
andl $0x1fffffff,%eax
imulq 16-128(%rsi),%rbx
addq %rbx,%r12
vpmuludq %ymm10,%ymm12,%ymm12
vmovd %eax,%xmm11
vmovdqu -8+96-128(%rsi),%ymm0
vpaddq %ymm12,%ymm1,%ymm1
vpmuludq %ymm10,%ymm13,%ymm13
vpbroadcastq %xmm11,%ymm11
vmovdqu -8+128-128(%rsi),%ymm12
vpaddq %ymm13,%ymm2,%ymm2
vpmuludq %ymm10,%ymm0,%ymm0
vmovdqu -8+160-128(%rsi),%ymm13
vpaddq %ymm0,%ymm3,%ymm3
vpmuludq %ymm10,%ymm12,%ymm12
vmovdqu -8+192-128(%rsi),%ymm0
vpaddq %ymm12,%ymm4,%ymm4
vpmuludq %ymm10,%ymm13,%ymm13
vmovdqu -8+224-128(%rsi),%ymm12
vpaddq %ymm13,%ymm5,%ymm5
vpmuludq %ymm10,%ymm0,%ymm0
vmovdqu -8+256-128(%rsi),%ymm13
vpaddq %ymm0,%ymm6,%ymm6
vpmuludq %ymm10,%ymm12,%ymm12
vmovdqu -8+288-128(%rsi),%ymm9
vpaddq %ymm12,%ymm7,%ymm7
vpmuludq %ymm10,%ymm13,%ymm13
vpaddq %ymm13,%ymm8,%ymm8
vpmuludq %ymm10,%ymm9,%ymm9
vpbroadcastq 16(%r13),%ymm10
movq %rax,%rdx
imulq -128(%rcx),%rax
addq %rax,%r10
vmovdqu -8+32-128(%rcx),%ymm0
movq %rdx,%rax
imulq 8-128(%rcx),%rax
addq %rax,%r11
vmovdqu -8+64-128(%rcx),%ymm12
shrq $29,%r10
imulq 16-128(%rcx),%rdx
addq %rdx,%r12
addq %r10,%r11
vpmuludq %ymm11,%ymm0,%ymm0
vmovq %xmm10,%rbx
vmovdqu -8+96-128(%rcx),%ymm13
vpaddq %ymm0,%ymm1,%ymm1
vpmuludq %ymm11,%ymm12,%ymm12
vmovdqu -8+128-128(%rcx),%ymm0
vpaddq %ymm12,%ymm2,%ymm2
vpmuludq %ymm11,%ymm13,%ymm13
vmovdqu -8+160-128(%rcx),%ymm12
vpaddq %ymm13,%ymm3,%ymm3
vpmuludq %ymm11,%ymm0,%ymm0
vmovdqu -8+192-128(%rcx),%ymm13
vpaddq %ymm0,%ymm4,%ymm4
vpmuludq %ymm11,%ymm12,%ymm12
vmovdqu -8+224-128(%rcx),%ymm0
vpaddq %ymm12,%ymm5,%ymm5
vpmuludq %ymm11,%ymm13,%ymm13
vmovdqu -8+256-128(%rcx),%ymm12
vpaddq %ymm13,%ymm6,%ymm6
vpmuludq %ymm11,%ymm0,%ymm0
vmovdqu -8+288-128(%rcx),%ymm13
vpaddq %ymm0,%ymm7,%ymm7
vpmuludq %ymm11,%ymm12,%ymm12
vpaddq %ymm12,%ymm8,%ymm8
vpmuludq %ymm11,%ymm13,%ymm13
vpaddq %ymm13,%ymm9,%ymm9
vmovdqu -16+32-128(%rsi),%ymm0
movq %rbx,%rax
imulq -128(%rsi),%rax
addq %r11,%rax
vmovdqu -16+64-128(%rsi),%ymm12
movq %rax,%r11
imull %r8d,%eax
andl $0x1fffffff,%eax
imulq 8-128(%rsi),%rbx
addq %rbx,%r12
vpmuludq %ymm10,%ymm0,%ymm0
vmovd %eax,%xmm11
vmovdqu -16+96-128(%rsi),%ymm13
vpaddq %ymm0,%ymm1,%ymm1
vpmuludq %ymm10,%ymm12,%ymm12
vpbroadcastq %xmm11,%ymm11
vmovdqu -16+128-128(%rsi),%ymm0
vpaddq %ymm12,%ymm2,%ymm2
vpmuludq %ymm10,%ymm13,%ymm13
vmovdqu -16+160-128(%rsi),%ymm12
vpaddq %ymm13,%ymm3,%ymm3
vpmuludq %ymm10,%ymm0,%ymm0
vmovdqu -16+192-128(%rsi),%ymm13
vpaddq %ymm0,%ymm4,%ymm4
vpmuludq %ymm10,%ymm12,%ymm12
vmovdqu -16+224-128(%rsi),%ymm0
vpaddq %ymm12,%ymm5,%ymm5
vpmuludq %ymm10,%ymm13,%ymm13
vmovdqu -16+256-128(%rsi),%ymm12
vpaddq %ymm13,%ymm6,%ymm6
vpmuludq %ymm10,%ymm0,%ymm0
vmovdqu -16+288-128(%rsi),%ymm13
vpaddq %ymm0,%ymm7,%ymm7
vpmuludq %ymm10,%ymm12,%ymm12
vpaddq %ymm12,%ymm8,%ymm8
vpmuludq %ymm10,%ymm13,%ymm13
vpbroadcastq 24(%r13),%ymm10
vpaddq %ymm13,%ymm9,%ymm9
vmovdqu -16+32-128(%rcx),%ymm0
movq %rax,%rdx
imulq -128(%rcx),%rax
addq %rax,%r11
vmovdqu -16+64-128(%rcx),%ymm12
imulq 8-128(%rcx),%rdx
addq %rdx,%r12
shrq $29,%r11
vpmuludq %ymm11,%ymm0,%ymm0
vmovq %xmm10,%rbx
vmovdqu -16+96-128(%rcx),%ymm13
vpaddq %ymm0,%ymm1,%ymm1
vpmuludq %ymm11,%ymm12,%ymm12
vmovdqu -16+128-128(%rcx),%ymm0
vpaddq %ymm12,%ymm2,%ymm2
vpmuludq %ymm11,%ymm13,%ymm13
vmovdqu -16+160-128(%rcx),%ymm12
vpaddq %ymm13,%ymm3,%ymm3
vpmuludq %ymm11,%ymm0,%ymm0
vmovdqu -16+192-128(%rcx),%ymm13
vpaddq %ymm0,%ymm4,%ymm4
vpmuludq %ymm11,%ymm12,%ymm12
vmovdqu -16+224-128(%rcx),%ymm0
vpaddq %ymm12,%ymm5,%ymm5
vpmuludq %ymm11,%ymm13,%ymm13
vmovdqu -16+256-128(%rcx),%ymm12
vpaddq %ymm13,%ymm6,%ymm6
vpmuludq %ymm11,%ymm0,%ymm0
vmovdqu -16+288-128(%rcx),%ymm13
vpaddq %ymm0,%ymm7,%ymm7
vpmuludq %ymm11,%ymm12,%ymm12
vmovdqu -24+32-128(%rsi),%ymm0
vpaddq %ymm12,%ymm8,%ymm8
vpmuludq %ymm11,%ymm13,%ymm13
vmovdqu -24+64-128(%rsi),%ymm12
vpaddq %ymm13,%ymm9,%ymm9
addq %r11,%r12
imulq -128(%rsi),%rbx
addq %rbx,%r12
movq %r12,%rax
imull %r8d,%eax
andl $0x1fffffff,%eax
vpmuludq %ymm10,%ymm0,%ymm0
vmovd %eax,%xmm11
vmovdqu -24+96-128(%rsi),%ymm13
vpaddq %ymm0,%ymm1,%ymm1
vpmuludq %ymm10,%ymm12,%ymm12
vpbroadcastq %xmm11,%ymm11
vmovdqu -24+128-128(%rsi),%ymm0
vpaddq %ymm12,%ymm2,%ymm2
vpmuludq %ymm10,%ymm13,%ymm13
vmovdqu -24+160-128(%rsi),%ymm12
vpaddq %ymm13,%ymm3,%ymm3
vpmuludq %ymm10,%ymm0,%ymm0
vmovdqu -24+192-128(%rsi),%ymm13
vpaddq %ymm0,%ymm4,%ymm4
vpmuludq %ymm10,%ymm12,%ymm12
vmovdqu -24+224-128(%rsi),%ymm0
vpaddq %ymm12,%ymm5,%ymm5
vpmuludq %ymm10,%ymm13,%ymm13
vmovdqu -24+256-128(%rsi),%ymm12
vpaddq %ymm13,%ymm6,%ymm6
vpmuludq %ymm10,%ymm0,%ymm0